Toute tentative de gérer le monde académique ne fait qu’empirer les choses
par Mike Taylor, 2017, poste sur un blog – Traduction non officielle
Je suis sur Twitter depuis avril 2011 — presque six ans. Il y a quelques semaines, pour la première fois, quelque chose que j’ai tweeté a dépassé le seuil des mille retweets. Et ça me rend vraiment mal à l’aise. Pour deux raisons.
D’abord, ce n’est pas mon contenu — c’est une capture d’écran du Tableau 1 d’Edwards et Roy (2017) :
Tableau 1 : Croissance des incitations perverses en milieu académique
(adapté de Edwards & Roy 2017, Academic Research in the 21st Century: Maintaining Scientific Integrity in a Climate of Perverse Incentives and Hypercompetition. Environmental Engineering Science 34(1):51-61.)
| Incitation | Effet attendu | Effet réel |
|---|---|---|
| Nombre de publications des chercheurs | Améliorer la productivité de la recherche, fournir un moyen d’évaluer la performance | Avalanche d’articles fragmentés, médiocres ou incrémentaux ; méthodes faibles, augmentation des taux de fausses découvertes, sélection naturelle de la mauvaise science (Smaldino & McElreath, 2016) ; qualité de la revue par les pairs réduite |
| Nombre de citations | Récompenser le travail de qualité qui influence les autres | Listes de références allongées pour gonfler les citations ; les reviewers demandent la citation de leurs propres travaux durant la revue |
| Financements de projets (grants) | Assurer le financement des programmes de recherche, promouvoir la croissance, générer des frais généraux | Augmentation du temps passé à écrire des propositions, moins de temps pour collecter et analyser les données ; exagération des résultats positifs et minimisation des négatifs |
| Augmentation de la productivité des doctorants | Classement supérieur des écoles, prestige accru du programme | Normes abaissées, surproduction de doctorants ; les postdocs sont souvent exigés pour des postes de début de carrière, et les doctorants sont embauchés pour faire le travail des masters |
| Diminution de la charge d’enseignement pour les chercheurs actifs | Nécessaire pour poursuivre des grants compétitifs supplémentaires | Demande accrue de professeurs non titulaires et chargés de cours pour enseigner |
| Scores d’évaluation des étudiants pour les enseignants | Améliorer la responsabilité ; assurer la satisfaction des “clients” | Réduction de la charge de travail des cours, inflation des notes |
| Scores aux tests des étudiants | Améliorer l’efficacité des enseignants | Enseignement ciblé sur les tests ; accent sur l’apprentissage à court terme |
| Classement des départements dans le magazine U.S. News | Renforcer les départements | Efforts importants pour tricher et manipuler les classements |
| Nombre de diplômes BS, MS, PhD délivrés | Promouvoir l’efficacité ; éviter que les étudiants restent trop longtemps dans les programmes ; impressionner la législature d’État | Augmentation de la taille des classes ; baisse des critères d’entrée ; baisse des exigences de diplôme |
| Heures-crédits / heures de contact (SCH) des étudiants | Mission d’enseignement de l’université remplie | Multiplication des jeux pour maximiser les SCH ; duplication des cours |
Ensuite, c’est terriblement déprimant.
Le problème est bien connu, et d’ailleurs nous en avons déjà parlé ici : dès que vous essayez de mesurer la performance des gens, ils vont se mettre à optimiser ce que vous mesurez, au lieu de concentrer leurs meilleurs efforts à faire du bon travail.
En fait, ce phénomène est tellement connu et bien compris qu’il a reçu au moins trois noms différents selon les personnes :
- La loi de Goodhart est la plus concise : « Quand une mesure devient un objectif, elle cesse d’être une bonne mesure. »
- La loi de Campbell est la plus explicite : « Plus un indicateur social quantitatif est utilisé pour la prise de décision sociale, plus il sera sujet à la corruption et plus il risque de fausser et corrompre les processus sociaux qu’il est censé surveiller. »
- L’effet Cobra désigne la manière dont des mesures prises pour améliorer une situation peuvent en réalité l’aggraver.
Comme je le dis, c’est bien connu. Il y a même un terme pour cela en théorie sociale : la réflexivité. Et pourtant, nous persistons à faire des choses idiotes qui ne peuvent aboutir qu’à ce résultat :
- Évaluer les enseignants sur l’amélioration des résultats de leurs élèves entre le début et la fin de l’année (ce qui les pousse évidemment à faire baisser les résultats des tests du début d’année).
- Évaluer les chercheurs par le nombre de leurs publications (ce qui ne peut qu’inciter à découper leurs travaux en unités minimales publiables).
- Les évaluer — que Dieu nous en préserve — sur le facteur d’impact des revues où leurs articles paraissent (ce qui alimente la course aux marques, paralysant la communication scientifique).
- Évaluer les chercheurs sur le fait que leurs expériences soient « réussies », c’est-à-dire qu’elles montrent des résultats statistiquement significatifs (ce qui mène inévitablement au p-hacking et au HARKing).
Alors, quelle est la solution ?
Je lis depuis un moment l’excellent blog de l’économiste Tim Harford. Cela a commencé avec son livre encore plus remarquable The Undercover Economist (Harford 2007), qui m’a donné un cours accéléré sur le fonctionnement des économies, le rôle des marchés, leurs failles, et bien plus encore. Je ne peux que recommander ce livre : c’est un de ceux que tout le monde devrait lire, tant les questions qu’il aborde sont importantes et omniprésentes, et les explications de Harford sont limpides.
Dans un article récent, Why central bankers shouldn’t have skin in the game, il explique ceci :
Le principe de base de tout système d’incitation est : peut-on mesurer tout ce qui compte ? Si ce n’est pas possible, alors des incitations financières puissantes ne feront que produire du court-termisme, du sectarisme ou carrément de la fraude. Si un travail est complexe, multifacette et implique des arbitrages subtils, la meilleure approche est d’embaucher de bonnes personnes, de les payer au prix du marché et de leur demander de faire le travail du mieux qu’elles peuvent.
Je pense que cette dernière partie correspond assez bien à la manière dont l’académie fonctionnait il y a quelques décennies. Je ne veux pas verser dans la nostalgie ou voir tout en rose — d’autant que je n’y étais même pas impliqué à l’époque et ne sais pas vraiment comment c’était. Mais se pourrait-il… se pourrait-il que la meilleure façon d’obtenir de bonnes recherches et publications des chercheurs soit tout simplement d’embaucher de bonnes personnes, de les payer correctement et de leur demander de faire le travail du mieux qu’elles peuvent ?
Version originale sur le blog Sauropod Vertebra Picture of the Week