La revue par les pairs remise en cause
Le système d’évaluation par les pairs («peer review»), au coeur de la méthode classique, fait l’objet de nombreuses critiques. Les propositions d’améliorations abondent également
C’est une étape incontournable pour tous les chercheurs: pour qu’un nouveau résultat soit accepté dans une revue scientifique, ils doivent le soumettre à des experts dans leur domaine. Ce processus d’évaluation par les pairs («peer review» en anglais) est considéré comme la méthode de référence qui permet de valider les nouvelles découvertes scientifiques.
Brisons tout de suite le mythe: «Le fait qu’une étude ait été évaluée par les pairs ne dit pas grand-chose sur sa qualité», avertit Winship Herr, biologiste, professeur à l’Université de Lausanne et ancien éditeur d’une revue scientifique. Le processus agit tout au mieux comme un premier filtre. «Sans évaluation, environ 2% des articles publiés seraient corrects, reproductibles et intéressants. Grâce à la peer review, on arrive entre 10 et 50%», estime David Vaux, professeur au Walter and Eliza Hall Institute de Melbourne, qui contribue au site américain Retraction Watch, spécialisé dans le suivi des articles retirés ou corrigés.
Si ce pourcentage reste bas, c’est entre autres parce que les relecteurs ne se basent que sur leur lecture de l’article et peuvent difficilement en vérifier les détails pratiques. En sciences expérimentales, un lecteur qui veut être certain qu’un résultat publié est valide n’a pas d’autre choix que d’essayer de le reproduire dans son propre laboratoire. Mais impossible de répéter toutes les expériences! «En général, la recherche devenant toujours plus spécialisée, tout le monde est obligé de faire de plus en plus confiance aux revues», explique Christine Clavien, philosophe des sciences à l’Université de Genève.
Si la relecture par les pairs a un effet positif sur les articles scientifiques, le processus prend quelques fois des allures de cauchemar: relectures qui s’étendent sur des mois, voire des années, experts qui font des demandes irréalistes, ou qui veulent réécrire l’article à leur goût, ou à l’inverse, qui n’ont pas le temps de lire l’article en détail – précisons ici qu’ils font ce travail de manière bénévole! La qualité du résultat scientifique peut se ressentir de ces écueils: «Après un moment, il nous arrive de bâcler les expériences supplémentaires demandées par les relecteurs parce qu’on veut juste en finir», avoue un chercheur romand.
Manque de transparence
La plupart des revues qui pratiquent l’évaluation par les pairs ont une caractéristique commune: l’identité des relecteurs reste inconnue des auteurs et lecteurs. Le but est louable: protéger les jeunes chercheurs, qui peuvent alors se permettre de critiquer les articles proposés par de grands pontes sans crainte de répercussions. Mais les effets négatifs abondent. «Il arrive que ça serve de paravent pour régler des comptes», confie un universitaire parisien.
Sans compter que chaque expert est forcément biaisé d’une façon ou d’une autre, même sans avoir de mauvaises intentions. «Les jeunes doctorants sont souvent plus critiques que les professeurs plus âgés, qui sont plus réalistes dans leurs demandes», s’amuse Winship Herr. Plus préoccupant: impossible pour un chercheur de savoir si ses relecteurs anonymes ne sont pas des concurrents travaillant sur le même sujet de recherche que lui. Pas sûr dans ce cas que leur critique sera objective!
On sait à quel point une carrière universitaire est liée aux publications scientifiques. Il n’est donc pas étonnant qu’un petit nombre d’universitaires essaie de détourner le système de peer review. Les cas de fraude sont rares, mais ils existent. Comme ce chercheur sud-coréen spécialisé dans les plantes, qui a suggéré pour la relecture de ses travaux de faux experts… afin que les adresses e-mail fournies arrivent chez lui, ce qui lui a permis de devenir son propre relecteur. Ce sont 28 de ses articles qui ont dû être retirés de la littérature scientifique.
Ce type de fraude est même quelques fois institutionnalisé. L’entreprise pharmaceutique allemande Merck s’est fait prendre la main dans le sac après avoir acquis plusieurs revues scientifiques qui donnaient l’apparence d’être neutres et évaluées par des pairs, mais qui publiaient en fait sans filtre des articles positifs concernant ses propres médicaments. Car l’apparence d’autorité de la revue scientifique compte aussi au-delà du monde de la recherche: «L’existence d’une publication revue par les pairs décrivant un médicament est un énorme avantage pour son homologation», affirme Christine Clavien.
Des solutions panachées
De plus en plus consciente des limites du système, la communauté scientifique ne manque pas d’idées pour l’améliorer. Une proposition fréquemment entendue mise sur plus d’anonymat: en travaillant en double aveugle, les relecteurs ne connaissent pas les auteurs des manuscrits qu’ils critiquent et devraient ainsi être plus objectifs. Elle est défendue par David Vaux: «Les relecteurs sont plus influencés par la réputation d’un auteur que par une lecture attentive de son article.»
Science Matters, une nouvelle revue en ligne, va plus loin: elle applique un triple aveugle, cachant l’identité des auteurs même aux responsables du journal. Avec une limite pratique: entre experts, il reste facile de retrouver qui se cache derrière un article anonyme… Si bien que certains envisagent un ajustement diamétralement opposé, dans lequel l’identité des relecteurs et leurs commentaires seraient divulgués…
D’autres chercheurs penchent cependant pour des changements plus profonds. «On se dirige vers une séparation de l’évaluation et de la publication, les revues scientifiques n’ayant plus l’exclusivité d’aucune de ces deux activités. Une évolution rendue possible par le développement du Web», estime Jon Tennant, un paléontologue qui collabore avec la plateforme web ScienceOpen. Un grand nombre de chercheurs mettent déjà à disposition publiquement des «preprints», une version préliminaire de leurs articles de recherche, qui n’a pas encore été transmise à une revue à comité de lecture, sur des serveurs tels que arXiv (en physique) et bioRxiv (en biologie). Des plateformes comme ScienceOpen ou PubPeer permettent pour leur part de commenter des articles après qu’ils ont été publiés dans une revue.
«Les relecteurs sont plus influencés par la réputation d’un auteur que par une lecture attentive de son article»
DAVID VAUX, PROFESSEUR AU WALTER AND ELIZA HALL INSTITUTE, MELBOURNE
Au congrès international sur la peer review qui se tenait à Chicago mi-septembre, on notait que ces systèmes «ouverts» ont encore de la peine à décoller. Jon Tennant explique cela par une inertie très forte. Mais un autre problème subsiste: quel que soit le système, il est difficile de motiver des relecteurs qui aient le temps, les compétences et l’envie de faire ce travail chronophage et peu gratifiant.
Aucune des alternatives n’est proche de remplacer le système classique de relecture. Pour Jon Tennant, «il n’y aura jamais une seule façon de faire de la relecture par les pairs, d’autant plus que le Web permet tellement d’innovations. Dans tous les cas, le système vers lequel nous nous dirigeons devra reconnaître la valeur de la recherche elle-même, plutôt que le fait qu’elle a été publiée dans un journal réputé.»
▅
Demain: les petits bidouillages des chercheurs