La revue par les pairs, en anglais Peer-Reviewing, désigne le processus d'expertise de l'ensemble des articles scientifiques depuis des décennies, processus au bout duquel l'auteur peut donc être publié ... ou mourir en paix ("publish or perish"). Relevé par Michel Roland, l'article "Open-peer review and collaboration" vient apporter une nouvelle pierre au si sensible dossier : "Faut-il tuer le pair ?". Formulé autrement, il s'agit de savoir si - au regard du contexte actuel d'auto-archivage, d'open-access et de nouveaux modes de publication en général - le peer-reviewing a ou non vocation a demeurer le modèle unique du circuit de "validation" des connaissances scientifiques. Petite revue des "pour" et des "contre".
Que reproche-t-on au Peer-reviewing ?
les experts sont anonymes ce qui favorise leur désengagement : ils s'y mettent au dernier moment, ils ne respectent pas forcément la "checklist" d'évaluation (quand elle existe)
les femmes acceptent trois fois plus de manuscrits que les hommes et/mais les femmes sont nettement minoritaires dans les comités d'évaluation
les pairs en question sont souvent moins "experts" sur le sujet que l'auteur de l'article
des logiques de carrière, institutionnelles et personnelles sont souvent présentes, les auteurs "seniors" ayant ainsi parfois tendance à sous-évaluer le travail de jeunes équipes ou auteurs au profit d'autres seniors (et je ne vous parle même pas des mesquineries et autres animosités personnelles qui - comme dans tout groupe humain - se font évidemment jour, tant il est vrai que "l'anonymat" des articles évalués n'empêche souvent en rien d'identifier leur auteur.)
le processus d'évaluation est looooooong, très long (entre 6 mois et 2 ans, parfois plus)
il est également coûteux (frais d'édition, de secrétariat, etc ...)
il ne joue pas son rôle de filtre (la plupart des articles refusés finissent par être publiés par d'autres revues, et pas nécessairement moins "prestigieuses")
il est inefficace qualitativement (on a ainsi montré que les "experts" étaient le plus souvent incapables de repérer les erreurs volontairement introduites dans des articles bidonnés pour les besoins du test)
Bon ... devant cette charge en règle, quels sont les modèles alternatifs dont on dispose aujourd'hui ?
Modèle fermé : on pousse jusqu'au bout la logique d'anonymat des articles : non seulement on ne donne pas le nom de l'auteur mais on anonymise aussi toutes les références de l'article et de sa bibliographie à des institutions et/ou à d'autres articles du même auteur : non seulement c'est infaisable, mais en plus cela ôte évidemment des éléments essentiels à l'expertise elle-même. Donc on perd sur les 2 tableaux. Modèle perdant-perdant.
Modèle semi-ouvert : on lève l'anonymat des pairs : les auteurs savent qui les évalue. On parle alors d'« open peer-review ». Et ça marche puisqu'on note que dans ce cadre :
on critique moins, ou à tout le moins les critiques sont argumentées,
les commentaires sont souvent plus approfondis, plus argumentés et plus courtois
Ils (les pairs toujours) sont ainsi incités à décliner l’évaluation quand ils ne s’estiment pas compétents
Les jugements abusifs plus facilement repérés.
Le travail des experts s’en trouve in fine valorisé et bénéficie de plus de crédit
Donc ... tout le monde est content, et on est sur du gagnant-gagnant.
Nombre de revues (ou groupements de revues) ont d'ailleurs fait ce choix : BMJ (British Medical Journal ), BiomedCentral, MJA (Medical Journal of Australia ) et d'autres ...
Modèle ouvert : le plus radical, le plus novateur. Donc le plus intéressant. Et donc le plus critiqué. On ne se contente plus de lever l'anonymat des pairs, mais on autorise les “lecteurs” à intervenir dans le processus en déposant leurs commentaires sur des articles soumis à publication. On parle alors de “commentary-based peer-review” ou de “peer-commenting”. Trois manières de mettre en place un "Peer-commentary" : commentaires AVANT, APRES ou A LA PLACE de la revue par les pairs. Pour autant, il ne s'agit pas de sombrer dans un extrémisme candide : c'est la co-existence des deux modèles (Peer-commentary puis peer-reviewing ou l’inverse) qui est intéressante et novatrice, l’initiative de la décision de publication restant dans chaque cas aux experts.
Le "Journal of Interactive Media in Education" combine pré et post-commentary. Le journal "Electronic Transactions on Artificial Intelligence" a lui décidé d’ouvrir aux lecteurs le processus de revue par les pairs. Quant à "Psycoloquy" ou "JIME", le choix s’est porté sur l’ouverture aux commentaires après le processus de Peer-Reviewing.
Alors ... le complexe d'Oedipe ravagera-t-il le petit monde de la recherche ?
Nota Bene : Les faits relatés ci-dessus ne sont pas le produit de mon imagination malade mais le résultat d'un travail d'expertise qui trouvera peut-être un aboutissement dans une "vraie" publication (enfin si je trouve le temps et si elle est acceptée par mes pairs ;-), lequel travail doit énormément à la mini-bibliographie suivante :
Harnad Stevan, 2000. "The Invisible Hand of Peer Review". En ligne.
Piolat A and Vauclair J, "Le processus d’expertise éditoriale avant et avec Internet", "Pratiques psychologiques", Vol 10 n°3, pp. 255-272, 2004. En ligne.
Jefferson T, Demicheli V. "Are guidelines for peer-reviewing economic evaluations necessary? A survey of current editorial practice." Health Econ. 1995 Sep-Oct; 4(5):383-8.
Stern David, "Open access or differential pricing for journals:" Online Vol. 29 No. 2 — Mar/Apr 2005. En ligne.