Le fait d’adopter, sur la base d’une conception bibliométrique, une classification des revues scientifiques en A, B et C, des meilleures aux plus médiocres, pour l’évaluation des équipes de recherche et des chercheurs en psychologie pose de nombreux problèmes. Toutes les disciplines psychologiques peuvent-elles être soumises aux mêmes critères ? La mainmise des Étasuniens sur les processus de la production et de l’évaluation des connaissances doit-elle être inscrite dans le marbre ? Peut-on, dans les évaluations, lorsqu’on est évaluateur, se dispenser d’une appréhension analytique des dossiers ? Nous ouvrons le débat.
Pour une discussion argumentée sur la classification
A titre personnel, je n’ai jamais posé le principe que les chercheurs, les enseignants-chercheurs, ainsi que les équipes de recherche dans lesquelles ils travaillent, ne devaient pas être évalués sur la qualité de leur prestation professionnelle. Il s’agit de salariés de l’État, qui ont des avancements et des promotions, et leur travail intellectuel, comme tout travail rémunéré, doit être évalué. Il pourrait l’être sur la qualité de leurs enseignements, lorsqu’ils sont enseignants-chercheurs, sur leur implication et leur efficacité dans la valorisation de la recherche, sur la valeur ajoutée qu’ils apportent à leurs étudiants en tant que produits mis sur le marché du travail (y compris du travail universitaire) etc. Mais ces trois points ne sont pas très faciles à juger.
Acceptons donc la règle selon laquelle on peut commencer en les évaluant en tant que chercheur, et même en posant la règle de commodité qu’ils peuvent être évalués en tant que chercheurs sur la base de leur production de textes scientifiques évalués par les pairs1. C’est incontestablement là le terrain le plus facile. Le problème est de savoir comment on s’y prend. Si nous posons ce problème aujourd’hui, c’est parce qu’une classification des revues de psychologie vient d’être adoptée pour être utilisée par les instances d’évaluation des équipes, des chercheurs et des enseignants-chercheurs. Les revues sont classées en A, B, B’ et C, étant entendu que les revues classées C ne valent pas grand-chose, un chercheur, pour être considéré comme « publiant » devant avoir publié des articles dans les revues A (les plus « prestigieuses »), B ou B’. Les autres chercheurs, même s’ils publient dans les revues classées C, ne méritent aucun subside. Le classement s’est fait selon un point de vue « bibliométrique », le critère essentiel étant le facteur d’impact des revues, c’est-à-dire, grosso modo, le nombre de fois où elles sont citées dans des revues répertoriées par la base de données étasunienne de l’ISI (Institute of Scientific Information), un organisme privé appartenant à la multinationale Thompson2
Un bref rappel
Les choses n’en sont pas arrivées là sans quelques préalables qui méritent d’être rapidement rappelés.
Une groupe de réflexion commissionné par une instance européenne (l’European Science Foundation) avait réuni, il y a environ trois ans, des chercheurs en psychologie européens reconnus par leurs pairs auxquels s’était joint un bibliométricien. Ils avaient proposé que soient considérées comme « revues de rang A » 1. les grandes revues en langue anglaise et 2. quelques revues considérées dans les pays où se pratique la recherche en psychologie (Argentine, Brésil, Russie, les pays de la « vieille Europe »…) comme les meilleures revues nationales. Cette idée ne semble pas avoir satisfait les fonctionnaires européens s’occupant de l’affaire, lesquels privilégiaient l’anglais et les classements sur bases de données étasuniennes. Les choses en sont resté là. Une autre commission a fait par contre le travail attendu comme attendu, classant les revues sur la base des critères bibliométriques étasuniens, les revues se trouvant classées A, B et C en fonction de leur impact international (lire : leur impact dans les revues répertoriées par l’ISI). Comme on pouvait s’y attendre, cette classification était en parfaite adéquation avec la mainmise des Etats-Unis sur le processus de production des connaissances et d’évaluation des connaissances produites3. Deux points pour illustration :
aucune revue argentine, russe, mexicaine, chinoise, indienne… classée A. Ni aucune revue éditée dans d’autres pays non anglo-saxons.
la plupart des revues françaises classées C, donc désignées comme étant non intéressantes pour les chercheurs désirant le statut de « publiant ». Qui va publier désormais dans les revues classées C ? Éventuellement quelques très jeunes ou quelques très vieux chercheurs. En somme, à suivre cette classification, la plupart des chercheurs en psychologie du monde, dont les Français, seraient condamnés à publier dans les revues anglo-saxonnes (ou dans les revues fortement « anglo-saxonnisées » comme nos revues dites « européennes » qui publient en anglais et principalement sur des thématiques étasuniennes).
Cette situation a été jugée préoccupante par des responsables de notre Comité National des Universités, comité chargé de l’évaluation des enseignants-chercheurs. Ils ont bataillé pour que des revues françaises classées C soient, en quelque sorte, « relevées ». Ils ont pour ce relèvement introduit une nouvelle classe, la classe B’, posée comme moins bonne que la classe B mais entrant dans le registre des revues justifiant l’attribution du statut de « chercheur publiant ». Les instances évaluatives ministérielles ont accepté ce B’, ce qui permet à quelques revues françaises, auparavant classées C, d’être prise en considération. Doit-on être satisfait ? On peut en débattre.
Un débat sérieux
Je le dis tout net ; il ne devrait pas être question ici de chigner comme le font des collègues de tout bord épistémologique qui rouspètent, sans avancer d’analyse, tout simplement parce que certaines revues dans lesquelles ils publient sont mal classées, ou ne sont pas aussi bien classées qu’ils le souhaiteraient. Maniprop n’est pas le lieu le plus adéquat pour chigner. Par contre :
Où l’on admet les principes adoptés pour la classification, alors, même si on espère que les choses pourront évoluer dans un sens plus favorable, on peut les justifier dans le débat ouvert sur maniprop et même avancer des perfectionnements possibles. La bibliométrie a besoin d’être connue et défendue.
Ou l’on n’admet pas ces principes, comme c’est d’ailleurs mon cas 4et, alors, sur la base d’analyses, on peut contester cette classification (et notamment sa philosophie bibliométrique) et son application.
Une lettre du SIUEERPP
Les premiers à avoir fortement réagi à la toute dernière classification adoptée sont les chercheurs en psychopathologie clinique inspirés par la psychanalyse. C’est la raison pour laquelle on trouvera ci-dessous une lettre et son exposé des motifs, lettre adressée, au nom du SIUEERPP5, par Roland Gori et Alain Abelhauser à la Présidente du CNU (l’une des personne s’étant engagée pour le relèvement de certaines revues françaises en B’). Le fait de reproduire cette lettre n’est aucunement, pour maniprop, un placet à l’égard de cette dernière. Elle a fait ce qu’elle croyait devoir faire et, à ce titre, mérite le respect. Nous ne faisons ici que mettre cette pièce dans le débat que nous espérons voir se développer.
La psychanalyse à l’Université : un nouveau coup bas des technocrates
L’évaluation de la production scientifique des chercheurs et des laboratoires détermine à l’Université l’habilitation des diplômes, l’accréditation des équipes et la carrière comme la promotion des enseignants-chercheurs. Cette évaluation se fondait en toute légitimité sur l’évaluation des travaux de recherche par les pairs et pouvait donner lieu à de larges débats tant en ce qui concerne la qualité de la recherche que les supports de publication (revues, livres etc.). Cette époque "préhistorique" est terminée. A l’époque de l’homme numérique et à l’heure de la google-civilisation on tend à lui préférer aujourd’hui l’évaluation bibliométrique qui évite aux évaluateurs d’avoir à lire les travaux qu’ils expertisent en ne fondant leur jugement que, par exemple pour l’Impact factor, sur le niveau de citation des revues pour l’essentiel nord-américaines. Passons sur les biais méthodologiques de cet Impact factor, passons encore sur la normalisation des recherches et des chercheurs qu’il produit en les conformant aux intérêts scientifico-économiques américains, passons encore sur le quasi monopole qu’il confère aux organismes scientifiques et éditoriaux américains sur le "marché" scientifique, passons encore sur le pouvoir de domination idéologique, linguistique et culturel qu’il apporte au "rêve américain", il est des disciplines scientifiques où sa commodité l’impose sans compromettre le devenir des recherches et des chercheurs. Il en est d’autres où ce système d’évaluation constitue une normalisation idéologique à l’intérieur même de la discipline en favorisant certains courants de pensée (soluble dans le modèle anglo-saxon) et en en stigmatisant d’autres (les plus européens). Après avoir été longtemps rétive au "rêve américain", l’establishment de la psychologie à l’Université s’engouffre dans l’évaluation bibliométrique, dispositif par lequel la Nomenklatura de la psychologie pourra assurer à terme la promotion des idéologies cognitivo-comportementales de l’homme performant et l’exclusion définitive de la psychanalyse de l’université. Une commission dite AERES/CNRS/CNU a consacré au début de l’été ce formidable pouvoir de normalisation et de destruction massive, non sans devoir ménager quelques susceptibilités "françaises". Conscient de la gravité de la situation, le SIUEERPP a adressé à Ewa Drozda, Présidente de la 16e section du CNU et à Elisabeth Demont, Vice-Présidente, seules élues syndicales de cette commission, la lettre suivante :
Chères Collègues ,
Le SIUEERPP s’est ému de la liste de classement des revues qui, récemment, a été diffusé dans les milieux de la psychologie et qui prétend constituer « une première classification des revues de psychologie dont l’objectif explicite était de proposer aux comités d’évaluation de l’AERES, aux responsables des unités de recherche (UMR et EA) et à la communauté des enseignants-chercheurs et chercheurs en psychologie un outil commun d’évaluation et d’auto-évaluation des publications sous forme d’articles scientifiques. » Cette liste aurait été établie « à partir d’une liste des revues la plus exhaustive de l’APA »6 et le classement qu’elle propose procéderait de la valeur d’Impact factor de chaque revue. Avertis des critiques qu’un tel classement allait produire, les membres de la commission auraient provisoirement accepté de « relever » le classement de certaines revues francophones.
Le SIUEERPP, qui rassemble plus de deux cent trente membres dont les trois quarts sont Maîtres de conférences ou Professeurs de psychopathologie clinique, soit la plus large majorité des cliniciens à l’Université relevant de la 16ème section du CNU que vous présidez, condamne et refuse ce dispositif d’évaluation fondé sur une logique bibliométrique et quantitative ignorante de la réalité concrète du travail éditorial des revues.
Nous comprenons votre préoccupation d’établir des critères d’évaluation transparents, commodes et équitables, qui puissent aider les chercheurs et les instances qui les évaluent. Nous avons apprécié votre souci de ménager les susceptibilités des francophones, qui vous a conduit à « relever » certaines revues dans ce classement. Mais de telles concessions, pour « arrangeantes » qu’elles soient dans le champ disciplinaire qui est le nôtre, ne sauraient remplacer un véritable travail de concertation communautaire et disciplinaire à même de créer les conditions d’une « authentique évaluation par des pairs ». Ce qui suppose a minima que les Sociétés savantes des différentes sous-disciplines de la psychologie soient consultées et invitées à établir les critères spécifiques de leurs productions scientifiques. Faute de quoi les systèmes d’évaluation pourront toujours légitimement apparaître comme des dispositifs de normalisation épistémologique et sociale. Ainsi n’ignorez-vous pas, par exemple, que nous inciter, nous cliniciens, à aligner nos recherches sur le modèle anglo-saxon, conduit purement et simplement à nous inviter à consentir librement à notre propre exclusion de l’Université.
Enfin, et ce n’est pas la moindre des choses, la validité de l’Impact factor en tant que critère bibliométrique se trouve largement remis en cause au sein même des milieux scientifiques qui l’avaient d’abord adopté. On tend à lui préférer les facteurs H et M et on invite fermement à la prudence en convenant que « pour l’évaluation, la bibliométrie est un peu comme le sel dans la soupe. Sans lui, on a du mal à savoir si elle est bonne ou mauvaise. Mais il ne fait pas le plat pour autant, et point trop n’en faut. », ou encore « il faut bien sûr de la vertu pour vraiment lire ces articles (et pas seulement le titre) […]. C’est pourtant la démarche qui est de loin la plus utile à une évaluation efficace et juste." (Philippe Vernier, Président de la section 24 "Interactions cellulaires" du CNRS).
Vous conviendrez aisément, chères collègues, qu’une fraîche conversion à la vertu évaluative de l’Impact factor dans une discipline aussi rhapsodique que la psychologie pourrait produire des conséquences catastrophiques pour l’ensemble de notre communauté. Nous vous demandons donc de bien vouloir renoncer à ce classement bibliométrique des revues et de créer, en tant qu’élues syndicales, les conditions d’une authentique évaluation fondée sur la valeur des travaux et l’estime des pairs.
Dans cette attente, nous vous prions de croire, chères collègues, à l’expression de nos pensées les plus cordiales,
Roland Gori, président du SIUEERPP Alain Abelhauser, secrétaire général du SIUEERPP
À d’autres de poursuivre
D’autres, comme je le souhaite, peuvent approfondir cette analyse. Et, j’espère, dans les deux directions mentionnées. Il suffit soit de « répondre à cet article », soit d’envoyer un texte qui sera placé ici même, à la suite de ce début de débat. En attendant, je pense utile de donner un récent commentaire de la Société Française de Psychologie :
Communiqué de la Société Française de Psychologie
La Société Française de Psychologie7 souhaite contribuer à la réflexion sur le classement des revues scientifiques de psychologie menée jusque-là conjointement par l’AERES, le CNRS et le CNU. La politique d’évaluation des laboratoires et des chercheurs peut être légitimement appréhendée dans le cadre d’une plus grande transparence de fonctionnement des universités publiques et des organismes de recherche. Concernant la publication dans les revues, les mesures d’impact des articles scientifiques, en dépit des nombreux biais et faiblesses de l’impact factor calculé par ISI-Thomson, peuvent faire partie des critères à retenir pour l’évaluation du rendement scientifique.
Deux remarques, cependant, s’imposent : évaluer un laboratoire de recherche ou un chercheur uniquement sur cette base peut aboutir à des effets pervers et des dérives. Ainsi, l’innovation scientifique ne se conjugue pas nécessairement avec la pression à la publication, pas plus que ne s’y conjugue nécessairement le respect de la déontologie du chercheur (les cas de fraudes scientifiques, aux dires de nombreux directeurs de revues, ont augmenté très sensiblement dans les dernières années). Par ailleurs, il est évident que l’impact factor défavorise mécaniquement les revues scientifiques françaises puisque la probabilité de citation d’un article en français est infiniment moindre que s’il s’agissait d’un article en langue anglaise. La Société Française de Psychologie a pour objectif le développement et la promotion de la psychologie française, notamment au plan international. L’existence d’un volume conséquent de revues scientifiques de niveau international en langue française constitue une des conditions de l’atteinte de cet objectif. Ajoutons que ce classement paraît au moment où de nombreuses revues françaises de psychologie sont engagées dans un processus de référendaire. Plusieurs directeurs et maisons d’édition de revues ont réalisé récemment les démarches ad hoc pour être prises en compte par ISI-Thomson. Il faut rappeler que le processus est long : plusieurs années8. La commission conjointe de l’AERES-CNRS-CNU a tenu compte de cette période transitoire que vivent les revues françaises de psychologie en créant une catégorie B’, au demeurant relativement large. Il paraît impératif que l’existence de cette rubrique perdure, sans condition de durée, l’évaluation des revues en vue de leur passage à une catégorie supérieure ou inférieure devant être réalisée périodiquement (chaque année, au plus tard tous les deux ans).
Au-delà de la prise en compte de l’impact factor, l’évaluation des revues scientifiques doit porter également sur le caractère international des expertises réalisées, le nombre d’expertises réalisées sur chaque article, ainsi que l’impact d’une revue sur l’environnement social. Elle doit aussi tenir compte des inégalités entre disciplines. On sait que les revues de mathématiques obtiennent des facteurs d’impact considérablement plus faibles que les revues de médecine, par la simple mécanique de calcul du facteur d’impact. Les sous-disciplines de la psychologie n’échappent pas à ces effets contextuels. La commission devra ainsi prendre des décisions de politique scientifique, ne pouvant simplement se retrancher derrière le facteur d’impact. La Société Française de Psychologie considère indispensable que les acteurs de la vie scientifique et les organisations qui les représentent participent à ces décisions. Les déclarations des membres du CNU qui ont oeuvré au sein de cette commission, formulées à l’occasion de la diffusion du classement révisé des revues de psychologie, vont dans ce sens. La Société Française de Psychologie soutient cette démarche et s’engage à y participer dans le respect de la pluralité des disciplines psychologiques et la conscience aigue de la nécessité de recourir à des procédures d’évaluation, mais aussi de l’indispensable besoin de discernement face à une tâche éminemment complexe, et par nature imparfaite. Rien, dans le fonctionnement de l’AERES dans le champ de la psychologie, ne laisse entendre qu’on souhaite restreindre l’évaluation des laboratoires au simple calcul de l’impact factor. Il est, cependant, nécessaire d’alimenter la réflexion sur les autres critères de manière à donner à l’impact factor le statut qui doit être le sien : un critère d’évaluation parmi un ensemble de critères.
Le 16 septembre 2008
1 Beauvois, J.-L., 2005, Les illusions libérales, Individualisme et pouvoir social, Grenoble, Presses Universitaires de Grenoble
2 voir Tiberghien, G. & Beauvois, J.-L., 2008, Domination et impérialisme en psychologie. Psychologie Française, 53, 135-155 ; Beauvois, J.-L., & Pansu, P., 2008, Facteur d’impact et mondialisation culturelle. Psychologie Française, 53, 211-222
3 Une étude réalisée en Allemagne montre que si quelque 50% de chercheurs non étasuniens publient dans des revues étasuniennes, 70% des membres de ces revues sont américains
4 C’est vrai qu’on peut trouver sidérant qu’à une époque où la psychologie occidentale, pour ne pas dire étasunienne, se trouve mise en cause dans le monde, en Inde, en Chine, aux Philippines, en Afrique, en Amérique du sud… où naissent des « psychologies indigènes » dont l’ambition est de s’élever contre l’arbitraire théorique et l’impérialisme de la psychologie indigène étasunienne (voir mon article sur les psychologies indigènes), on impose aux chercheurs français de s’aligner, le doigt sur la couture du pantalon, et de s’évertuer à être les « bons arabes » de la situation. Je ne développerai pas ce point de vue ici puisque je l’ai déjà fait sur maniprop et ailleurs (Tiberhien et Beauvois, déjà cité ; Beauvois J.-L., 2005, Des dangers d’une culture dominante dans les sciences psychologiques et sociales : la psychologie sociale et l’impact factor. Cliniques Méditerranénnes, 71, 195-222)
5 Centre InterUniversitaire Européen d’Enseignement et de Recherche en PsychoPathologie. Cette association regroupe quelque de 230 collègues
6 American Psychological Association
7 La Société Française de Psychologie, société savante créée par Pierre Janet en 1901, concourt à représenter la psychologie française dans les instances scientifiques nationales (Comité National Français de Psychologie Scientifique – CNFPs, membre du Comité Français des Unions Scientifiques Internationales - COFUSI lié à l’Académie des Sciences) et internationales (International Union of Psychological Science - IUPsyS). Avec ses organisations partenaires qui adhèrent au Département des Organisations Associées de la SFP, la Société Française de Psychologie représente 5 000 chercheurs, enseignants-chercheurs en psychologie et psychologues
8 L’observation des parutions sont requises, puis deux ans de comptage des citations avant l’obtention d’un facteur d’impact l’année suivante. Une période de 6 ou 7 ans entre la démarche des responsables d’une revue et l’obtention d’un facteur d’impact peut donc être considérée normale