DOSSIER : QUANTIFICATION ET QUANTITE

Marie-Hélène L’Heureux est étudiante au doctorat en science politique à l'Université Laval (Québec). Elle travaille comme auxiliaire de recherche au Centre d'analyse des politiques publiques (CAPP) et au Laboratoire de recherche sur la performance et l’évaluation de l’action publique (PerfEval) de l'Université Laval. Ses intérêts de recherche portent sur l'évaluation dans le secteur public.

Steve Jacob est professeur titulaire et directeur du Centre d’analyse des politiques publiques (CAPP) et du Laboratoire de recherche sur la performance et l’évaluation de l’action publique (PerfEval). Il enseigne la science politique à l’Université Laval à Québec et dans plusieurs universités étrangères. Il dispense des formations continues aux employés du secteur public. Il a aussi effectué des séjours de recherche à l’Université de Toronto et à la Claremont Graduate University (Californie). Il mène des recherches sur les processus de modernisation de l’administration, l’éthique publique et les dispositifs d’évaluation et de gestion de la performance.

SOMMAIRE

1. Introduction

2. Méthodologie

3. Caractéristiques des articles de l’échantillon

4. Représentation de la pratique de l’évaluation

5. La légitimité de l’évaluation remise en question

6. Anticipation des effets de l’évaluation

7. Discussion et conclusion

1. Introduction

L’évaluation est une pratique ancienne qui a pris une importance particulière au sein des pratiques de gestion du secteur public dans plusieurs pays à partir des années 1960. Guidés par des objectifs d’amélioration des programmes, de reddition de compte ou encore de prise de décisions, les acteurs politico-administratifs font de plus en plus appel à l’évaluation et mettent en place des structures qui contribuent à son institutionnalisation (Jacob, 2009 ; Jacob et coll., 2015). Dès son apparition, les évaluateurs ont été confrontés à des manifestations de réticences voire de résistance à l’évaluation de la part des praticiens et administrateurs associés au programme évalué (Carter, 1971 ; Kilburg, 1980). La résistance à l’évaluation peut être associée à des comportements individuels et collectifs visant à entraver les processus évaluatifs « dans le but de se protéger des effets désagréables perçus de ces activités » (Blais, 1986, 48). De manière plus générale, la résistance est guidée par une variété d’intentions, positives ou négatives (Piderit, 2000). La résistance à l’évaluation prend ainsi différentes formes incluant entre autres le camouflage, la distorsion ou le refus de fournir de l’information ; l’altération des procédures d’évaluation ou la remise en cause de la crédibilité des résultats d’évaluation ou de l’évaluateur (Kilburg, 1980).

Les explications de nature philosophiques et psychologiques sont les premières à avoir été élaborées pour comprendre le phénomène de la résistance à l’évaluation et demeurent pertinentes encore aujourd’hui. D’une part, la littérature souligne l’importance de la perception des parties prenantes quant aux caractéristiques normatives, techniques et méthodologiques de la démarche d’évaluation proposée (Kilburg, 1980 ; Taut et Brauns, 2003). D’autre part, la littérature suggère que les caractéristiques individuelles ainsi que les connaissances et expériences antérieures en lien avec l’évaluation peuvent influencer les émotions et attentes des parties prenantes par rapport au processus d’évaluation (Blais, 1986 ; Donaldson et coll., 2002 ; Taut et Brauns, 2003). Sous cette perspective, la résistance à l’évaluation est parfois associée au sentiment d’anxiété que génère le processus chez les évalués ainsi qu’à l’anticipation des implications, personnelles et professionnelles, qui en découlent (Donaldson et coll., 2002). Sur ce point, les études portant sur la résistance au changement en contexte organisationnel permettent de comprendre le caractère ambivalent de la résistance ainsi que ses fondements cognitifs, émotionnels et intentionnels (Piderit, 2000). La résistance se développe tant au niveau individuel qu’organisationnel (Kumar et coll., 2007). En ce sens, la résistance à l’évaluation est aussi influencée par des facteurs contextuels tels que les valeurs institutionnelles, le climat organisationnel et les circonstances entourant le déroulement de l’évaluation (Blais, 1986 ; Taut et Brauns, 2003 ; Skinner, 2004).

En s’intéressant aux éléments discursifs de la résistance à l’évaluation, il est possible d’y déceler une représentation particulière de la pratique de l’évaluation par les acteurs résistants ainsi qu’une anticipation des effets négatifs qui y sont associés. Lesain-Delabarre (2002) par exemple, recense des arguments de résistance associés aux hypothèses normatives qui sous-tendent l’évaluation et à la validité des approches méthodologiques mises de l’avant.

Dans cet article, nous nous penchons sur les arguments de résistance guidés par une perception de « quantophrénie » des processus d’évaluation. La quantophrénie, initialement conceptualisée par Pitirim Sorokin dans les années 1950, fait référence à une tendance à traduire systématiquement les phénomènes sociaux et humains en langage mathématique (Sorokin, 1959). Le terme est généralement associé à une connotation négative. La quantophrénie va au-delà du simple usage de la mesure ou de la quantification et dénote un caractère obsessif envers son application. La quantophrénie est critiquée pour les effets de distorsion ou dérive qu’elle engendre (tendance à l’uniformisation, effets incitatifs inattendus, entre autres) (Sorokin, 1959). Puisqu’elle est appliquée à des phénomènes psycho-sociaux qui ne semblent pas se prêter à une quantification, Sorokin (1959) souligne qu’elle offrirait une faible contribution à l’avancement des connaissances scientifiques. Plus récemment, le terme a été appliqué dans le secteur public en référence à une tendance accrue au recours à la mesure afin d’apprécier les caractéristiques de différents processus de gestion (ex. : Gaujelac, 2005).

Notre objectif est de comprendre la nature de ces arguments de résistance, dans le contexte de l’évaluation des politiques publiques. Pour ce faire, nous analysons un échantillon d’articles caractérisés par une posture normative et une critique directe négative face à l’évaluation. Tous les articles sélectionnés posent leur analyse sur le développement de l’évaluation en France. Le cas de la France est intéressant puisqu’il s’agit d’un pays où l’évaluation a connu une institutionnalisation ponctuée par de nombreux défis et débats (Varone et Jacob, 2004 ; Jacob, 2005) et qui en plus présente une situation particulière sur le plan de l’articulation entre évaluation et quantification (Barbier et Matyjasik, 2010).

2. Méthodologie

Le corpus de texte analysé dans cet article est issu d’une démarche de recherche plus large visant à approfondir la compréhension des arguments de résistance à l’évaluation. Les articles pertinents ont été initialement identifiés à partir d’une recherche bibliographique menée en février 2017, par une spécialiste en ressources documentaires. La recherche a été effectuée dans les bases de données Francis, CAIRN, Persée et International Bibliography of the Social Sciences (IBSS) à partir de mots-clés associés aux concepts d’évaluation et de résistance1. Les mots-clés devaient apparaître dans le titre ou le résumé. Cette recherche initiale a permis d’identifier 2380 articles.

La constitution de l’échantillon analysé dans cet article s’est déroulée en différentes étapes. Premièrement, l’ensemble des articles a été révisé séparément par les auteurs et deux auxiliaires de recherche. Un premier tri a été effectué sur la base du titre et du résumé de l’article. Pour être retenus, les articles devaient porter principalement sur l’évaluation et présenter une posture critique caractérisée par une opinion ou un jugement négatif sur l’évaluation. De plus, les articles devaient porter sur l’évaluation des politiques publiques, l’évaluation de programme, l’évaluation au sens large, l’évaluation dans le secteur public, l’évaluation ex ante, de mise en œuvre ou d’effets ou l’évaluation du personnel. Les articles portant sur l’évaluation des risques, l’évaluation des apprentissages (ex. : élèves), l’évaluation psychologique (ex. : risque suicidaire, dépression, évaluation de la personnalité, évaluation des dangerosités), l’évaluation des psychothérapies, l’évaluation dans le secteur privé, l’évaluation de l’expérience et l’évaluation de la qualité ont été exclus. Les sélections initiales individuelles ont été révisées collectivement et les désaccords ont été conciliés lors d’une séance d’arbitrage collective. Un échantillon de 62 articles a été constitué. Dans un second temps, la première auteure et deux auxiliaires de recherche ont lu les articles au complet afin de confirmer leur pertinence. Un échantillon final de 34 articles a été constitué pour l’analyse.

Le codage des articles de l’échantillon a été effectué à partir d’une grille de codage identifiant les principaux arguments de résistance à l’évaluation. Cette grille de codage a été élaborée sur une base inductive par le second auteur en collaboration avec un auxiliaire de recherche et affinée suite à un pré-test sur un échantillon d’articles (voir en Annexe 1). La grille de codage comporte trois niveaux d’analyse partant du plus général pour aller vers le plus spécifique. Les extraits codés ont été regroupés sous les différentes catégories. De plus des informations portant sur les caractéristiques des auteurs de l’article, l’objet évalué et l’évaluateur ont été collectées afin de contextualiser l’analyse des critiques développées dans les articles. Le corpus de textes utilisé dans cet article a été identifié à partir de ce codage.

3. Caractéristiques des articles de l’échantillon

Les articles de l’échantillon portent sur différents objets d’évaluation : l’évaluation en général (Aflalo, 2009 ; Simonet, 2009 ; Balandier, 2010 ; Haroche, 2010) ; l’évaluation dans le secteur public (Ennuyer, 2006 ; Büttgen et Cassin, 2009 ; Chamayou, 2009 ; Gori, 2009, 2011 ; Matzkin, 2009 ; Zarka, 2009 ; Salais, 2010a, b ; Charvin, 2011) et l’évaluation du personnel (Dujarier, 2010). Dans le cas du secteur public, les domaines de politique publique analysés sont : en général ou plusieurs secteurs (Büttgen et Cassin, 2009 ; Salais, 2010a, b) ; la recherche scientifique et l’enseignement supérieur (Chamayou, 2009 ; Gori, 2009, 2011 ; Matzkin, 2009 ; Zarka, 2009) ; le secteur économique (Charvin, 2011) et le secteur des services sociaux (Ennuyer, 2006).

Les articles analysent l’évaluation dans la période actuelle et la situent généralement dans un contexte plus large de transformations des pratiques de gestion dans le secteur public depuis 1980. Sur le plan disciplinaire, les auteurs des articles inclus dans notre échantillon proviennent d’une diversité de champs incluant les sciences juridiques, sociales et humaines, naturelles et de la santé.

4. Représentation de la pratique de l’évaluation

La résistance peut être influencée par les caractéristiques du processus d’évaluation. Cet élément est observable dans plusieurs articles de l’échantillon. Les articles basent en effet leur argumentation sur une représentation particulière de l’évaluation comme étant guidée par des objectifs de mesure et de quantification des objets d’évaluation, sans égard aux caractéristiques spécifiques des secteurs dans lesquels les évaluations sont entreprises (Aflalo, 2009 ; Gori, 2009 ; Dujarier, 2010 ; Charvin, 2011). Par exemple, Büttgen et Cassin (2009, 29) observent que « ni la recherche ni la santé ne se mesurent, et c’est précisément ce que dit l’évaluation quand elle parle des « performances » de l’hôpital ou du système de recherche. Le défi, quantifier du non- quantifiable, est relevé grâce à la performance ». Dans le même ordre d’idée, Alflalo (2009, 82-83) souligne que « l’évaluation [TQC (Total Quality Control)] fait croire que tout est objectivable et mesurable sans reste. Les calculs maquillent ensuite cette croyance en la parant indûment du label de science’ ».

D’autre part, des articles de l’échantillon associent la quantophrénie du processus d’évaluation au caractère idéologique de l’utilisation de la mesure et de la quantification. Des articles soulignent que l’évaluation répond à une « idéologie du chiffre » (Charvin, 2011) et est caractérisée par une « pensée calculatrice » (Gori, 2009). Ils suggèrent que l’évaluation contribue à la mise en place d’une norme de la « mesure » au service de la poursuite d’objectifs sociétaux de justice et d’efficience (Dujarier, 2010). Sous son caractère idéologique, la quantification est aussi étroitement associée à des objectifs d’efficacité et de performance (Simonet, 2009 ; Zarka, 2009).

Ce caractère idéologique renforce chez les auteurs une perception d’instrumentalisation de l’évaluation par les acteurs politico-administratif, directement ou par l’intermédiaire d’experts, afin de soutenir une décision ou orienter des processus (Büttgen et Cassin, 2009 ; Matzkin, 2009 ; Charvin, 2011). L’instrumentalisation se manifesterait aussi par une tendance à orienter le débat public vers les modalités techniques des instruments d’évaluation plutôt que sur leurs finalités ou fonctions plus générales (Chamayou, 2009 ; Salais, 2010a, b ; Charvin, 2011). Sous cet angle, l’évaluation « chiffrée » est perçue comme un mode de régulation et d’exercice du pouvoir (Zarka, 2009, 117) comme l’atteste la citation suivante :

Le but, sous la tromperie de la quantification, est de justifier un classement, une hiérarchie en matière de recherche, d’enseignement ou en toute autre matière. […] L’ordre que le système de l’évaluation cherche à établir ou à reproduire, sous l’idéologie de l’efficacité, de la performance ou de l’innovation, est une régulation politique des activités. […] Le procédé est simple : il consiste à transformer toute détermination qualitative en détermination quantitative, par la généralisation du chiffrage et une sorte de scolastique numérique. L’évaluation qui est toujours subjective et relative cherche à se cacher derrière une mathématique de pacotille. On comprend ainsi la raison de la généralisation du chiffrage : elle est convoquée pour donner un lustre d’objectivité à ce qui souvent relève d’un acte de pouvoir.

5. La légitimité de l’évaluation remise en question

Ces éléments amènent les auteurs à questionner la légitimité de l’évaluation. La pratique de l’évaluation implique que l’évaluateur mesure l’atteinte des objectifs, mais prenne aussi en compte les besoins en information des parties prenantes et les résultats inattendus au moment de porter un jugement évaluatif sur la valeur et le mérite d’une intervention (Fitzpatrick et coll., 2011). Les arguments de résistance développés par les articles de notre échantillon soulignent que l’évaluation guidée par la quantophrénie tend à assumer la primauté d’une seule vision. Cette approche tend à présenter l’évaluation comme intouchable, au-dessus de toute remise en question ou objection (Haroche, 2010). De plus, plusieurs auteurs soulignent que l’évaluation implique l’établissement de critères issus d’un processus de construction et priorisation qui ne peut être considéré comme objectif et universel (Zarka, 2009). Finalement, certains articles mettent de l’avant que les processus de quantification impliquent une simplification de la réalité sociale qui peut limiter sa capacité à capter la réalité (Chamayou, 2009 ; Simonet, 2009 ; Salais, 2010a, b), la qualité du travail (Matzkin, 2009) ou encore sa contribution aux objectifs de justice et d’efficacité sur lesquels s’appuie parfois l’évaluation pour justifier sa légitimité (Dujarier, 2010). En d’autres termes, la légitimité de l’évaluation par rapport à la nature de l’objet évalué est remise en cause (Aflalo, 2009 ; Chamayou, 2009).

La légitimité de l’évaluation est aussi questionnée au niveau de certaines de ses modalités, en particulier en ce qui concerne la logique des classements, des critères et des indicateurs. Les auteurs soulignent notamment que le classement reproduit les critères établis par le discours dominant (Aflalo, 2009) ou remettent en question la validité des critères sur lesquels reposent les classements (Büttgen et Cassin, 2009 ; Gori, 2009). Finalement, certains auteurs remettent en question la légitimité du savoir produit par l’évaluation en soulignant qu’elle néglige les éléments non pris en compte par les systèmes de mesure. Par exemple, Gori (2009, 70-71) souligne que :

À l’Université comme à l’hôpital, c’est la « tarification à l’activité » qui s’impose pour conférer une « valeur » aux pratiques du soin et de la formation : ce qui n’est pas comptable ne compte pas, le temps passé auprès d’un patient angoissé ou le travail réalisé avec un doctorant qui ne soutiendra jamais sa thèse. Cette matrice d’assujettissement consiste notamment à ne retenir comme savoir, recherche ou soin que ce qui compte, ce qui s’échange et peut se transmuter en chose.

6. Anticipation des effets de l’évaluation

D’autre part, les auteurs soulignent les effets pervers, observés ou anticipés, de l’évaluation sur l’organisation, l’évalué, les bénéficiaires et la profession. Les auteurs expriment des préoccupations associées au fait que l’évaluation « chiffrée » tend à s’étendre à différents secteurs de politique publique et à quantifier des éléments initialement non-quantifiables (Büttgen et Cassin, 2009). Il s’agit pour la plupart des auteurs de l’application aux secteurs des services humains (le secteur des services sociaux, par exemple). D’un point de vue évaluatif, les auteurs soulignent que ces secteurs se distinguent du cadre des sciences exactes, en ne reposant pas sur l’observation et la mesure d’objets ou de phénomènes, mais sur des situations impliquant des individus (Ennuyer, 2006 ; Aflalo, 2009). Dans ce cadre, un ensemble d’éléments propres à la singularité de l’individu demeureraient inaccessibles à la mesure et à la quantification poursuivie par l’évaluation (Haroche, 2010 ; Simonet, 2010).

Les auteurs soulignent des effets négatifs de l’évaluation guidée par la quantophrénie sur les relations de travail et la santé mentale des évalués (Aflalo, 2009 ; Büttgen et Cassin, 2009) (Dujarier, 2010) en contribuant à la standardisation et à la détérioration des relations de confiance. Ils soulignent aussi les effets négatifs des incitatifs générés par l’évaluation sur les individus évalués. Par exemple, Gori (2011, 46) souligne que :

L’expertise bibliométrique quantitative, qui tend, aujourd’hui, à s’imposer dans l’évaluation des travaux de recherche, fabrique un chercheur nouveau, qui se vend sur le marché des publications, comme on présente son profil, sur le Net, pour chercher des partenaires amoureux ou préparer des entretiens d’embauche, c’est-à-dire dans une totale autoréification.

Salais (2010a, b) identifie aussi les effets négatifs des incitatifs générés par l’évaluation sur les bénéficiaires de service. En particulier il note la présence de tensions entre la poursuite simultanée d’objectifs de qualité et de quantité dans l’atteinte de seuils de performance établis. Finalement, certains auteurs dénoncent les effets pervers anticipés de l’évaluation guidée par la quantophrénie sur la profession évaluée d’un point de vue éthique ou pratique, notamment sur le plan des effets qu’elle induit au niveau de la conciliation entre différentes valeurs. Par exemple, Chamayou (2009) note la négociation difficile entre des valeurs traditionnellement associées à la recherche scientifique telles que le partage, la collaboration et l’évaluation par les pairs et des valeurs de concurrence et de compétition associées aux indicateurs de performance. Dans le même ordre d’idées, d’autres auteurs associent l’évaluation orientée par la quantophrénie au jugement expert, qui se distingue d’un jugement basé sur un savoir-faire « artisanal » s’inscrivant dans un échange entre les pairs (Dujarier, 2010 ; Zarka, 2009). Selon les auteurs, ce jugement expert serait caractérisé par une capacité limitée à prendre en compte la spécificité du secteur étudié et une tendance à exclure d’autres types de savoirs.

7. Discussion et conclusion

Tel que souligné par Sorokin (1959), la quantophrénie va au-delà du simple recours à la mesure ou aux processus de quantification. Elle implique une tendance à considérer cette approche comme étant la seule alternative acceptable. Les démarches d’évaluation dans leur ensemble se caractérisent par leur diversité épistémologique, ontologique, méthodologique et sur le plan des finalités poursuivies (Ridde et Dagenais, 2012). L’analyse des articles de l’échantillon révèle que la quantophrénie suppose la supériorité d’une approche, applicable à tous les objets d’évaluation, sans égard à leurs spécificités. Cette approche est orientée par l’idée selon laquelle tous les éléments d’une démarche d’évaluation (événements, comportements, etc.) peuvent être quantifiés et qu’il s’agit de la meilleure manière d’obtenir des connaissances sur la nature du programme (Kilburg, 1980). La quantophrénie prend une dimension particulière dans le secteur public où les conditions de connaissance, identification et comparaison facilitant l’usage de la mesure ne sont pas toujours présentes (Noordegraaf et Abma, 2003). Certains enjeux impliquant des processus professionnels (ex. : santé, travail social, éducation) ou stratégiques (ex. : infrastructure publique, sociale et physique) ne peuvent pas toujours être facilement classifiés, reposent sur des standards non partagés ou contestés et une proportion des produits obtenus sont généralement intangibles (Abma et Noordegraaf, 2003 ; Noordegraaf et Abma, 2003 ; Affodégon, Jacob et Montigny, 2017).

Ces éléments amènent les auteurs des articles de l’échantillon analysé à remettre en question la légitimité de l’évaluation et à manifester une préoccupation envers ses effets négatifs anticipés. L’utilisation de la mesure et de la quantification comme critère unique d’évaluation peut contribuer au déplacement des valeurs associées à la mission organisationnelle et à son remplacement par des valeurs « étrangères » (ACPPU, 2018). Certains auteurs assimilent d’ailleurs la gouvernance actuelle à une logique légalo-comptable dominée par un contrôle coercitif des individus qui contribue à la résurgence d’un néo-taylorisme qui cherche à « minuter, surveiller, parcelliser le travail des individus » (Bégin et Langlois, 2011, 131). Dans le même ordre d’idées, l’évaluation est perçue comme une pratique pouvant augmenter les risques de discrimination si par exemple un classement repose sur des critères établis par le discours dominant, laissant peu de place à la représentation de groupes minoritaires (Aflalo, 2009 ; ACPPU, 2018). Finalement, si les critères sont établis de manière arbitraire, ils peuvent contribuer à la dépréciation d’un secteur et de la profession évaluée (ACPPU, 2018).

L’analyse présentée dans cet article comporte quelques limites. D’une part, l’analyse des arguments se fait par l’intermédiaire du regard posé sur la situation par les auteurs, soit principalement à partir de la perspective du secteur académique. Cette approche limite la prise en compte de la perspective d’autres acteurs. D’autre part, l’analyse offre une représentation statique des arguments de résistance à l’évaluation, spécifique à une période et un contexte donné. Une analyse similaire, impliquant ces mêmes acteurs à une période différente ou reposant sur la perspective d’autres acteurs, pourrait offrir des éléments complémentaires pertinents à la compréhension des transformations des arguments de résistance à l’évaluation. L’analyse présente aussi des limites quant à la possibilité de capter pleinement la résistance sous ses différentes dimensions (cognitives, émotionnelles, intentionnelles) (Piderit, 2000), tel qu’il aurait été possible de le faire en ajoutant d’autres sources de données telles que par exemple des entretiens. Finalement, les arguments sont issus d’un contexte en particulier, celui de la France, ce qui peut limiter leur généralisation. Néanmoins, au-delà de ces limites, l’analyse issue des articles de l’échantillon présente des conclusions cohérentes avec la littérature scientifique sur le sujet et offre, par sa spécificité, une valeur-ajoutée à celle-ci.

En lien avec la littérature portant sur la résistance à l’évaluation, les articles de l’échantillon illustrent la pertinence des facteurs associés aux caractéristiques du processus d’évaluation, tels que la perception par les parties prenantes d’une perte de contrôle sur les critères et standard par le biais desquels ils seront jugés ainsi qu’une perception d’incompatibilité entre leurs visions du monde et valeurs par rapport à celles priorisées par le processus d’évaluation (Kilburg, 1980 ; Taut et Brauns, 2003). Ces facteurs contribuent à une anticipation négative des conséquences de l’évaluation. Les articles de l’échantillon mettent aussi de l’avant la pertinence des facteurs contextuels. Les arguments de résistance à l’évaluation semblent en partie être influencés par la nature des relations de compétition et conflit préexistantes au niveau national. Tel que souligné par Barbier et Matyjasik (2010) qui se sont aussi penchés sur le cas de la France, « la relative résistance du monde universitaire à l’égard des activités évaluatives trouve son origine dans la volonté des sciences sociales de garder une certaine forme d’indépendance vis-à-vis du pouvoir politique » (136-137).

D’autre part, au cours des dernières années, plusieurs publications se sont penchées sur les processus de quantification dans le secteur public. Les arguments développés par les auteurs des articles de l’échantillon contribuent à cette littérature. D’une part, ils étayent l’analyse de la relation entre quantité et qualité (Bidet et Jany-Catrice, 2017). Dans les articles de l’échantillon, la qualité et la quantité sont situées aux antipodes, limitant les possibilités de dialogue autour d’une position intermédiaire. D’autre part, la quantification s’inscrit au sein de différentes logiques en tension. Les arguments de résistance à l’évaluation développés dans les articles de l’échantillon illustrent des tensions entre des logiques de contrôle de la performance, de pilotage et de reddition de compte, ainsi que celles visant le débat autour de priorités collectives (Bidet et Jany-Catrice, 2017). Ils coïncident aussi avec les observations de Bézes et coll. (2016), qui se sont penchés sur les tensions entourant l’utilisation des indicateurs et l’exercice du pouvoir et qui soulignent les ambivalences qui y sont associées en indiquant que les chiffres seraient à la fois craints et désirés. De manière similaire, les articles de l’échantillon permettent d’explorer le lien entre quantification, économie et mise en marché, qui alimente parfois le discours de résistance à la quantophrénie dans le secteur public (Kurunmäki et coll., 2016 ; Bidet et Jany-Catrice, 2017). L’analyse des articles suggère que ces éléments sont entrelacés dans le discours de l’évaluation orientée par la quantophrénie et le développement des arguments de résistance. Cette situation pourrait être influencée par la porosité des frontières qui définissent l’évaluation des politiques publiques en France par rapport à d’autres pratiques similaires (Barbier et Matyjasik, 2010).

Dans leur article Barbier et Matyjasik (2010) font aussi état de la variété des perspectives qui influencent le développement de l’évaluation des politiques publiques en France. Ces influences sont associées aux relations existantes entre le développement de l’évaluation des politiques publiques, l’évolution des institutions politico-administrative et les disciplines académiques (économie, science politique, sociologie) qui y sont généralement associées. Ces différentes influences auraient des implications sur le développement d’une identité et de standards professionnels et scientifiques propres à l’évaluation. Elles sont aussi étroitement associées aux stratégies de groupes d’acteurs agissant en coalition ou concurrence (Barbier, 2010). L’analyse des arguments développés dans les articles de notre échantillon semble suggérer que le thème de la mesure et de la quantification en évaluation fait partie de ce débat. En ce sens, tel que suggéré par Piderit (2000) la résistance représenterait aussi un processus de négociation et de construction des objectifs et conditions de processus institutionnels mis de l’avant, par le biais d’acteurs guidés par une diversité d’objectifs.

Remerciements
Les auteurs remercient le Fonds de recherche québécois - Société et culture (FRQ-SC) pour son soutien financier à leurs travaux ainsi que Catherine Gagnon, Martin Gravel, Raphaëlle Jacques et Roxane Lépine pour leur collaboration à cette recherche.

Annexe 1 – Grille de codage des arguments de résistance à l’évaluation

1  La résistance a été définie en relation a une combinaison de mots-clés ((enjeu* or critique* or contest* or resist* or menace* or danger* or impossib* or diffic* or consequence* or biais or role* or problem* or impose* or manqué or contrain* or responsab* or mal or maux or legitim* or crise* or servitude or violen* or entrave* or obstacle* or obstru* or exces or abus* or cauchemar* or superflu* or folie* or fou* or oblig* or asservi* or domin* or risque* or nuire or nuisible* or oppos* or arbitraire* or limit* or echec* or echouer or bureaucrat* or tutelle* or joug or assujet *or sujetion).

Abma, Tineke A. et Noordegraaf, Mirko, Public managers amidst ambiguity: Towards a typology of evaluative practices in public management, 2003, Evaluation, vol. 9, n^o 3, p. 285-306.

Affodegon, Seyive Wilfried, Jacob, Steve, et Montigny, Éric, L'Ombudsman face aux défis de l'évaluation : est-il possible d'évaluer l'intangible ?, 2017, Canadian Journal of Program Evaluation, vol. 32, n^o  2, p. 222-243.

Aflalo, Agnès, L'évaluation : un nouveau scientisme, 2009, Cités, n^o  1, p. 79-89.

ACPPU, L’obsession des mesures, Bulletin de l’Association canadienne des professeures et professeurs d'université (ACPPU), janvier 2018, p. 12-15.

Balandier, Georges, Variations anthropologiques et sociologiques sur l'« évaluer », 2010, Cahiers internationaux de sociologie, n^o  1, p. 9-26.

Barbier, Jean-Claude, Éléments pour une sociologie de l'évaluation des politiques publiques en France, 2010, Revue française des affaires sociales, n^o 1, p. 25-49.

Barbier, Jean-Claude et Matyjasik, Nicolas, Évaluation des politiques publiques et quantification en France : des relations ambiguës et contradictoires entre disciplines, 2010, Revue française de socio-économie, n^o 1, p. 123-140.

Bégin, Luc et Langlois, Lyse, La construction d’un dispositif éthique : l’expérience d’une tension problématique, 2011, Pyramides. Revue du Centre d'études et de recherches en administration publique, n^o 22, p. 115-136.

Bidet, Alexandra et Jany-Catrice, Florence, Quantifier les qualités, 2017, Revue française de socio-Economie, n^o 2, p. 19-26.

Bézes, Philippe, Chiapello, Ève, et Desmarez, Pierre, Introduction : la tension savoirs-pouvoirs à l’épreuve du gouvernement par les indicateurs de performance, 2016, Sociologie du travail, vol. 58, n^o 4, p. 347-369.

Blais, Régis, Résistance et collaboration à l'évaluation de programme : un cadre d'analyse et un modèle théorique, 1986, The Canadian Journal of Program Evaluation, vol. 1, n^o 1, p. 47-58.

Büttgen, Philippe et Cassin, Barbara, J'en ai 22 sur 30 au vert, 2009, Cités, n^o 1, p. 27-41.

Carter, Reginald K, Clients' resistance to negative findings and the latent conservative function of evaluation studies, 1971, The American Sociologist, p. 118-124.

Chamayou, Grégoire, Petits conseils aux enseignants-chercheurs qui voudront réussir leur évaluation, 2009, Revue du MAUSS, n^o  1, p. 208-226.

Charvin, Robert, Une pathologie néolibérale : « l'évaluation », 2011, Économies et sociétés, vol. 45, n^o  5, p. 753-774.

Donaldson, Stewart I., Gooler, Laura E., et Scriven, Michael, Strategies for managing evaluation anxiety : Toward a psychology of program evaluation, 2002, The American Journal of Evaluation, vol. 23, n^o 3, p. 261-273.

Dujarier, Marie-Anne, L'automatisation du jugement sur le travail. Mesurer n'est pas évaluer, 2010, Cahiers internationaux de sociologie, n^o 1, p. 135-159.

Ennuyer, Bernard (2006), Questions et critiques autour de l’évaluation, dans Repenser le maintien à domicile : Enjeux, acteurs, organisation, Paris, DUNOD, p. 173-190.

Fitzpatrick, Jody L., Sanders, James R., et Worthen, Blaine R, Program evaluation : Alternative approaches and practical guidelines, 2011, New Jersey, Pearson Education.

De Gaulejac, Vincent, La Société malade de la gestion. Idéologie gestionnaire, pouvoir managérial et harcèlement social, 2005, Paris, Le Seuil.

Gori, Roland, Les scribes de nos nouvelles servitudes, 2009, Cités, n^o  1, p. 65-76.

Gori, Roland, L'évaluation comme « dispositif de servitude volontaire », 2011, Bulletin de psychologie, n^o  1, p. 45-47.

Haroche, Claudine, L'inévaluable dans une société de défiance, 2010, Cahiers internationaux de sociologie, n^o 1, p. 53-78.

Jacob, Steve, La volonté des acteurs et le poids des structures dans l'institutionnalisation de l'évaluation des politiques publiques, 2005, Revue française de science politique, vol. 55, n^o 5, p. 835-864.

Jacob, Steve, Opération chloroforme ou la réinvention de l’État rationnel : l’évaluation et les données probantes, 2009, Criminologie, vol. 42, n^o 1, p. 201-223.

Jacob, Steve et Varone, Frédéric, Cheminement institutionnel de l'évaluation des politiques publiques en France, en Suisse et aux Pays-Bas (1970-2003), 2004, Politiques et management public, vol. 22, n^o 2, p. 135-152.

Jacob, Steve, Speer, Sandra, et Furubo, Jan-Eric, The institutionalization of evaluation matters: Updating the International Atlas of Evaluation 10 years later, 2015, Evaluation, vol. 21, n^o 1, p. 6-31.

Kilburg, Richard, Metaphysics and professional resistance to program evaluation, 1980, Evaluation and Program Planning, vol. 3, n^o 3, p. 185-190.

Kumar, Sushil, Kant, Shashi, et Amburgey, Terry L, Public agencies and collaborative management approaches : Examining resistance among administrative professionals, 2007, Administration & Society, vol. 39, n^o 5, p. 569-610.

Kurunmäki, Liisa, Mennicken, Andrea, et Miller, Peter, Quantifying, Economising, and Marketising : Democratising the social sphere ?, 2016, Sociologie du travail, vol. 58, n^o 4, p. 390-402.

Lesain-Delabarre, Jean-Marc, L’évaluation institutionnelle, entre recherche et intervention : éléments d’une problématique, 2002, La Nouvelle revue de l'adaptation et de la scolarisation, n^o 20, p. 13-28.

Matzkin, Alexandre, L'évaluation en sciences exactes : quand la quantité tue la qualité, 2009, Cités, n^o 1, p. 43-49.

Noordegraaf, Mirko et Abma, Tineke, Management by measurement? Public management practices amidst ambiguity, 2003, Public Administration, vol. 81, n^o 4, p. 853-871.

Piderit, Sandy Kristin, Rethinking resistance and recognizing ambivalence: A multidimensional view of attitudes toward an organizational change, 2000, Academy of management review, vol. 25, n^o 4, p. 783-794.

Ridde, Valéry et Dagenais, Christian, Approches et pratiques en évaluation de programmes, 2013, Montréal, Les Presses de l'Université de Montréal.

Salais, Robert, La donnée n’est pas un donné-Pour une analyse critique de l’évaluation chiffrée de la performance, 2014, Cahiers Droit, Sciences & Technologies, n^o 4, p. 15-36.

Salais, Robert, Usages et mésusages de l'argument statistique : le pilotage des politiques publiques par la performance, 2010, Revue française des affaires sociales, n^o 1, p. 129-147.

Simonet, François, L'évaluation : objet de standardisation des pratiques sociales, 2009, Cités, n^o 1, p. 91-100.

Skinner, Denise, Primary and secondary barriers to the evaluation of change: evidence from two public sector organizations, 2004, Evaluation, vol. 10, n^o 2, p. 135-154.

Pitirim, Sorokin, Tendances et déboires de la sociologie américaine, 1959, Paris, Aubier.

Taut, Sandy et Brauns, Dieter, Resistance to evaluation : A psychological perspective, 2003, Evaluation, vol. 9, n^o 3, p. 247-264.

Zarka, Yves Charles, L'évaluation : un pouvoir supposé savoir, 2009, Cités, n^o 1, p. 113-123.