Des recommandations de bonnes pratiques pour la conduite de l’évaluation interne, publiées par l’ANESM le 27 juillet 2009 (2) : une victoire à la Pyrrhus ?

.
La victoire d’une mouvance…

Les recommandations de bonnes pratiques pour la conduite de l’évaluation interne, publiées par l’ANESM le 27 juillet 2009, consacrent la victoire des « évaluationnistes » (favorables au « modèle évaluation des politiques publiques », avec majoritairement des experts-universitaires) sur les « qualiticiens » (promoteurs des démarches qualité ou de certification, ou spécialistes de la gestion des risques et de l’accréditation, majoritairement des experts-consultants).

L’expression « évaluationniste » est inventée ici. L’ouvrage le plus clair (et absolument remarquable) sur cette approche en action sociale et médico-sociale est un livre de  Pierre Savignat (Évaluer les Établissements et Services Sociaux et Médico-sociaux, Dunod, février 2009). Il présente une défiance forte (parfois très simplificatrice) des démarches qualité.  L’auteur est membre du Conseil Scientifique de l’ANESM, a été présent dans le groupe de travail sur les recommandations-ANESM (également en lien avec des représentants de la Société Française de l’Évaluation, la SFE, organisme regroupant une majorité d’experts privés). Si certains contenus de ces recommandations-ANESM reprennent, parfois mot pour mot, des contenus du livre de Pierre Savignat, étonnamment, elles n’ont pas repris une de ses propositions (sa concession à l’approche par processus identifié ou référentiel qualité) parlant d’apprécier l’effectivité des actions, à côté de l’appréciation de leur pertinence, leur cohérence, leur impact, leur efficacité, leur efficience.

… révélatrice d’une approche

Les « évaluationnistes » m’en voudront certainement de les présenter ainsi :

• Des chercheurs et experts spécialisés dans l’évaluation des politiques publiques (y compris ses développements territorialisés, ou ses programmes contractualisés, etc.) : ils se réfèrent à une approche importée en France à partir à partir de la fin des années 1980 (rapport du Commissariat du Plan de 1986, rapport Viveret de 1989). Elle existe depuis bien longtemps dans les pays anglo-saxons, notamment les Etats-Unis.  Cette approche a été portée pendant 10 ans par un Conseil National de l’Évaluation : il avait remplacé en 1998 le Conseil Scientifique de l’Évaluation créé en 1990, il a lui-même été remplacé en 2008 par une Mission de l’évaluation des politiques publiques.
• Un ensemble hétéroclite d’acteurs : ils se référent majoritairement à des écoles de pensée proches de la socio-économie et la sociologie des politiques, les évaluateurs centrés sur les pratiques (et leur qualité), sur les démarches cliniques ou la sociologie des organisations y sont minoritaires. L’unité n’est pas acquise : à preuve la difficulté qu’a eu la SFE à adopter une  charte de l’évaluation et les principes de son utilisation.
• Des acteurs qui ont construit une activité sans faire autorité ni bénéficier d’une reconnaissance publique claire. Deux éléments transversaux sont repris par tous : définition (« juger de la valeur d’une politique, d’un programme, d’un dispositif ou d’activités au regard de critères explicites et sur la base d’informations spécialement rassemblées et analysées »), étapes d’une méthodologie (1.Élaboration de critères, 2. Collecte d’informations systématiques et diversifiées, 3. Appréciation critique en référence aux critères, puis préconisations). Mais les approches sont multiples, y compris dans le rapport aux commanditaires. La charte de l’évaluation (SFE) n’est pas validée par les pouvoirs publics. Il n’existe pas un savoir, une école de formation, ni même une légitimité d’experts pour l’évaluation des politiques publiques : les pouvoirs publics ont de nombreux dispositifs, concurrents, à leur disposition, chacun avec des outils différents. Pourtant, ses promoteurs la présentent comme un modèle pour toute évaluation : pour apprécier une politique ou activité publique cela se comprend, mais s’il s’agit d’une dynamique organisationnelle, inter-institutionnelle ou de la qualité de prestations, d’une compétence, c’est plus délicat.
• Des acteurs privés qui installent un marché : il est en développement, mais encore limité, et construit jusqu’en 2007 par consensus avec l’État ou les commanditaires publics : distance, responsabilité respective claire, méthodologie basée davantage sur le qualitatif que sur le quantitatif, etc.
• Des acteurs qui mettent à distance la donne nouvelle créée depuis 2 ans : cette dernière est visible notamment dans la Révision Générale des Politiques Publiques, la RGPP (qui donne un poids important au ministère du Budget, confié à un ministre ancien dirigeant du cabinet Arthur Andersen) : la RGPP a consacré l’idée d’équipes d’audit passant au crible les services et dépenses de l’État, notamment pour les politiques sociales, afin de réorienter l’action publique et les moyens affectés (en baisse, évidemment). Dans cette donne nouvelle, le couple résultat / coût est prédominant pour l’appréciation d’une activité ou d’une politique : l’évaluation (gardant l’aspect impact, effet, pertinence, cohérence des actions au regard d’objectifs) se rapproche nettement aujourd’hui de l’appréciation dominante de l’efficience (résultat/coût). À noter dans ce contexte : les pouvoirs publics ont recentré et limité l’usage des experts privés, en affirmant que l'évaluation doit devenir une pratique constante, mais que les instruments de l'évaluation existent au sein de l'État, en créant la Mission d’évaluation des politiques publiques, rattachée aux moyens du Centre d'Analyse Stratégique (sous la responsabilité du premier ministre) pour produire des évaluations dans des délais adaptés à l'accélération de l'action publique. Disons même que l'État, depuis 2 ans, n'a pas vraiment repris, pour ses commandes évaluatives, les critères de la charte de la SFE.

Le modèle des « évaluationnistes » élude, en action sociale et médico-sociale, l’évaluation des prestations (le terme vient du latin « praestatio », signifiant l’action d’acquitter ce qui a été garanti, et définit « une fourniture, en nature ou en espèces, liée à une obligation ou un engagement » : cette définition suppose, en évaluation, l’examen d’une effectivité et parfois même d’une conformité à l’obligation ou l’engagement). Le modèle des « évaluationnistes » privilégie l’évaluation des activités : Pierre Savignat le montre dans son livre déjà cité, en affirmant par glissement subtil que le législateur et les pouvoirs publics parlent d’estimer la valeur d’un ESSMS par l’appréciation de la portée, l’utilité sociale, l’impact, l’efficience de ses activités. Pourtant l’article 22 de la loi (2 janvier 2002) parle de l’évaluation « des activités ET de la qualité des prestations ».  Le décret du 15 mai 2007 affirme même que l’évaluation comporte un premier volet sur l’effectivité des droits des usagers, ce qui est totalement occulté dans le texte de l’ANESM.

.
Des changements à terme …

La position adoptée demandera des révisions de pratiques, à terme, pour une grande partie des accompagnateurs et des ESSMS : adaptation voire changement de méthodes, sortie de l’utilisation de référentiels clés en main, mise à distance des processus de type démarches qualité…  C’est plutôt une bonne nouvelle tant la standardisation des contenus de la qualité nous guettait.

… mais une victoire à la Pyrrhus ?

J’aurai tendance à évoquer un scénario pessimiste : les préconisations de l’ANESM pour l’évaluation ne seront mises en œuvre que par une petite minorité d’ESSMS et de cabinets, ce qui entrainera d’autres choix à terme…

• Les « qualiticiens » sont en effet majoritaires parmi les cabinets, fédérations, organismes de formations qui accompagnent les ESMS (également parmi les 113 cabinets habilités pour réaliser des évaluations externes).
• Les évaluations réalisées jusqu’ici dans les ESSMS se sont davantage inspirées des démarches qualité (énoncé de critères, examen de la conformité des pratiques) que de l’appréciation de la pertinence et des effets des actions, au regard d’objectifs.   
• Le risque d’entrée dans une nouvelle « usine à gaz » avec ce texte de référence, est accru, avec une lisibilité encore difficile à mettre en œuvre. On passera beaucoup de temps à développer une construction en amont, à choisir les termes, à peser des choix éventuels, en faisant appel à des experts qui contribueront, avec leur vision et parfois leurs certitudes, à rendre illisibles les contenus (des particularités d’une partie des « évaluationnistes » : un langage éloigné du quotidien, une faible connaissance du terrain et de l’action, l’absence de pratique des responsabilités).
• La méthode préconisée va s’appliquer avec du temps, une nécessité de remettre en cause, voire de désespérer, les mobilisations mises en place dans les ESSMS auparavant engagés dans une démarche. Cette remise en cause va susciter un sentiment de saturation, voire de rejet, ne permettant pas une mobilisation massive.
• Sur le terrain, les difficultés seront nombreuses : appel important à des spécialistes (rares) et nécessité de faire passer une réalité nouvelle (appréciation par examen des effets-impacts) plus proche de l’idéologie de la performance, de la culture du résultat.
• L’existence de l’ANESM peut encore être revue : révision budgétaire et réduction possible du nombre d’agences, regroupement avec d’autres dont la naissante Agence Nationale d'Appui à la Performance des établissements de santé et médico-sociaux (l’ANAP) pour les démarches qualité et l’examen des performances, et la Haute Autorité de Santé (pour les recommandations de bonnes pratiques professionnelles et l’accréditation), plus grande insistance des pouvoirs publics pour une démonstration de l’efficience des structures (résultats-coûts), dans l’évaluation. Certes, la loi HPST du 21 juillet 2009 a rappelé l’ANESM et ses recommandations, mais aucun schéma n’est à exclure.
• Les enjeux sont tels qu’un échec dans la mise en œuvre de l’évaluation repositionnée aujourd’hui (avec l’antériorité des directions et contre-directions déjà prises) peut vite se traduire par un acte d’abandon de l’État : une nouvelle organisation à terme (davantage confiée à des évaluateurs externes) avec d’un côté un contrôle de la performance (égide de l’ANAP) et de l’autre un examen de la conformité à des standards ou recommandations (égide de l’HAS, ou ANESM redimensionnée).

Quelles perspectives ?

Il y a donc urgence à mettre en place des approches pragmatiques et simplifiées, respectueuses des textes, porteuses. C’est notamment un enjeu pour les cabinets accompagnateurs aujourd’hui des évaluations internes, réalisateurs demain des évaluations externes. Il leur faut, selon moi, sortir des schémas tout faits et mettre en cause leur positionnement commercial, pour utiliser vraiment le texte de l’ANESM, avec justesse et équilibre. Je préconise pour ma part :

• D’une part, une approche centrée sur la conformité à des pratiques « normées » à partir des objectifs et des choix spécifiques (en lien avec des valeurs, des missions, des besoins), y compris en utilisant des parties de référentiels ou des points de passage obligés écrits dans des recommandations de bonnes pratiques venues de l’ANESM (ou d’ailleurs). Pour cette partie, il me semble que le nombre de points à examiner devrait être très limité, reliés à des priorités évaluatives (ainsi que l’indique le texte de juillet 2009) : une centaine au maximum. Le texte de juillet 2009 indique d’ailleurs (page 22) qu’une part des critères d’appréciation des activités (on ne parle plus de critères de qualité) concernent, au regard des objectifs, la mise en œuvre des engagements de pratiques et la qualité des processus. Néanmoins, soyons clairs, aucune pratique référentielle ne devra être posée sans un lien avec des objectifs identifiés (j'ai d'ailleurs toujours insisté sur ce point et me trouve enfin conforté par le texte de l'ANESM).
• D’autre part, une approche centrée sur la pertinence et les effets-impacts des actions choisis au regard d’objectifs, mais là encore avec un nombre d’objectifs (et d’actions) limité, correspondant à des priorités évaluatives nationales, et à des priorités choisies par l’établissement. Une cinquantaine de contenus, au maximum, devrait y être examinée. C’est déjà ce que j’explore pour ma part dans les accompagnements de l’évaluation interne, à travers l’écriture de critères partant des valeurs, missions et objectifs choisis et à travers un regard sur les effets (notamment avec des sondages d’effets, des constats, des mesures quantitatives, des regards qualitatifs).

L’enjeu est de faire le lien, intelligemment, entre l’orientation intéressante, mais exclusive et peut-être risquée, posée par les recommandations-ANESM et les réalités de terrain, sans désespérer les démarches déjà réalisées et qui étaient parties d’un référentiel.

Daniel GACOIN