.
Une loi consacrant une obligation …
La loi du 2 janvier 2002 (article 22) a posé l’obligation pour les Établissements et Services Sociaux et Médico-Sociaux (ESSMS) de procéder régulièrement à l'évaluation de « leurs activités et de la qualité des prestations qu'ils délivrent ».
… pleine d’ambiguïté
Cette obligation nouvelle a suscité de multiples questions. Les hésitations ont été nombreuses (40 % des 35 000 ESSMS n’ont pas encore, 7 ans après la loi, abordé le sujet). Quand des réalisations ont été engagées, les approches, diverses, s’inspiraient majoritairement de démarches qualité, d’autant que des experts en nombre ont proposé de transposer les méthodes expérimentées dans d’autres contextes (démarches qualité pour les entreprises, ou de certification de type ISO ou liées à un label, démarches d’accréditation du secteur sanitaire). La loi l’avait facilité : elle indiquait que l’évaluation d’un ESSMS doit se réaliser « au regard notamment de procédures, de références et de recommandations de bonnes pratiques professionnelles validées ou, en cas de carence, élaborées, selon les catégories d'établissements ou de services, par un Conseil National de l'Évaluation Sociale et Médico-Sociale (CNESMS), placé auprès du ministre chargé de l'action sociale ». Ceci a entraîné l’idée, devenue presque hégémonique, que, pour évaluer il fallait partir (construire) des référentiels (de pratiques) et ensuite interroger la conformité à ces référentiels (d’où la forte influence des démarches qualité). Toutefois, la littérature spécialisée sur l’évaluation, extérieure au secteur social et médico-social, évoquait une appréciation basée sur la mesure des effets et impacts d’une action et non sur un examen de la conformité à des standards. Alors ? Examen des résultats des actions ou examen de leur conformité à des standards ? La réponse à cette question est restée ambigüe depuis 2002.
… et qui trouve enfin une clarification…
Le 27 juillet 2009, l’Agence Nationale de l’Évaluation Sociale et Médico-sociale (l’ANESM, qui a remplacé en 2007 le CNESMS créé en 2005) a publié un texte de recommandations de bonnes pratiques professionnelles concernant : « La conduite de l’évaluation interne dans les établissements et services visés à l’article L.312-1 du Code de l’Action Sociale et des Familles ». Le texte (téléchargeable sur le site de l'ANESM) apporte une réponse claire aux questions et ainsi, il fera date :
2. Leurs effets, notamment dans leurs écarts avec les objectifs de départ.
… censée clore les étapes antérieures du débat
Depuis 7 ans, des constructions contradictoires étaient proposées :
- En 2002, est officialisé le principe général pour les ESSMS : une période d’autorisation de 15 ans comprenant 3 évaluations internes et 2 évaluations externes. Les ESMS déjà autorisés le devenaient jusqu’en 2017, avec un délai de 5 ans pour la première évaluation interne, et un délai de 7 ans pour la première évaluation externe.
- De 2003 à 2008, l’entrée en masse des démarches et référentiels qualité : les méthodes diffusées majoritairement lient l’évaluation à une « démarche d’amélioration continue de la qualité » et promeuvent les démarches qualité, leurs référentiels (énoncés de procédures souvent) et outils de mesure de conformité (parfois très « pifométriques »).
- En 2004 la parution des premiers écrits officiels, centrés sur les démarches qualité : la DGAS produit en février 2004 une note d’information qui indique que l’évaluation, pour une structure, n’est qu’une étape dans la « démarche d’amélioration continue de la qualité », « la recherche
de la qualité passant par un regard critique et objectivé sur le fonctionnement de la structure ». L’amélioration continue de la qualité comprendra, est-il ajouté, « une évaluation de fonctionnement, une analyse des points forts et points faibles, la mise en œuvre d’un plan d’amélioration des points faibles, une nouvelle évaluation et la mise en œuvre des ajustements nécessaires ». La suite parle clairement de démarche qualité, de l’usage de référentiels (existants ou à élaborer), à la base des évaluations : « la conformité à des standards » est prioritaire, est-il écrit. En parallèle, la DGAS publie en mars 2004 un guide méthodologique ayant pour titre « Démarche qualité - évaluation interne dans ESSMS et recours à un prestataire ». On y parle clairement démarche qualité, avec des
termes comme « évaluation des procédures, des organisations ou des pratiques professionnelles », même s’il existe une petite inflexion avec la référence à une « évaluation des résultats ». Enfin, un groupe de travail élabore à la DGAS en juin 2004 un projet de « cahier des charges pour l’évaluation interne » : il y est question de « référentiel, un texte à considérer comme opposable », « l’évaluation ne pouvant se réaliser sans référence à un standard ». Des thèmes de contenus sont soulevés (cadre institutionnel transparent, gestion efficace, usager au cœur du dispositif, gestion de la qualité du fonctionnement) qu’il conviendrait, nous dit-on, de traduire en objectifs. L’ambiguïté existe donc (référence première à des standards mais également mention de l’examen d’objectifs), mais le texte ouvre la porte à tous les vendeurs de démarches qualité et de référentiels.
- A l’extérieur du secteur social et médico-social : La littérature spécialisée sur l’évaluation des politiques publiques (non celle des organisations) est pourtant liée à la mesure des besoins (« évaluation ex ante ») et à la mesure des effets (« évaluation concomitante » ou « ex post »). Le Conseil National de l’Évaluation côté autorités publiques, la Société Française d’Évaluation (créée en 1999, regroupant 250 adhérents dont 140 chercheurs ou consultants) côté opérateurs, confirment bien l’orientation : l’évaluation des politiques ne concerne pas la conformité des pratiques à des référentiels, mais un examen critique de la « pertinence des politiques à l’égard de besoins » et « des effets ou impacts de ces politiques ».
- Les travaux du CNESMS en 2005-2006 : Le CNESMS produit en janvier 2006 une note d’orientation cadrant ce qu’on appelle « procédures, références et recommandations de bonnes pratiques professionnelles ». L’approche est en partie normative (passages obligés, interdits éventuels, énoncé du sens, exigence au regard d’objectifs, séquences ordonnées d’actions ou d’intervention dans une situation définie), facilitant l’ambiguïté : l’évaluation en référence à des standards et avec étude des effets-impacts. Le CNESMS produit également des orientations (2005) puis un guide (septembre 2006) pour l’évaluation interne : est évoqué clairement l’objet
de l’évaluation (appréciation de la cohérence, la pertinence, l’efficacité, l’efficience, l’impact des actions conduites), éloigné des démarches qualité. Néanmoins, le questionnement pratique préconisé intègre le regard sur les mises en place effectives d’actions et pose une liste de leurs contenus, en 4 chapitres, qui rend encore les évaluations compatibles avec les référentiels qualité.
- Le cadrage par les autorités publiques en 2007 : le décret du 15 mai 2007 concernant le cahier
des charges de l’évaluation externe est le premier texte qui avance d’une manière conséquente, même s’il reste des ambiguïtés (mise en œuvre des actions, description des modalités, premier volet consacré à l’effectivité des droits des usagers), sur l’appréciation des actions au regard d’objectifs, de leur pertinence, cohérence effets, dans une vision correspondant au « modèle d’évaluation des politiques publiques ».
- Les travaux de l’ANESM en 2008 : l’Agence confirmait en avril 2008 l’approche du guide 2006 du CNESMS, avec 2 inflexions : une plus grande attention à l’examen des effets des actions, une proposition forte de sortir de l’exhaustivité des contenus en se centrant dans un premier temps sur des dimensions prioritaires (thème de l’usager par exemple et processus clés correspondants à des priorités). On penche vers l’étude des effets-impacts et on s’éloigne de l’étude d’une conformité à des standards. Reste une légère ambiguïté : il est proposé d’étudier les processus, avec un regard sur les pratiques, ce qui rend encore possible, pour leurs défenseurs, un travail à partir de référentiels. En parallèle, des recommandations de bonnes pratiques professionnelles (9 thèmes) publiés par l’ANESM proposent des contenus larges, avec peu de prescriptions ou proscriptions précises, néanmoins toujours structurés autour de l’effet recherché ou de l’impact à promouvoir auprès des usagers.
- En 2009, le rythme d’évaluation interne et externe est modifié : La loi HPST adoptée le 21
juillet 2009 ouvre la porte à une rythme de 2 évaluations internes et 2 évaluations externes par période de 15 ans (en fonction d’un décret à venir) et à une date butoir décalée (2017) pour les premières évaluations (internes et externes) à réaliser par les ESSMS en place avant 2009 (un décret à venir également).
Après ces étapes, et malgré une majorité, sur le terrain, de démarches proches des démarches qualité (avec référentiel extérieur ou élaboré en interne), la recommandation de juillet 2009 clarifie la donne, en proposant une méthodologie : demander une appréciation de la réalisation d’objectifs (pertinence et effets des actions). À noter : la clarification proposée s’appuie sur une reprise, dans les textes réglementaires, de tous les contenus qui situent l’évaluation des ESSMS sur l’axe du « modèle évaluation des politiques publiques » (pertinence, effets-impacts, efficience), et non sur l’axe du « modèle démarche qualité ou certification ». Ce n’est pas un changement de doctrine complet, mais néanmoins un vrai virage... et il va surprendre.
Le texte (72 pages) mérite de nombreux développements, mais en résumé, l’ANESM positionne l’évaluation dans une démarche en 4 phases :
- Phase 1 - La définition du cadre évaluatif : identification des fondements des activités, des besoins des populations, des objectifs des accompagnements,
- Phase 2 - Le recueil d’informations fiables et pertinentes sur les réalités,
- Phase 3 - L’analyse et la compréhension des informations recueillies,
- Phase 4 - L’élaboration du plan d’amélioration du service rendu et son pilotage à venir.
Le texte écrit ainsi, de manière ferme, qu’il conviendra que chaque objectif soit clarifié, traduit dans des engagements (actions, ressources mobilisées), avec des modalités d’articulation ou organisationnelles, décliné dans des effets attendus ou recherchés. L’évaluation visera ainsi en phase 2 une appréciation de la réalisation des objectifs, à partir d’un constat, analysé, des effets ou impacts des actions engagées, accessoirement après description de mises en œuvre. J’apprécie pour ma part la sortie des documents standardisés et le travail plus ciblé autour des valeurs, missions, besoins, objectifs spécifiques. Il me semble que le progrès est indéniable, puisqu’il rend nécessaire une individualisation forte des approches, réellement conçues comme des démarches projets.
Abonnez vous à ce blog
Commentaires