La montée en charge des évaluations externes, pour les 24 500 établissements et services sociaux et médico-sociaux (ESSMS) qui devront être en règle avec cette obligation pour le 2 janvier 2015, est en place.
Quelques rappels
- L’obligation de faire procéder à une évaluation externe incombe aux organismes gestionnaires des ESSMS : ils doivent choisir l’un des 1164 organismes habilités pour réaliser ces démarches.
- Après cette première série liée à un calendrier concentré, les 14 000 ESSMS restants auront à réaliser la même démarche pendant les 3 à 5 années suivantes.
- Les contenus des évaluations externes ont été définis par décret (N° 2007-975 du 15 mai 2007) et confirmés dans leurs grandes parties par la circulaire N° DGCS/SDS5C/2011/398 du 21 octobre 2011.
- Les rapports d’évaluation externe sont décisifs puisque, chaque ESSMS ayant (sauf structure expérimentale) une autorisation pour 15 ans, « le renouvellement, total ou partiel, est exclusivement subordonné aux résultats de l'évaluation externe » (art. L.313-1 du CASF).
- La mission des évaluateurs externes est importante, et le fait de ne pas avoir davantage prévu de véritable sélection au moment de l’habilitation des évaluateurs (pour se conformer à la législation du marché des services dans l’Union Européenne) comporte de nombreux risques à cet égard. Pour mémoire, j’ai toujours pris position pour affirmer que les évaluations externes relevaient d’une mission d’intérêt général et ne pouvaient donc être considérées comme des prestations de service du secteur marchand.
- Les autorités de contrôle attendent donc des rapports d’évaluation externe conséquents, tant en termes de description du service rendu par une structure qu’en termes de retour sur son efficience / efficacité ou encore en termes de respect d’une certain nombre d’obligations (droits des usagers, démarches de promotion de la bientraitance / lutte contre la maltraitance, projet personnalisé, participation).
- Dans ce cadre l’ANESM a rendu obligatoire, depuis juin 2012, au-delà les contenus de tout rapport, une synthèse (22 thématiques) et un abrégé (10 tableaux) qui s’ajoutent au rapport lui-même et devraient en faciliter la lecture.
Quelques constats
Par la force des choses (des organismes gestionnaires me prenant à témoin ou me demandant un avis), j’ai été amené à lire un certain nombre de rapports d’évaluation externe. Le résultat est la plupart du temps atterrant (attention ! ne m’ont été présentés que des rapports « problématiques »).
Les manques de ces rapports apparaissent dès le premier coup d’œil, une lecture plus approfondie venant confirmer des questions :
- Pour une part, les rapports que j’ai lus montrent des contenus imprécis : les acteurs de terrain n’y retrouvent pas le moins du monde leur travail réel, les autorités de contrôle ne seront renseignées en rien sur les réalités.
- Pour une autre part, les rapports sont au contraire « logorrhéiques », sans organisation des contenus ni hiérarchie. J’ai l’exemple de rapports où le remplissage de l’abrégé ANESM (a priori des tableaux très synthétiques) prend de très nombreuses pages, avec une avalanche de petits détails).
- Autre particularité : des rapports qui présentent une structuration (un plan) très éloigné des obligations (le décret a prévu un rapport en plusieurs parties).
- Dernier constat : des rapports comprenant des remarques faites par des évaluateurs sur des obligations « juridico-administratives » non respectées par les structures. Dans les rapports sur lesquels j’ai été interpellé, j’ai noté beaucoup de remarques comportant des inexactitudes à propos de ces obligations, voire même totalement injustifiées (inventant des obligations inexistantes).
Il y a encore plus grave :
- Nombre d’entre eux ne sont pas conformes au cadre réglementaire : les contenus de la synthèse et de l’abrégé (obligatoires depuis juin 2012, mais reprenant l’essentiel du décret du 15 mai 2007) ne sont qu’en partie abordés. Plusieurs évaluateurs s’affranchissent ainsi de ce cadre, par ignorance peut-être parfois, en toute conscience plus souvent puisque les contenus ont été largement communiqués.
- D’autres montrent exactement l’inverse : j’ai ainsi constaté que certains rapports s’attachent tellement au cadre de la synthèse et de l’abrégé ANESM que le contenu prévu par le décret 2007 est oublié. Ainsi, alors que ce décret stipule que la dernière partie du rapport présente « des propositions et/ou préconisations », « avec des aspects stratégiques » puis « des éléments plus directement opérationnels », certains évaluateurs (se présentant pourtant comme experts) se contentent de remplir les tableaux de l’abrégé, comprenant des préconisations/propositions, mais sans le travail de priorisation prévu par le décret.
La réalité qui m’apparaît de manière parcellaire m’est confirmée par de nombreux confrères experts : nous serions devant une part importante, sans savoir si elle est majoritaire, de rapports inadaptés, inexploitables, parfois avec des erreurs, en deçà de la qualité minimale attendue.
Tout cela s’explique aisément, voire était prévisible et regarde les raisons suivantes cumulées :
- Absence de compétences dans le domaine social et médico-social pour beaucoup d’évaluateurs pourtant habilités,
- Application erronée de méthodes venues des certifications (qui ne peuvent être appliquées que pour une partie des contenus des évaluations externes) par certains,
- Désinvolture enfin chez quelques uns (l’appétit d’une activité lucrative passant avant l’esprit de la mission),
- Non prise en compte par les évaluateurs de la diversité nécessaire des outils de recueil de données,
- Plus globalement, acceptation tacite d’une mauvaise lecture des textes par des organismes gestionnaires.
Des propositions
Inutile de se lamenter, la question est plutôt de savoir comment s’en sortir avant qu’il ne soit trop tard.
> Je formule ici deux propositions :
- Chaque organisme évaluateur devrait accepter de faire superviser ses rapports d’évaluation par un confrère, voire par un collectif de confrères. C’est ce que j’ai fait pour mes premiers rapports, et je n’ai eu qu’à m’en réjouir.
- L’ANESM devrait en urgence se lancer dans un atelier permanent de lecture partagée, pour les évaluateurs qui le souhaitent, de leur trame de rapport, voire de leurs premiers rapports.
> Et je prends ici une position:
- Il est possible de comprendre les difficultés éventuelles, mais les manquements majeurs devraient être constatés et sanctionnés par l’ANESM. En dehors des conflits d’intérêts, J’en recense cinq :
1. Non prise en compte des contenus obligatoires,
2. Absence de compétences des évaluateurs, notamment par l’absence d’expériences professionnelles dans le secteur,
3. Utilisation d’un seul type d’outils pour le recueil de données,
4. Absence de construction d’un projet évaluatif avec études des documents spécifiques de la structure évaluée, avant la phase active de l’évaluation,
5. Non utilisation de la synthèse et de l’abrégé, ou travail se réduisant uniquement à leurs contenus.
A mon sens, il y a urgence…
Daniel GACOIN
Les commentaires récents