La montée en charge des évaluations externes, pour les 24 500 établissements et services sociaux et médico-sociaux (ESSMS) qui devront être en règle avec cette obligation pour le 2 janvier 2015, est en place.
Quelques rappels
- L’obligation de faire procéder à une évaluation externe incombe aux organismes gestionnaires des ESSMS : ils doivent choisir l’un des 1164 organismes habilités pour réaliser ces démarches.
- Après cette première série liée à un calendrier concentré, les 14 000 ESSMS restants auront à réaliser la même démarche pendant les 3 à 5 années suivantes.
- Les contenus des évaluations externes ont été définis
par décret (N°
2007-975 du 15 mai 2007) et confirmés dans leurs grandes parties par la
circulaire N° DGCS/SDS5C/2011/398
du 21 octobre 2011.
- Les rapports d’évaluation externe sont décisifs puisque, chaque ESSMS
ayant (sauf structure expérimentale) une autorisation pour 15 ans, « le renouvellement, total ou partiel, est exclusivement
subordonné aux
résultats de l'évaluation externe » (art.
L.313-1 du CASF).
- La mission des évaluateurs externes est importante, et le fait de ne pas avoir davantage prévu de véritable sélection au moment de l’habilitation des évaluateurs (pour se conformer à la législation du marché des services dans l’Union Européenne) comporte de nombreux risques à cet égard. Pour mémoire, j’ai toujours pris position pour affirmer que les évaluations externes relevaient d’une mission d’intérêt général et ne pouvaient donc être considérées comme des prestations de service du secteur marchand.
- Les autorités de contrôle attendent donc des rapports d’évaluation externe conséquents, tant en termes de description du service rendu par une structure qu’en termes de retour sur son efficience / efficacité ou encore en termes de respect d’une certain nombre d’obligations (droits des usagers, démarches de promotion de la bientraitance / lutte contre la maltraitance, projet personnalisé, participation).
- Dans ce cadre l’ANESM a rendu obligatoire, depuis juin 2012, au-delà les contenus de tout rapport, une synthèse (22 thématiques) et un abrégé (10 tableaux) qui s’ajoutent au rapport lui-même et devraient en faciliter la lecture.
Quelques constats
Par la force des choses (des organismes gestionnaires me prenant à témoin ou me demandant un avis), j’ai été amené à lire un certain nombre de rapports d’évaluation externe. Le résultat est la plupart du temps atterrant (attention ! ne m’ont été présentés que des rapports « problématiques »).
Les manques de ces rapports apparaissent dès le premier coup d’œil, une lecture plus approfondie venant confirmer des questions :
- Pour une part, les rapports que j’ai lus montrent des contenus imprécis : les acteurs de terrain n’y retrouvent pas le moins du monde leur travail réel, les autorités de contrôle ne seront renseignées en rien sur les réalités.
- Pour une autre part, les rapports sont au contraire « logorrhéiques », sans organisation des contenus ni hiérarchie. J’ai l’exemple de rapports où le remplissage de l’abrégé ANESM (a priori des tableaux très synthétiques) prend de très nombreuses pages, avec une avalanche de petits détails).
- Autre particularité : des rapports qui présentent une structuration (un plan) très éloigné des obligations (le décret a prévu un rapport en plusieurs parties).
- Dernier constat : des rapports comprenant des remarques faites par des évaluateurs sur des obligations « juridico-administratives » non respectées par les structures. Dans les rapports sur lesquels j’ai été interpellé, j’ai noté beaucoup de remarques comportant des inexactitudes à propos de ces obligations, voire même totalement injustifiées (inventant des obligations inexistantes).
Il y a encore plus grave :
- Nombre d’entre eux ne sont pas conformes au
cadre réglementaire :
les contenus de la synthèse et de l’abrégé (obligatoires depuis juin 2012, mais
reprenant l’essentiel du décret du 15 mai 2007) ne sont qu’en partie abordés.
Plusieurs évaluateurs s’affranchissent ainsi de ce cadre, par ignorance
peut-être parfois, en toute conscience plus souvent puisque les contenus ont
été largement communiqués.
- D’autres montrent exactement l’inverse : j’ai ainsi constaté que certains rapports s’attachent tellement au cadre de la synthèse et de l’abrégé ANESM que le contenu prévu par le décret 2007 est oublié. Ainsi, alors que ce décret stipule que la dernière partie du rapport présente « des propositions et/ou préconisations », « avec des aspects stratégiques » puis « des éléments plus directement opérationnels », certains évaluateurs (se présentant pourtant comme experts) se contentent de remplir les tableaux de l’abrégé, comprenant des préconisations/propositions, mais sans le travail de priorisation prévu par le décret.
La réalité qui m’apparaît de manière parcellaire m’est confirmée par de nombreux confrères experts : nous serions devant une part importante, sans savoir si elle est majoritaire, de rapports inadaptés, inexploitables, parfois avec des erreurs, en deçà de la qualité minimale attendue.
Tout cela s’explique aisément, voire était prévisible et regarde les raisons suivantes cumulées :
- Absence de compétences dans le domaine social et médico-social pour beaucoup d’évaluateurs pourtant habilités,
- Application erronée de méthodes venues des certifications (qui ne peuvent être appliquées que pour une partie des contenus des évaluations externes) par certains,
- Désinvolture enfin chez quelques uns (l’appétit d’une activité lucrative passant avant l’esprit de la mission),
- Non prise en compte par les évaluateurs de la diversité nécessaire des outils de recueil de données,
- Plus globalement, acceptation tacite d’une mauvaise lecture des textes par des organismes gestionnaires.
Des propositions
Inutile de se lamenter, la question est plutôt de savoir comment s’en sortir avant qu’il ne soit trop tard.
> Je formule ici deux propositions :
- Chaque organisme évaluateur devrait accepter de faire superviser ses rapports d’évaluation par un confrère, voire par un collectif de confrères. C’est ce que j’ai fait pour mes premiers rapports, et je n’ai eu qu’à m’en réjouir.
- L’ANESM devrait en urgence se lancer dans un atelier permanent de lecture partagée, pour les évaluateurs qui le souhaitent, de leur trame de rapport, voire de leurs premiers rapports.
> Et je prends ici une position:
- Il est possible de comprendre les difficultés éventuelles, mais les manquements majeurs devraient être constatés et sanctionnés par l’ANESM. En dehors des conflits d’intérêts, J’en recense cinq :
1. Non prise en compte des contenus obligatoires,
2. Absence de compétences des évaluateurs, notamment par l’absence d’expériences professionnelles dans le secteur,
3. Utilisation d’un seul type d’outils pour le recueil de données,
4. Absence de construction d’un projet évaluatif avec études des documents spécifiques de la structure évaluée, avant la phase active de l’évaluation,
5. Non utilisation de la synthèse et de l’abrégé, ou travail se réduisant uniquement à leurs contenus.
A mon sens, il y a urgence…
Daniel GACOIN
Abonnez vous à ce blog
Bonjour Daniel Gacoin,
Est-ce que l'ANESM dont c'est l'une des prérogatives qui lui sont propres, est saisie de tous ces manquements, que vous révélez et qui s'avèrent bien préoccupants ? Il est prévu en effet qu'en cas de différends ou manquements survenus en matière de méthodologie d’évaluation et de production des résultats, le gestionnaire de l’établissement ou service, les acteurs de l’évaluation (par exemple, le Conseil de la vie sociale), ou encore les ARS, les conseils généraux, les DIRECCTE,PJJ,DRJSCS, devront en informer l’Anesm.Si tous ces derniers acteurs restent muets et n'alertent pas l'ANESM, ce serait bien la faillite du système qui se veut participatif!
Rédigé par : Christian Szwed | 09 mai 2013 à 10:18
Bonjour Daniel Gacoin
Actif depuis 1983 dans le syndicalisme professionnel des Ehpad,ainciennement maison de retraite,j'ai milité et suivi de près cette initiative d'évaluer en externe le foncitonnement des ESMS. L'esprit et le projet était séduisant. Je fais partie de la première vague des habilités et je pense pouvoir prétendre à une relle compétence dans le domaine des Ehpad notamment. Aujourd'hui, c'est devenu une évidence, l'habilitation est distribuée à qui la demande et les observations faites par les établissements ou les syndicats professionnels n'empèchent pas les marchands de soupe qui auraient perdu leur habilitation de faire une nouvelle demande avec une autre structure juridique, il existe beaucoup de profiteurs du système et ce n'est là qu'un exemple.
Ce que j'ai lu dans ce blog confirme, et je pourrai apporter de l'eau au moulin, la dérive du système.
Il y a bien des échanges ANESM ARS pour rappeler les règles à respecter et la nécessité de veiller à la qualité des évaluations mais qui va s'en charger ?
La mise en oeuvre du système a effacé l'esprit originel. Je suis comme beaucoup de ceux qui ont cru que le bénéfice de ce système reviendrait à l'usager, la personne accueillie ou prise en charge, je suis pofondément déçu!
Je pense qu'aussi longtemps que le choix de l'évaluateur se fera au poid (les cabinets "poid lourd"), au prix ou à l'illusion d'une prétendu certification qui s'obtient en l'achetant, le fonctionnement actuel perdurera.
Le tableau n'est pas si noir car il existe des structures qui prennent soin de vérifier les compétences et d'estimer la réelle plus value que peut leur apporter certains évaluateurs, mais combien sont-elles ?
Rédigé par : Jean Jacques Tiberghien | 16 mai 2013 à 10:08
Bonjour,
Après la phase initiale administrative, l'Anesm doit effectivement rentrer dans une nouvelle phase de partenariat avec ses évaluateurs. Je propose qu'elle anime des réunions régionales annuelles de ces derniers afin d'améliorer ensemble les points que vous évoquez.
Pascal TREFFOT
Evaluateur - Représentant des usagers
Rédigé par : Pascal TREFFOT | 22 mai 2013 à 19:56
Bonjour monsieur Gacoin,
certains évaluateurs préfèreraient employer une méthodologie évitant de mettre en évidence les points faibles des établissements d'une part pour des raisons commerciales, d'autre part pour ne pas mettre en difficulté le client vis à vis du financeur.
Par exemple: il est facile d'évaluer la mise en place des projets individuels en analysant uniquement les procédures de l'établissement sans consulter de manière alléatoire quelques dossiers d'usagers. Les procédures ont beau exister, sont elles appliquées?
Les effets secondaires pourraient être dramatiques pour l'établissement. Si les projets ne sont pas en place lors de l'évaluation mais qu'aucun dysfonctionnement n'est pointé, comment justifier la nécessité de les mettre en place par la suite?
En ce sens, le processus l'évaluation externe tel qu'il existe aujourd'hui peut être préjudiciable à la mise en place des outils de la loi 2002-2.
Toutes mes félicitations pour la qualité de votre Blog
cordialement
Olivier Warzée, évaluateur, Directeur qualité et ancien directeur d'établissement
Rédigé par : Olivier Warzée | 06 juin 2013 à 15:33
Bonjour Monsieur GACOIN
Je souscris pleinement à vos critiques sur un système qui se voulait participatif et qui est traversé par une "pensée unique" qui traduit le manque de références aux sciences sociales et introduit des notions issues du monde de la qualité et de la certification. C'est cela qui donne l'illusion de la technicité à des évaluateurs qui ne connaissent pas le secteur médico social et c'est déplorable. Enfin j'ajouterai à vos 5 points, l'abus du "copier-coller" qui fait gagner du temps et donc de l'argent, les ARS et Conseils Généraux n'ont pas les moyens de vérifier les artifices de l'écriture et par là même la standardisation de certains écrits mais l'ANESM pourrait sans doute s'y pencher.
Rédigé par : marie christine guillaumin, conseillère technique dans groupement médico social | 08 juin 2013 à 17:54
Bonjour Daniel Gacoin,
je fais partie des premiers habilités, l'EE est un projet ancien que je mets en œuvre avec conscience et exigence, avec une équipe formée en interne. Depuis le début je cherche une structure professionnelle au sein de laquelle confronter les pratiques et s'ajuster. De l'analyse de la pratique professionnelle pour évaluateurs, de la formation professionnelle par les pairs... comme on voudra. Mais pas un système de certification vide de sens.
Votre idée de relecture croisée de REE me semble excellente, elle va dans ce sens.
Pensez-vous prendre une initiative ?
Cordialement,
Didier Lesaffre
directeur d'un OH, parmi les 25 premiers habilités
Rédigé par : Didier Lesaffre | 23 juin 2013 à 20:29
Je vois ici ou là beaucoup d'idées, de questions et de propositions intéressantes. Je note l'idée de relecture croisées mais aussi la volonté de regroupés des expertises partagées. Je vois en effet quelques difficultés dans les évaluations
*Difficultés de les faire coller aux réalités de terrain
*Le saut épistémologique entre le qualitatif et le quantitatif est parfois difficile à effectuer
*Difficultés de mettre en évidence les objectifs adaptés et les critères qui en découlent
*...
Merci à tous
Rédigé par : Thierry Durbec | 18 mai 2014 à 18:29