ANESM, le débat continue...

Une fois n'est pas coutume, je présente ici un article écrit en commun avec un autre auteur, Bertand DUBREUIL

Depuis janvier 2011, plusieurs articles ont été écrits ici, interrogeant les orientations en cours de l'ANESM. Une polémique s'est poursuivie avec un article publié dans les ASH, il y a 15 jours, sous la plume de Laurent Barbe et de Jacques Papay, puis il y a 2 jours, avec une réponse publique de Didier Charlanne, directeur de l'ANESM, dans le même journal.

Bertrand Dubreuil  et moi-même avons souhaité apporter notre propre contribution au débat relatif aux orientations de l'ANESM. La voici.

 

"Les orientations que semble aujourd’hui dessiner l’ANESM suscitent de nombreuses interrogations, notamment sur le maintien d’un état d’esprit ouvert et dynamique en matière d’évaluation.

 

Des repères explicites, mais parfois mal compris

La loi du 2 janvier 2002 indique que les établissements et services sociaux doivent procéder (en interne) ou faire procéder (par l’externe) à deux démarches d’évaluation. Elles portent sur « les activités » et « la qualité des prestations », et non sur la seule qualité, contrairement à ce que certains ont soutenu.

Ensemble elles constituent, comme le précise le décret n° 2010-1319 du 3 novembre 2010, « une démarche continue », et non une « démarche d’amélioration continue de la qualité », confirmant ainsi leur distinction d’avec la certification, l’accréditation ou la démarche qualité. Le décret n° 2007-975 du 15 mai 2007, au tout début du cahier des charges de l’évaluation externe, affirme que l’évaluation « doit viser à la production de connaissance et d’analyse », « doit permettre de porter une appréciation qui l’inscrit dans une logique d’intervention et d’aide à la décision »,  « doit permettre de mieux connaître et comprendre les processus, d’apprécier les impacts produits au regard des objectifs », « est distincte du contrôle des normes en vigueur et de la certification ».

  Ce contenu s’articule avec une autre réalité : le renouvellement, total ou partiel, de l’autorisation des établissements et services, qui est « exclusivement subordonné aux résultats de l'évaluation externe » (article 25 de la loi 2002-2, créant l'article L.313-1 du CASF). Chaque évaluation externe doit donc être accomplie avec rigueur et apporter des connaissances circonstanciées aux autorités de contrôle, car ses conséquences sont d’importance pour la structure. Rappelons que c’est l’organisme gestionnaire (non les autorités de contrôle) qui prend l’initiative de faire procéder et qui sélectionne le cabinet évaluateur. Enfin, rappelons que l’évaluation externe apprécie « la prise en compte » des recommandations formulées par l’ANESM, comme vecteurs de travail et de mise en mouvement et non comme normes.

 L'esprit initial de la loi, la philosophie de l’évaluation telle que l’ont appréhendée les différents acteurs, ont été constamment confirmés par les textes et, jusqu’à ce jour, par la pratique de l’ANESM. L’évaluation est une démarche de croisement des points de vue et d’appréciation des effets de l’action, toujours distinguée du contrôle de conformité. La répartition des responsabilités par le législateur est précise : l’évaluation est dévolue à l’ANESM et aux organismes habilités à cet effet, l’autorisation aux autorités de contrôle et de tarification.

 

Des évolutions ravivant les risques de décalage avec les repères initiaux

L’ANESM agit dans un contexte marqué, d’une part, par une volonté de standardisation des pratiques et des organisations, de conformité réglementaire, d’autre part par une culture du résultat quantifié (baisse des coûts, performance supposée plus élevée). Jusqu’alors elle a tenu une position plutôt équilibrée, contribuant au développement d’une culture évaluative, écartant l’application de référentiels clés en mains, incitant à la production de connaissance et à la recherche d’améliorations concrètes. Les recommandations de bonnes pratiques ont été élaborées dans un souci de consensus avec les associations professionnelles et d’usagers. C’est une avancée. Elle n’est pas définitivement acquise.

Dans ce contexte, l’ANESM va-t-elle être conduite à introduire dans ses recommandations des exigences catégoriques de pratiques et des indicateurs de performance ? En lien avec la création de l’ANAP, va-t-elle s’associer à des impératifs susceptibles de dénaturer l’évaluation ? La conférence de presse de rentrée de l’ANESM semble aller dans ce sens. « A terme, l'idée centrale est de parvenir à uniformiser les rapports d'évaluations externes, ce qui permettra notamment d'avoir des données comparables. Encore faut-il que ces outils soient opposables aux évaluateurs, une demande en ce sens ayant d'ores et déjà été adressée par l'ANESM à la direction générale de la cohésion sociale (DGCS) ». Uniformiser… données comparables… opposables… derrière ces mots, on peut supposer des repères nécessaires ou, à l’inverse, un encadrement normatif couvrant l’intégralité des contenus, pratiques, rapports. Le risque serait d’excéder voire de trahir l’esprit et la lettre du décret du 15 mai 2007.

Par ailleurs, annonçant en janvier 2011 le recrutement de contrôleurs des organismes habilités pour l’évaluation externe, l’ANESM traçait ainsi un profil attendu : « une formation juridique, comptable ou financière,… une expérience acquise dans l’audit d’entités ayant des titres cotés dans les établissements de crédit, dans les entreprises régies par le code des assurances ou au sein du Haut Conseil du Commissariat aux comptes» (le profil est consultable sur le site de l'ANESM). Aucune mention n’est faite d’une expérience dans le secteur social et médico-social. Certes, le contrôle des conflits d’intérêt financiers rend nécessaire cette fiche de poste pour un des contrôleurs. Mais on ne peut que s’étonner de la distance de ces profils avec la technicité propre au secteur social et médico-social et la nature de ses missions. C’est qualitativement le respect du cahier des charges qu’il conviendrait de considérer avec des contrôleurs familiers de ce secteur d’activité.

Faut-il comprendre que ces différents éléments prolongent la note de juillet 2010 aux organismes évaluateurs ? Celle-ci leur fait en effet obligation de « porter une appréciation sur l’existence et la pertinence des dispositifs de gestion et de suivi des activités et de la qualité des prestations délivrées  […] et d’examiner le respect des critères énoncés par la réglementation notamment relatifs à la qualité de l’hébergement. » Sans doute les termes sont-ils assez généraux, mais justement ils semblent attribuer aux évaluateurs une responsabilité de contrôle de normes, absente des textes et contraire à l’esprit présidant aux recommandations de l’ANESM, nécessitant d’ailleurs un positionnement et des compétences que ne prévoient ni les critères d’habilitation ni le décret.

 

Oui au contrôle des évaluateurs, non à l’évaluation détournée en contrôle

Les travaux actuels de l’ANESM portent sur le contrôle des organismes évaluateurs, sur leurs rapports, sur l’utilisation de ces derniers par les autorités publiques. Le contrôle par l’ANESM des organismes d’évaluation comporterait des appréciations relatives à la compétence de leurs professionnels évaluateurs, la conception des actions, la qualité scientifique des références, etc. Ces éléments sont judicieux afin d’éviter que l’évaluation externe ne devienne un marché sans garantie de dérives.

On s’étonnera toutefois de relever des modalités surdimensionnées au regard de la taille des organismes habilités (existence de gouvernances scientifiques et professionnelles !), avec une surenchère de conformité référée à un modèle sanitaire inadéquat à l’action sociale et médico-sociale.

Par ailleurs, le rapport d’activité des organismes évaluateurs remis semestriellement à l’ANESM comportant une « synthèse de la mission d’évaluation conduite » pourrait, à terme, se trouver modifié par une demande de l’ANESM de recevoir elle-même les résultats de l’évaluation sous la forme d’une matrice (points forts / points faibles ; menaces / opportunité). Cela mettrait l’agence en position de « haute autorité avec observatoire national » des établissements et services, mesurant l’atteinte des objectifs, leur conformité aux missions, voire leur performance. À notre sens, le contrôle par l’ANESM des organismes évaluateurs ne doit pas être le contrôle détourné des établissements et services par son utilisation d’une matrice des résultats de l’évaluation externe. Le rôle de l’ANESM est de soutenir le développement de l’évaluation, d’animer la réflexion méthodologique, de garantir la déontologie de sa réalisation, pas de connaître les résultats des évaluations externes (qui relèvent de la responsabilité des autorités de contrôle).

> Alors oui à l’élaboration d’une trame constitutive des rapports d’évaluation, mais une trame qui rende opératoire un décret en soulignant ses fondamentaux. Mais non à une codification du rapport d’évaluation.

> Oui à l’élaboration d’une trame de lecture et d’analyse des rapports à l’intention des organismes de contrôle pour que ces rapports soient pris en compte comme une source de connaissance relative  à l’efficience de l’activité de l’établissement ou du service. Mais non à une grille qui ignore la dimension qualitative de l’évaluation, non à un formatage exhaustif des rapports contraire à l’esprit du décret, privilégiant les informations sur l’analyse et l’appréciation, non à une matrice à visée comparative alors que précisément l’évaluation externe « ne permet pas de comparer les établissements et services entre eux » (décret du 15 mai 2007, article 2). Il ne faudrait pas qu’au prétexte de la régulation nécessaire d’un marché sans garantie, l’ANESM établisse seule, et par ailleurs en son sein sans l’avis de son conseil scientifique ni de son comité d’orientation stratégique, un texte opposable. Celui-ci doit s’élaborer en concertation avec les acteurs concernés : autorités de contrôle, fédérations représentatives des usagers et des institutions sociales et médico-sociales, experts dans le champ de l’évaluation.

> Oui à l’énoncé de normes minimales pour l’évaluation externe. Mais non à sa possible transformation en accréditation, c’est-à-dire en une approche fondée sur l’attestation de compétences d’une structure (ESSMS) au regard d’un référentiel normatif d’exigences en système qualité ou en pratiques techniques.

 

Une ANESM dans son rôle, sans le surjouer

L’évaluation instaurée par la loi de 2002 est une avancée importante dans la dynamique d’amélioration du service aux usagers. A condition qu’elle reste l’évaluation, qu’elle ne tourne pas à l’injonction bureaucratique, qu’elle ne se confonde pas avec le contrôle, qui relève de la responsabilité d’autorités dédiées à cet effet. L’ANESM doit être garante de cet esprit, animée par une équipe qualifiée, dans une dynamique de recherche et de participation, méthodologiquement rigoureuse, référée au droit. Elle n’a pas besoin d’ajouter des contenus ni des travaux sur ces contenus, qui contribuent à une surenchère. C’est ce qu’attendent d’elle les acteurs de la loi 2002-2, établissements, services, gestionnaires, associations d’usagers.

 

Bertrand DUBREUIL, sociologue, ancien cadre du secteur social, directeur du Cabinet Pluriel Formation Recherche.

Daniel GACOIN, travailleur social, ancien dirigeant de structure, directeur du Cabinet ProÉthique conseil".

Comments

[Rédigé par : Dominique Lallemand]

Pour que votre information soit rigoureuse, sachez que la décision de l'Anesm du 2 juillet 2010 dont vous citez un extrait sur votre blog aujourd'hui n'oblige pas "les organismes évaluateurs à porter une appréciation sur l’existence et la pertinence des dispositifs de gestion et de suivi des activités et de la qualité des prestations délivrées […] et à examiner le respect des critères énoncés par la réglementation notamment relatifs à la qualité de l’hébergement." Cette note, accessible sur le site de l'Anesm, ne fait que reprendre exactement sur ce sujet les obligations qui leur sont faites par le décret du 15 mai 2007 (annexes, chapitre II section 1 et 2)portant cahier des charges de l'évaluation externe.

Dominique Lallemand, responsable de la Communication de l'Anesm

[Rédigé par : Daniel Gacoin en réponse à Dominique Lallemand]

Bonjour,

Merci de votre rappel réglementaire, revenant sur le fait que la décision du directeur de l’ANESM, du 2 juillet 2010, reprenait le texte du décret du 15 mai 2007, contrairement à ce que laissait apparaître notre billet.

En réalité, les éléments sont plus complexes…
… Certes, notre propos pouvait laisser apparaître que la décision du directeur de l’ANESM, le 2 juillet 2010, inventait de nouveaux contenus au-delà du décret du 15 mai 2007 : merci donc d’avoir rétabli la vérité, cette décision n’a pas créé des contenus nouveaux, c’est clair…
… Toutefois, la décision évoquée nous semble faire un choix partiel dans les contenus de l’évaluation externe, choix qui, s’il était retenu, orienterait l’évaluation vers une approche réduite, et exagérément contrôlante. Je m’explique :
- la décision du 2 juillet 2010 détaille en 2 pages les obligations des organismes évaluateurs à l’égard de l’ANESM (transmission d’un rapport d’activité en 2 étapes notamment),
- elle comporte dans sa deuxième partie un rappel aux cabinets évaluateurs sur les contenus indispensables lors d’une mission d’évaluation, même si un contrat établi (entre un cabinet et un organisme gestionnaire d’établissement ou service) venait à exclure certains de ces contenus (« la hiérarchie des textes fait prévaloir les termes du cahier des charges des évaluations externes fixé par décret, sur les documents contractuels de mise en concurrence », « les organismes (…) ne pourront pas se prévaloir des termes du document contractuel formalisant le mandat d’évaluation externe, pour répondre à un manquement relatif aux obligations qui leur sont faites par le décret n°2007-975 susvisé »),
- cette décision, rappelant donc des contenus indispensables, présente essentiellement 6 grandes thématiques,
- or le décret du 15 mai 2007 indique (dans son cahier des charges de l’évaluation - Chapitre II : objectifs de l’évaluation) en réalité 29 thématiques de contenus,
- en conclusion, la décision du 2 juillet 2010 fait donc une sélection qui nous semble orientée et qui devrait être beaucoup plus largement débattue (en son sein, avec son CA, le COS, le conseil scientifique, en externe avec la DGCS et les représentants des autres administrations concernées, avec des experts de l’évaluation).

Bien cordialement

Daniel GACOIN

Pour être explicite en direction des lecteurs

Voici l’extrait incriminé de la décision du 2 juillet 2010 du directeur de l’ANESM :
« Afin de respecter les dispositions du décret, l’attention des organismes est attirée sur la hiérarchie des textes qui fait prévaloir les termes du cahier des charges des évaluations externes fixé par décret, sur les documents contractuels de mise en concurrence, en particulier sur l’obligation faite à l’organisme habilité :
- de porter une appréciation sur l’existence et la
pertinence des dispositifs de gestion et de suivi des
activités et de la qualité des prestations délivrées ;
- d’examiner la cohérence et la continuité des actions
et interventions entre autre au regard du projet
personnalisé ;
- d’examiner les suites réservées aux résultats issus
de l’évaluation interne et plus particulièrement les
modalités de suivi et de bilan périodique ;
- d’examiner la politique de gestion des risques
individuels et collectifs ;
- d’examiner le respect des critères énoncés par la
réglementation notamment relatifs à la qualité de
l’hébergement ;
- l’examen de la prise en compte des recommandations
formulées par l’ANESM.
Les organismes sont ainsi informés qu’ils ne pourront pas se prévaloir des termes du document contractuel formalisant le mandat d’évaluation externe, pour répondre à un manquement relatif aux obligations qui leur sont faites par le décret n°2007-975 susvisé. »

Voici un extrait du Chapitre II du décret du 15 mai 2007. Vous constaterez combien la priorisation, dans la décision du 2 juillet 2010, de contenus reste problématique au regard des 29 thématiques indiquées dans le décret du 15 mai 2007.

« Objectifs de l’évaluation externe

Section 1 / Des appréciations globales sur…
1. L’adéquation des objectifs du projet d’établissement
ou de service par rapport aux besoins, aux priorités
des acteurs concernés et aux missions imparties.
2. La cohérence des différents objectifs entre eux.
3. L’adaptation aux objectifs des moyens humains et
financiers mis en place.
4. L’existence et la pertinence de dispositifs de gestion
et de suivi.
5. L’appréciation sur l’atteinte des objectifs, la
production des effets attendus et d’effets non prévus,
positifs ou négatifs.
6. L’appréciation de l’impact des pratiques des
intervenants sur les effets observés.
7. Les conditions d’efficience des actions et de
réactualisation régulière de l’organisation

Section 2 / Un examen des suites réservées aux
résultats issus de l’évaluation interne…
1. Les priorités et les modalités de mise en œuvre de
la démarche de l’évaluation interne.
2. La communication et la diffusion des propositions
d’amélioration résultant de l’évaluation interne et la
manière dont les acteurs ont été impliqués.
3. La mise en œuvre des mesures d’amélioration et
l’échéancier retenu.
4. Les modalités de suivi et de bilan périodique.
5. La dynamique générale de la démarche
d’amélioration continue de la qualité des prestations

Section 3/ Un examen de certaines thématiques et
des registres spécifiques à travers…

A. Pour l’évaluation externe, des objectifs propres qui
sont de deux ordres :
1. Porter une appréciation sur les activités et la qualité
des prestations au regard des droits des usagers, et
les conditions de réalisation du projet personnalisé.
2. Donner des éléments d’appréciation sur les activités
et la qualité des prestations au regard de l’ouverture
de l’établissement ou du service sur son
environnement, et des interactions.

B. Pour l’évaluation externe, des points spécifiques à
examiner, en prenant en compte les particularités liées
à l’établissement ou au service :
1. La capacité de l’établissement ou du service à
évaluer avec les usagers leurs besoins et attentes
dans le cadre du projet d’établissement ou de
service, en prenant en compte les interactions avec
l’environnement familial et social de la personne.
2. L’enjeu de la personnalisation de l’écoute et de la
réponse téléphoniques, y compris dans le traitement
des demandes en urgence.
3. Les conditions dans lesquelles est élaboré le projet
personnalisé et la capacité de celui-ci à prendre en
compte les besoins et droits de l’usager.
4. L’effectivité du projet de l’établissement ou service
sur l’accès et le recours aux droits.
5. La réponse de l’établissement ou du service aux
attentes exprimées par les usagers.
6. La capacité de l’établissement ou du service à
faciliter et valoriser l’expression et la participation
des usagers.
7. La capacité de l’établissement ou service à observer
les changements et adapter son organisation.
8. La prise en compte des recommandations de
bonnes pratiques professionnelles dans les
modalités de réponses apportées aux usagers.
9. La prise en compte des facteurs de risque et
d’insécurité selon différents axes appropriés à
chaque contexte : application de normes d’hygiène
et de sécurité – prévention des situations de crise –
mise en place d’un dispositif de régulation des
conflits – techniques de prise en charge offrant la
sécurité individuelle et collective en rapport avec les
pratiques professionnelles garantissant les droits
fondamentaux des personnes – plus généralement
politique globale de gestion des risques.
10. La capacité de l’établissement ou du service à
assurer la cohérence et la continuité des actions et
interventions.
11. Le respect des critères énoncés par la
réglementation en vigueur et par les
recommandations de bonnes pratiques
professionnelles validées par l’Agence nationale de
l’évaluation et de la qualité des établissements et
services sociaux et médico-sociaux, relatifs
notamment à la qualité d’hébergement.
12. Les formes de mobilisation des professionnels, en
observant l’organisation collective : organisation des
échanges d’information, méthodes de travail,
dispositifs de gestion de crise, modalités de formation
des personnels.
13. La capacité de l’établissement ou du service à
mettre en œuvre des dispositifs d’alerte et de
formation permettant de mesurer la fatigue
professionnelle.
14. Le rôle de l’établissement ou du service au regard
des missions confiées par les autorités publiques à
partir notamment de la confrontation des différents
points de vue, mais aussi des réalisations :
a) Perception de l’établissement ou du service
et de ses missions par les partenaires, les usagers
b) Formalisation des collaborations et des
coopérations interinstitutionnelles ou
interprofessionnelles autour et avec l’usager.
15. L’inscription de l’établissement ou du service dans
un territoire donné à partir notamment de :
a) la prise en compte du réseau de proximité et de
l’utilisation optimale des ressources du milieu ;
b) sa contribution aux évolutions et à la
modification de l’environnement.

C. Pour l’évaluation externe, une analyse à produire
précisant : les thématiques intégrées dans le plan
d’amélioration continue de la qualité.

Section 4 / L’élaboration de propositions et / ou
préconisations…
Elles portent en premier lieu sur des aspects
stratégiques, et en second lieu sur des éléments
plus directement opérationnels.
Des priorités sont formulées, en regard de critères
explicites. »

[Rédigé par : christophe malabat]

... être précis devient ici l'exercice de mise car sinon chacun fera son copié-collé personnel... et l'évaluation interne sera alors plus le reflet de celui qui la réalise que celui de sur qui celle-ci est réalisée !:)

restons comme vous... très vigilant et précis

cordialement

christophe malabat