L’agence nationale de l’évaluation et de la qualité des établissements et services sociaux et médico-sociaux (ANESM) vient, à travers un courrier et son dernier rapport d’activité, de prononcer des exigences, voire des menaces, à l’égard des évaluateurs externes insuffisamment respectueux de leurs obligations : du sérieux ? De simples effets d’annonces d’une agence en perte de vitesse ?
Un petit rappel avant de répondre à ces questions…
Depuis la loi du 2 janvier 2002, la mise en place des repères réglementaires ou méthodologiques a été très lente pour les évaluations des établissements et services sociaux et médico-sociaux (ESSMS). Cette lenteur, problématique, était nécessaire pour faire avancer une culture globale et une définition plus précise de l'évaluation :
> Son objet : pas un contrôle de conformité des pratiques à l’égard d’un référentiel, mais un examen de la pertinence et de l’atteinte des objectifs, avec étude des effets et impacts des actions, avec appréciations (pertinence, cohérence, impact, efficacité, efficience) et amélioration continue.
> Sa périodicité : une fois tous les 5 ans pour les évaluations internes, deux fois pendant une autorisation de 15 ans pour les évaluations externes.
> Ses contenus : malgré des spécificités pour l’évaluation externe (suite donnée à l’évaluation interne), 5 types de contenus « incontournables » à examiner pour toute évaluation. Le premier ? Les objectifs / actions / impacts des actions, au regard des besoins des usagers (et non de leur seule satisfaction). Les 4 autres ? 1. L’usager (droits, participation, personnalisation, sécurité), 2. Le lien à un environnement (place dans un territoire, ouverture, accessibilité), 3. Le projet (construction, cohérence, place), 4. L’organisation (ressources humaines, organisation du travail, cadre de vie et d'accueil, ressources financières, systèmes d’information).
> Sa méthode : participative, produisant des connaissances, rigoureuse, avec implication et recueil de la parole des parties prenantes, elle comprend 3 étapes : 1. Construction d‘un cadre et de questions évaluatives, 2. Recueil de données sur le terrain, avec des méthodes variées, 3. Analyse des données jusqu’à des appréciations, puis des recommandations (pour l’évaluation externe) ou un plan d’amélioration (pour l’évaluation interne), le tout traduit dans un rapport.
Hélas, pendant cette période de maturation, deux grandes influences ont pesé sur la pratique des évaluations :
> Les démarches qualité et de certification : basées essentiellement sur la recherche d’une conformité des pratiques et des structures à des normes, elles peuvent parfois être ouvertes à des interrogations d’effets (il s‘agit alors essentiellement de la satisfaction des usagers, loin, très loin donc de tous les effets recherchés dans des accompagnements), elles ont envahi les pratiques évaluatives, les ont perverties bien souvent, et pire, sont présentées comme la vérité de l’évaluation. Depuis près de 3 ans, j’indique que de nombreux cabinets mentent effrontément sur ce thème, pour continuer à vendre des outils et démarches décalés par rapport aux exigences publiques.
> L’arrivée du thème de la performance et la demande de résultats : même si la performance (sa définition) comporte des sens très éloignés de la seule réalisation d’un score, d’un résultat, l’influence du New Public Management (NPM) dans l’action sociale et médico-sociale devient prégnante et les demandes de résultats (niveaux de réalisations de démarches ou effets auprès des usagers) vont peu à peu atteindre les ESSMS si les orientations gouvernementales ne se modifient pas.
Des dérives problématiques pour l’évaluation externe
L’influence des démarches qualité ou de certification dans les évaluations externes (qui peuvent aboutir au non-renouvellement éventuel de l’autorisation d’un établissement ou service, pour des raisons éhontées : non respect de procédures, alors même que les objectifs d’accompagnement seraient atteints), se traduit ainsi :
- certains évaluateurs externes rivés au seul horizon d’un référentiel qualité non personnalisé,
- des évaluateurs affirmant que la vérification d’une conformité des pratiques à des protocoles de référentiels correspond à une évaluation,
- des évaluateurs externes agissant au mépris des exigences publiques : 1 à 2 jours de recueil de données sur le terrain là où il en faudrait entre 2,5 (pour les très petites structures) à 8 (pour les plus importantes), la moyenne devant se situer entre 4 et 5 jours,
- des évaluateurs externes montrant des pratiques commerciales dites agressives (casser le nombre de journées et leur tarif pour emporter des marchés, ou à l’inverse imposer des coûts exorbitants) sans rapport avec le sérieux demandé dans la qualité de l’évaluation.
L’habilitation par l’ANESM des organismes évaluateurs, sans exigence de compétences initiales, a été l’élément déclencheur de ces dérives. La stratégie de communication de certains évaluateurs (transformant l’esprit et la lettre du décret du 15 mai 2007) en a été l’élément décisif. La complicité de certains organismes gestionnaires d’ESSMS en a été un facteur favorisant : demandant des évaluations à des niveaux de tarifs et pratiques incompatibles avec ce qui est demandé par les pouvoirs publics en nombre de jours, méthodes, coût / journée, compétences des évaluateurs.
Et voilà que l’ANESM se fâche !
Fin décembre 2010, elle annonce qu’elle va contrôler avec fermeté les évaluateurs habilités, en recrutant des spécialistes : l’affaire a fait débat (voir dans ce blog un billet du 20 janvier 2011 et un billet du 30 janvier 2011, ou voir dans le blog de Laurent Barbe son billet du 12 janvier 2011).
Toujours fin 2010, elle s’engage avec la DGCS à proposer une fiche de synthèse / grille de lecture des rapports d’évaluation à destination des ARS ou autorités de contrôle. Elle souhaite exiger un modèle opposable pour ces fiches de synthèse, comprenant un outil d’analyse. Cet outil (en cours de test) s’apparenterait à une matrice résumant les forces / faiblesses / menaces / opportunités (modèle appelé SWOT - voir plus bas) de la structure évaluée. Enfin, elle semble se présenter comme destinatrice des fiches de synthèse.
En mai 2011, l’ANESM transmet aux évaluateurs habilités un courrier très ferme de son directeur. Il leur est rappelé l’obligation d’un rapport d’évaluation par structure autorisée (et non par organisme gestionnaire). Le courrier rappelle que chaque « rapport d’évaluation externe doit être étayé », « certains rapports d’évaluation se contentant d’établir des constats, parfois basés sur des grilles de type « certification », limitant l’évaluation à un contrôle de moyens mis en œuvre ». Ainsi selon l’auteur du courrier, « les critères énoncés par la réglementation en vigueur et par les recommandations (…) de l’ANESM » doivent être respectés, et « les items et la méthodologie fixés par le décret du 15 mai 2007 ne sont pas optionnels ». Sur le dernier point, il est précisé que « leur absence (…) constitue à cet égard un manquement (…) pouvant entraîner une suspension ou un retrait d’habilitation ». Enfin le courrier ajoute que tout rapport d‘évaluation externe doit «apporter à l’autorité ayant délivré l’autorisation une argumentation sur les données recueillies et l’analyse qui en résulte, permettant de l’éclairer utilement », l’évaluation devant « répondre à des exigences de qualité en termes de pertinence, de fiabilité, d’objectivité et de transparence » et interroger « la mise en œuvre d’une action, sa pertinence, les effets prévus et imprévus, son efficience, en considération du contexte observé ». La conclusion du directeur de l’ANESM dans ce courrier : « le rapport ne peut ainsi se contenter de faire état de la mise en œuvre de tel ou tel dispositif mais en assurer l’évaluation ».
Chacun aura compris que ce courrier met le doigt sur des manquements déjà constatés : simple avertissement ou communication sur de futures procédures de sanctions ?
Quelle suite concrète en termes de sanction en cas de non-respect de ces exigences ?
1er cas de figure : un évaluateur externe qui ne rend pas compte à l’ANESM, chaque semestre, de son activité. Il s’agit du cas le plus simple, le plus lisible, de manquements des évaluateurs. Ce cas de figure a déjà donné lieu à des sanctions (7 en mars, 9 en juillet 2011). La procédure est ainsi décrite par l’ANESM : courrier de relance et demande d’explications et ensuite, en cas de persistance dans le manquement, retrait définitif de l’habilitation. Comprenez : il faut vraiment le vouloir pour ne pas transmettre les documents demandés et être ainsi l’objet d’un retrait d’habilitation pour cette raison.
2ème cas de figure : un évaluateur externe qui utilise un référentiel qualité, sans personnalisation. Ce cas de figure est directement contraire à ce qui est indiqué dans les recommandations ANESM et dans le décret du 15 mai 2007 : une démarche qualité n’est pas une évaluation, le premier temps de l’évaluation consiste à partir des documents transmis par l’ESSMS, à formaliser « le projet évaluatif », avec la « construction d’un cadre de référence spécifique » (un volet commun, un volet propre à chaque établissement ou service) et « l’élaboration du questionnement évaluatif ». Comme vous l’avez compris, l’ANESM vient d’indiquer que de simples constats de type conformité des pratiques (c’est ce qui se fait en démarche qualité) ne sont pas acceptables. Quelle sanction ? Sur le plan réglementaire (D.312-202 du CASF) il est indiqué que l’ANESM…
« est informée par la personne physique ou la personne morale de droit public ou de droit privé gestionnaire de l’établissement ou du service social ou médico-social ou par l’autorité ayant délivré l’autorisation des différends ou manquements survenus en matière de méthodologie d’évaluation et de production des résultats ». « Lorsqu’il résulte de l’application des dispositions précédentes que les termes du présent cahier des charges ne sont pas respectés, l’Agence peut, après avoir recueilli les observations de l’organisme concerné, suspendre ou retirer l’habilitation ».
Sur un plan pratique, j’attends de voir la mise en œuvre de ces sanctions (suspension ou retrait de l’habilitation) d’autant que la procédure risque d’être longue : à ce stade, alors que des manquements ont été constatés (et cités par le directeur de l’ANESM lui-même), aucune sanction n’est encore venue.
3ème cas de figure : un évaluateur externe qui ne travaillerait que sur des contenus partiels pour certaines évaluations. Il s’agirait officiellement du même cas de figure que le cas précédent (manquements en matière de méthodologie d’évaluation et de production des résultats). Mais sur un plan pratique, l’ANESM a déjà annoncé, fin 2010, qu’elle serait attentive aux manques de contenus concernant 6 thèmes : 1. « Existence et pertinence de dispositifs de gestion et de suivis des activités et de la qualité des prestations », 2. « Cohérence et continuité des actions et interventions entre autres au regard du projet personnalisé », 3. « Suites réservées aux résultats issus de l’évaluation interne et plus particulièrement modalités de suivi et de bilan périodique », 4. « Politique de gestion des risques individuels et collectifs », 5. « Respect des critères énoncés par la réglementation notamment relatif à la qualité de l’hébergement », 6. « Prise en compte des recommandations formulées par l’ANESM ». Je trouve ces thèmes très réducteurs, par rapport à ce qui est indiqué dans le décret. Comprenez le prolongement : il y aura peut-être des contestations sur les contenus examinés, mais il sera difficile pour l’ANESM d’aboutir à des sanctions, sauf pour des manquements vraiment très importants.
4ème cas de figure : un évaluateur externe qui réaliserait sa mission sur un nombre de jours présentant manifestement une incompatibilité avec les obligations réglementaires (pour un ESSMS de taille moyenne, 4 à 5 jours en recueil de données, pour un ESSMS ayant déjà une certification, 2 jours minimum sur le terrain). Il s’agirait, dans des situations extrêmes, d’une situation similaire aux cas précédents (manquements en matière de méthodologie d’évaluation et de production des résultats). Et sur un plan pratique, si l’ESSMS est satisfait, il sera, hors situations caricaturales, difficile pour l’ANESM d’aboutir à des sanctions. D'ailleurs pour des situations pourtant extrêmes signalées en janvier 2011 par le directeur de l’ANESM (conférence de presse du 25 janvier 2011), on attend toujours les sanctions.
5ème cas de figure : un évaluateur externe qui montrerait des pratiques commerciales relativement scandaleuses (casser ses tarifs pour emporter des marchés, ou à l’inverse imposer des coûts exorbitants). La loi du marché aidant, il n’y a aucune raison de voir des sanctions apparaître, sauf si des manquements méthodologiques étaient constatés en prolongement. Mais comme certaines associations font elles-mêmes baisser les prix au risque de la baisse de la qualité, je doute de voir des sanctions tomber.
6ème et dernier cas de figure : un évaluateur externe qui montrerait un conflit d’intérêt avec un ESSMS ou un organisme gestionnaire pour lesquels il réalise une évaluation externe. Attention le conflit d’intérêt concerne :
« un lien avec l’établissement, un organisme gestionnaire, une fédération ou tout groupement d’organismes gestionnaires, en lien avec un établissement ou service qu’il évalue »,
le fait « d’avoir, au moment de l’évaluation externe, ou d’avoir eu, au cours de l’année précédente, d’intérêt financier direct ou indirect dans l’organisme gestionnaire de l’établissement ou du service concerné »,
le fait « d’avoir, avant l’expiration d’un délai d’une année après la fin de la mission, une relation professionnelle directe ou indirecte avec l’établissement ou le service qui a été évalué en tout ou partie, ou avec l’organisme gestionnaire »,
le fait de pas « prendre, recevoir ou conserver à compter du premier jour de la mission d’évaluation et pendant une année après la remise du rapport d’évaluation externe, directement ou indirectement, un intérêt auprès de l’établissement, du service ou de l’organisme gestionnaire dont il est chargé pour tout ou partie de l’évaluation externe, d'une personne qui le contrôle, ou qui est contrôlé par lui au sens de l’article L. 233-3 du code de commerce »,
le fait « d’être affilié à un réseau national ou international et de postuler à une évaluation externe auprès d’un établissement, d’un service ou d'un organisme gestionnaire qui bénéficie d’un contrat de prestations avec ce réseau ou avec un membre de ce réseau »,
le fait de « prendre, recevoir ou conserver, directement ou indirectement, un intérêt de quelque nature avec une personne dépositaire de l'autorité publique amenée à intervenir dans la décision d’autorisation de l’établissement ou du service dont il assure tout ou partie de l’évaluation ».
Les contrôleurs recrutés par l’ANESM seront censés être aguerris, selon cette dernière, dans le dépistage de tout type de conflit d’intérêt… Mais les premiers cas cités (un évaluateur ayant fait travailler pour une mission un personnel d’une fédération auquel adhérait l’établissement concerné ; un évaluateur n’ayant pas facturé l’évaluation ou à un coût dérisoire) par le directeur de l’ANESM ne semblent pas, à ce stade, avoir donné lieu à sanction. Soit la procédure a été abandonnée (capacité de défense ? capacité de pression des évaluateurs concernés ?) soit la procédure est très longue, voire interminable. Autre constat : tout est opaque dans ce traitement, et centralisé par le directeur de l’ANESM.
Plus globalement, l’ANESM a-t-elle une position suffisamment sûre, pour tenir ses exigences ?
Au-delà du traitement des situations litigieuses concernant les évaluateurs, ces exigences plus importantes (rappels sur les contenus à travailler, formes de rapports et synthèses de rapports plus codifiées, contrôle accru, transmission des synthèses, rappels de sanctions possibles etc. etc.) ont déjà suscité des commentaires : par exemple un article de Sybilline Chassat-Philippe , le 14 juin 2011, dans TSA quotidien (un site d’information quotidien toujours affûté, que je recommande à tous).
Parallèlement, mais depuis de nombreux mois, circulent des rumeurs ou prédictions concernant l’ANESM : elle serait condamnée, à terme, à la fois par …
> un effet de ciseau : entre la Haute Autorité de Santé - HAS- et l’Agence Nationale d’Appui à la Performance des établissements sanitaires et sociaux - ANAP-, elle n’aurait plus de place à terme,
> une recherche progressive des pouvoirs publics : procéder à des traitements différents selon les sous-ensembles de l’action sociale et médico-sociale. Il y aurait d’un côté ce qui est proche du sanitaire (donc dépendant de l’HAS). D’un autre côté on trouverait ce qui relève de la solidarité nationale (donc dépendant de la DGCS et de référentiels fournis par cette dernière - voir par exemple le référentiel « accueil – hébergement – insertion » produit en 2010 par celle-ci). Dans un troisième sous-ensemble, il y aurait ce qui relève du judiciaire (donc de la PJJ avec un régime d’exception déjà en place pour l’évaluation externe et des recommandations spécifiques de pratiques à développer). Enfin, existerait ce qui concerne l’action sociale des populations (familles, personnes âgées, personnes handicapées etc.), dépendant des conseils généraux, avec des modalités encore à inventer.
Un rapport parlementaire vient d’être diffusé sur lequel Laurent Barbe (merci Laurent !) a attiré l’attention dans son blog (cliquer ici pour accéder à son article). Attention ! Il ne s’agit que d’un rapport parlementaire et non d’une orientation qui engage les pouvoirs publics. Son rapporteur est le député UMP Yves Bur, grand spécialiste des questions sanitaires, souvent rapporteur des projets de loi sur le financement de la Sécurité sociale (PFLSS). Il s’était illustré en lançant le premier, dans un autre rapport parlementaire, un mot d’ordre pour l’action sociale et médico-sociale (diminuer par 10, de 30 000 à 3 000, le nombre de négociations budgétaires) qui a été immédiatement transformé par beaucoup (diminuer par 10 le nombre de structures ou le nombre d’organismes gestionnaires). Dans ce rapport consacré aux agences sanitaires, Yves Bur ne parle que très peu du secteur social et médico-social :
> Concernant l’ANESM il indique que « ses missions consistant principalement en de l’évaluation interne, l’édiction de règles de bonnes pratiques et l’habilitation d’organismes extérieurs pourraient parfaitement être transférées à la HAS ». Il ajoute que « la spécificité de l’évaluation des établissements sociaux ne peut en effet justifier à elle seule l’autonomie de cette agence ». Sa proposition N° 1 de rationalisation des agences comporte ainsi plusieurs contenus dont le transfert des missions de l’ANESM à l’HAS (Attention ! Yves Bur propose de ne le réaliser qu’à la fin des dix premières années de fonctionnement de l’ANESM : soit en 2017)
> Concernant l’ANAP, il considère que les missions de l’ANAP « pourraient être tout à fait remplies par un organisme de droit privé, à l’échéance de cette agence », « les missions d’aide à l’optimisation et à l’efficience des établissements de santé » générant à terme « des gains de productivité » pouvant être assumés financièrement par les établissements. Que c’est joliment dit … et ensuite retraduit dans la proposition 1 du rapport : privatiser l’ANAP (comme précédemment, à l’issue de son mandat de 10 ans). pour dix années reconductibles pourrait donc, à la fin de son mandat, confier ses missions à la Haute Autorité de santé.
> Concernant le fonctionnement des Agences (donc l’HAS et l’ANESM), il pose un modèle avec : un Conseil d’Administration, un Conseil scientifique, un Conseil d’orientation (ouvert à la société civile fixant les enjeux et le programme de travail), une Commission de déontologie (assurant la gestion permanente des questions déontologiques et vérifiant si les obligations légales sont remplies par le personnel, les collaborateurs occasionnels ou les cocontractants), une personne faisant office de Médiateur, un mandat de trois ans, renouvelable une seule fois, pour les Directeurs généraux des agences. Il impose des déclarations publiques d’intérêt clarifiées. Il propose un renforcement de la transparence.
En phase avec le projet de loi adopté en Conseil des ministres du 1er août 2011 pour la nouvelle agence de sécurité du médicament (et qui s'appelerait l'ANSM, sigle très proche de l’ANESM), le contenu du rapport Bur est important, mais pas forcément décisif. Concernant l’ANESM (c’est encore pire concernant l’ANAP), ses appréciations sont très lapidaires, sans réelle démarche d’analyse (pas d’étude de la production, des spécificités de son fonctionnement, seuls le directeur et la responsable de la communication de l’ANESM ont été interviewés). Bref, je trouve que le propos est léger, à la limite du méprisant à l’égard des différents sous-ensembles de l’action sociale, et je défendrais ici la spécificité de l’ANESM, non perçue par Yves Bur. Par contre, son rapport est nettement plus pertinent concernant les règles de fonctionnement des agences : de ce point de vue, l’ANESM devrait progresser (commission de déontologie, médiateur, mandat limité du directeur, déclarations publiques d’intérêts des professionnels et collaborateurs occasionnels, transparence).
En réalité, l’ANESM a une position à la fois fragile (désir de rationalisation et simplification des agences, prédominance du médico-social) et solide (appui indéniable de la DGCS, y compris pour produire des exigences opposables). Le dernier épisode montrant cette position date du 13 juillet 2011 : la DGCS a présenté au CNOSS (comité national d'organisation sanitaire et sociale, lui même fortement mis en cause, en avril 2011 par les organismes gestionnaires du secteur sanitaire, social et médico-social) un projet de décret.
Celui-ci concerne la prise en compte de la certification dans les évaluations externes des ESSMS (voir mon dernier billet sur le sujet en cliquant ici). Comme prévu, les ESSMS qui auront bénéficié d’une certification pourront voir les évaluations externes allégées, mais pas supprimées et toujours réalisées par un autre organisme que le certificateur. Il existera une condition : la reconnaissance du référentiel de certification utilisé par l’opérateur de la certification … et précisément cette mission sera largement confiée à l’ANESM, comme le montre le schéma présenté au CNOSS.
Ma suggestion concernant l’ANESM
Le lecteur a pu noter que l’ANESM semble très intéressée, pour les rapports d’évaluation externe, par l’utilisation d’une matrice sur le modèle assez connu dénommé SWOT : en fait il s’agit d’un modèle, largement utilisé dans les entreprises depuis 30 ans, pour élaborer, après un diagnostic, leur positionnement dans un univers concurrentiel… SWOT veut dire Strengths, Weaknesses, Opportunities, Threats, soit en français : Atouts, Faiblesses, Opportunités, Menaces. Les deux premiers termes concernent un diagnostic interne (points forts/points faibles en quelque sorte) et les analystes des entreprises (selon l’auteur bien connu Michael Porter : L’avantage concurrentiel, 2003, Dunod) utilisent, pour le réaliser, un outil nommé « chaine de valeur ». Les deux autres termes (opportunités – menaces) concernent un diagnostic externe et les analystes des entreprises utilisent souvent, pour le réaliser, un modèle (du même Porter) de 1979 organisé autour de l’étude des conséquences, sur la structure concernée, de 5 types de forces: le pouvoir de négociation des clients, la menace d'entrants potentiels, le pouvoir de négociation des fournisseurs, la menace des produits de substitution, l'intensité de la concurrence intra-sectorielle.
Ce modèle me semble pour partie peu adapté pour les évaluations externes des ESSMS (en particulier, de nombreux items du diagnostic externe ne font pas partie des contenus travaillés selon le décret du 15 mai 2007) : j’attends avec impatience (et peu d’illusions) le résultat des tests en cours.
En revanche, je trouve qu’il serait particulièrement intéressant de l’utiliser à propos de l’ANESM. Une piste de réflexion pour l’avenir ?
Daniel GACOIN
Abonnez vous à ce blog
bonjour
après une nouvelle lecture de votre article, notamment sur le passage sur les conflits d'intérêt, et en consultant la liste des habilitations on peut s'interroger sur la raison de la FNADEPA d'avoir demandé une habilitation.
dans mon département, un directeur d'EHPAD est aussi habilité....
cela me laisse songeur...
Rédigé par : laurent giroux | 04 septembre 2011 à 14:28
Dans cet article vous dites "Le lecteur a pu noter que l’ANESM semble très intéressée, pour les rapports d’évaluation externe, par l’utilisation d’une matrice sur le modèle assez connu dénommé SWOT"
il vous semble que cette matrice n'est pas adaptée. Mais existe t il un tel outil ?
Rédigé par : laurent giroux | 04 septembre 2011 à 18:11
Le swot est utile pour réaliser une analyse stratégique et non une évaluation.
Rédigé par : gerard Ricaux | 24 octobre 2011 à 17:20