Daniel Gacoin

Évolutions de l’ANESM : fin de la polémique ?

 

Vous avez pu lire la semaine dernière un billet sur ce blog, et un autre sur celui de Laurent Barbe, interrogeant (fortement, disons même avec une certaine acidité) les futures modalités de contrôle des cabinets habilités pour les évaluations externes dans les établissements et services sociaux et médico-sociaux (ESSMS). Ces billets faisaient suite à la diffusion, par des fédérations représentées au Conseil d’administration de l’ANESM, d’un compte rendu ou de ce qui pouvait apparaître comme tel, de la réunion de ce conseil, le 9 décembre 2010.

Sur les questions ainsi posées, Didier Charlanne, le directeur de l’ANESM, a donné des réponses lors d’une conférence de presse de rentrée, programmée depuis longtemps, et consacrée aux axes de travail 2011 de l’agence. Il me semble honnête de présenter les clarifications qu’il a souhaité apporter, d’autant qu’il a pris la peine de me les confirmer personnellement.

 

Petit rappel (résumé) pour comprendre la polémique ouverte sur ce blog ou celui de Laurent Barbe 

> 652 organismes évaluateurs ont été habilités par l’ANESM pour procéder à l’évaluation externe des établissements et services sociaux et médico-sociaux (ESSMS), évaluation qui a un caractère décisif pour le renouvellement de l’autorisation de ces ESSMS. L’habilitation des organismes évaluateurs est une autorisation pour l’activité, non une attestation de compétence ou de qualité, qui a été acquise à travers une démarche sans sélection, du fait de l’application stricte de la « directive Services » de l’Union Européenne (liberté d’activité).

> Dans le prolongement, l’ANESM est chargée de suivre a posteriori l’activité des cabinets habilités, et notamment leur respect du cahier des charges pour l’évaluation externe (défini par le décret du 15 mai 2007).

> Telles qu’apparaissaient les modalités de ce suivi / contrôle dans le document diffusé par des fédérations, il s’agissait, semblait-il, d’entrer dans une investigation basée sur un contrôle des organismes (leur qualité, leur fonctionnement) plus que sur le seul respect du cahier des charges (décret de mai 2007) pour chaque mission.

> Il y était également question d’une visite sur site, auprès d’un échantillon de cabinets dits « à risque », avec vérification de la conformité à un modèle d’organisation, vérification des ressources et de l’absence de conflit d’intérêt financier, matériel ou moral du cabinet et de ses collaborateurs, vérification de la qualité des méthodes et programmes d’évaluation, vérification de la confidentialité des données. La visite y était décrite avec des modalités (questionnements, pièces et informations à produire, etc.) et un prolongement : la production d’un rapport disponible aux ESSMS qui en feraient la demande.

> Au-delà de ce document, le site de l’ANESM présentait un profil de fonction et de compétences, pour les futurs contrôleurs des organismes, qui interrogeait : absence de connaissance du secteur ni des techniques évaluatives, formation supérieure hors action publique ou sociale, mais juridique, comptable ou financière, expérience en audit d’entités ayant des titres cotés dans les établissements de crédit, dans les entreprises régies par le code des assurances ou au sein du Haut Conseil du Commissariat aux comptes qui serait fortement appréciée, etc.

> J’interrogeais donc, la semaine dernière, ce qui me semblait être un grave dérapage : finalités, contenus et méthodes du contrôle que j’estimais, dans leur description, totalement décalées, profil de compétences des contrôleurs inadapté, et même inquiétant, position de l’ANESM allant au-delà de l’esprit du législateur.

> Mon petit billet et celui de Laurent Barbe ont été largement lus et commentés, et ont créé une certaine agitation.

 

Les rectificatifs de Didier Charlanne

Tout à fait officiellement, le directeur de l’ANESM a donc tenu à contredire la qualité des documents qui ont été diffusés. Je cite les propos qu’il m’a tenus ou qu’il a évoqués dans sa conférence de presse (repris notamment dans TSA Actualités du 26 janvier 2011) :

> « Ce que Daniel Gacoin a appelé « un compte-rendu du Conseil d’administration », diffusé par des membres du CA, n’était pas un document définitif, mais un document préparatoire au CA, qui a subi des évolutions ultérieures ».

> « L’annexe de ce document de travail préparatoire présentant les modalités concrètes du contrôle était une base maximaliste, présentée au CA, avant ajustement définitif. Il s’agissait de lui présenter un exemple d’une modalité extrême des contrôles qui pourraient être pensés de façon à lui permettre de délibérer ».

> « Le profil des contrôleurs avec expérience de l’inspection, ou de l’audit pour organismes ayant des titres cotés dans les établissements de crédit ou régis par le code des assurances, ou au sein du Haut Conseil du Commissariat aux comptes vise essentiellement 1 des 3 futurs contrôleurs (avec expérience de la recherche des conflits d’intérêt). Les 2 autres contrôleurs  auront l’un une forte compétence juridique, l’autre une mission d’appui aux ARS ».

> « Le contrôle dont il est question se fera d’abord au vu du rapport d’activité de ces organismes habilités, puis d’un questionnement éventuel au vu de ce qui interroge dans ce rapport, en termes de respect du cahier des charges. Il n’est donc pas prévu de visite sur site ».

> « La synthèse / grille de lecture des rapports d’évaluation est en cours d’élaboration et doit faire l’objet d’un test. Ce document et le guide qui l’accompagnent, dédiés à l'évaluation externe, permettront aux autorités de contrôle de se référer à une grille uniformisée des rapports d'évaluations externes, qui a vocation à devenir opposable (à prévoir donc, un possible décret sur cette grille et des outils) ».

> « L’ANESM envisage de mettre en place une "plate-forme" à destination de toutes les autorités en charge du renouvellement des autorisations (comprenant entre autres une "foire aux questions") et des organismes habilités, proposant des repères et des outils ».

> « L’ANESM est en train de retirer des habilitations à des organismes (5) qui n’ont pas respecté leur obligation de transmission de leur rapport d’activité à l’Agence, ou qui présentent des modalités qui interrogent : pas de facturation (la contrepartie dans ce cas ?), faible nombre de jours d’intervention (deux jours seulement), coût semblable pour des évaluations réalisées dans plusieurs ESSMS avec un nombre de jours d’intervention très différents… ».*

 

Mes réflexions

Par principe, je n’ai pas de raison de mettre en doute une expression aussi affirmée. Pour Monsieur Charlanne, il s‘agit de rectifier des erreurs de compréhension, pour d’autres, il s’agira d’un retour en arrière sur certains points qui ont fortement interrogé (unique profil de poste de tous les contrôleurs par exemple), pour les derniers, les précisions confirmeront les craintes suscitées par la lecture de nos premières réactions.

Depuis mon billet de la semaine dernière, j’ai reçu deux types d’expression de la part de mes collègues de cabinets habilités pour des évaluations externes : ceux qui interrogeaient le sens des contrôles et plus globalement l’évolution des repères concernant l’évaluation à la lumière de ce que je révélais, ceux qui en profitaient pour mettre en cause le principe même des contrôles. J’ai été très ennuyé par ces derniers : il me semble en effet impossible de m’associer à des réactions indignées de cabinets qui, d’un côté assument leur position d’experts pouvant apprécier la pertinence et l’efficience des activités et des prestations d’une structure (avec la sanction éventuelle que cela peut entraîner), et de l’autre, poussent des cris d’orfraie dès qu’il s’agit d’être contrôlé. Les mêmes assènent parfois avec certitude des méthodes problématiques : un référentiel immuable, à peine personnalisé, des arrangements avec la réglementation, etc.

Sur le fond, je prends acte des propos de Monsieur Charlanne et de son idée d’une concertation sur la synthèse / grille de lecture des rapports d’évaluation. Cette concertation est en effet nécessaire pour éviter des dérives vers des repères qui seraient, à terme, opposables. J’y serai disponible, pensant que c’est le moment d’être constructif, ce qui n’empêche pas de continuer à interroger le sens des évolutions : ce sens me semble en effet une avancée vers une « super autorité » devenant à terme une « haute autorité », avec des cadres n’ayant qu’une très faible connaissance des réalités de terrain dans les ESSMS et de l’évaluation, davantage tournés vers le contrôle, d’une conformité essentiellement, plutôt que vers la promotion d’un esprit évaluatif.

Je suis par ailleurs frappé par le nombre de retraits d’habilitation déjà décidés ou en cours d’étude : près de 10. Si je pars du chiffre de 210 évaluations externes réalisées ou en cours, à fin décembre 2010 **, cela fait un pourcentage immédiat assez conséquent (près de 5 %). On peut imaginer des retraits beaucoup plus nombreux à terme : surtout si le même pourcentage est appliqué aux 24 219 évaluations externes à réaliser avant le 31 décembre 2014 (il s’agit des 24 219 ESSMS autorisés et ouverts avant le 2 janvier 2002)… Et je me demande alors comme seront gérées, à terme, ces situations : si une habilitation est retirée, quelle validité sera accordée au rapport d’évaluation externe concerné ? L’ESSMS devra-t-il recommander (et payer sur son budget) une nouvelle évaluation externe ?

Deux éléments sont encore à clarifier :

> L’objet de l’évaluation : Monsieur Charlanne parle (ou les journalistes ont enregistré) de l’examen de la qualité des prestations. Pour ce qui me concerne, je n’oublie pas la pertinence et l’efficience des activités.

> L’objet du contrôle : je reste centré sur l’idée que le décret dit tous les éléments à vérifier, mission par mission ; il définit en effet l’objet, les impératifs de contenus, la méthodologie, les compétences des évaluateurs (dont la nécessaire expérience professionnelle). Rien que sur ces thèmes, les écarts vont être très importants. Par exemple : je connais de nombreux cabinets qui n’ont pas d’évaluateurs ayant une expérience professionnelle du secteur et qui vont pourtant contractualiser des évaluations. Pour ma part, je pense qu’il conviendra d’être très strict : un non-respect du décret, rien que ce non-respect, devrait valoir un retrait systématique.

Enfin dernier élément, le secteur médico-social (personnes âgées, handicap) revient en permanence dans les propos (références scientifiques médicales, ARS, etc.). Je souhaite qu’on n’oublie pas le secteur social, quitte à prévoir des modalités spécifiques…

Daniel GACOIN

* L’article numérique paru sur le site des ASH, le 25 janvier 2011, sur la conférence du Monsieur Charlanne, fait état d’autres situations problématiques de conflit d’intérêt, qui sont interrogées par l’ANESM chez certains cabinets : présences, parmi leurs équipes d'évaluateurs, de membres de fédérations d'établissements auxquelles adhèrent les ESSMS concernés par l’évaluation réalisée.

** Le même article sur le site des ASH, le 25 janvier 2011, cite ce chiffre de 210 missions, évoqué par Monsieur Charlanne.

Existe-t-il un scandale des « faisant fonction » dans les établissements et services sociaux et médico-sociaux ? L’apport de l’ONES

Après le coup de pied du dernier rapport du contrôleur général des lieux de privation de liberté, consacré aux Centres Éducatifs Fermés (CEF), l’Organisation Nationale des Éducateurs Spécialisés (ONES) enfonce le clou : l’emploi d’éducateurs « faisant fonction » est loin d’être circonscrit aux CEF et touche, selon elle, l’ensemble des établissements et services sociaux et médico-sociaux (ESSMS), tous secteurs d’activités confondus.

 

Le contexte

Dans les ESSMS, des emplois éducatifs sont prévus pour l’action socio-éducative d’enfants, adolescents ou adultes, voire pour des familles, dans le cadre de missions reliées à la protection de l’enfance, ou la protection judiciaire de la jeunesse, la réinsertion sociale, l’accompagnement du handicap, etc. Seuls les établissements et services pour personnes âgées ne sont pas concernés. Les emplois éducatifs, une des branches historiques du Travail social, concernent des éducateurs spécialisés, des moniteurs éducateurs, des éducateurs sportifs, des éducateurs techniques spécialisés, des éducateurs de jeunes enfants… Depuis de nombreuses années (le phénomène a toujours existé a minima), sembleraient se développer non seulement des métiers atypiques et complémentaires (chargé d’insertion, médiateur, agent de développement), mais également l’emploi de personnes ne disposant pas des diplômes de référence pour assurer des fonctions éducatives.

Le rapport du contrôleur général des lieux de privation de liberté sur les CEF (lieux d’accompagnement avec contrainte pour mineurs délinquants, avec un encadrement spécialisé et important en nombre et discipline) avait été, en décembre 2010, particulièrement incisif : «  des équipes (…) constituées d’éducateurs « faisant fonction », parfois sans compétences particulières, peu ou pas formés à l’encadrement des mineurs (…) »  ayant un « (…)  recours abusif, voire usuel, au moyen de contrainte physique, laquelle est parfois érigée, dans les équipes les moins qualifiées, au rang de pratique éducative(…) ».

 

L’enquête ONES

L’ONES a procédé depuis mai 2010 à un recueil d’informations par l’intermédiaire de son site auprès de professionnels de terrain : il est précisé dans l’enquête publiée par l’ONES que ces répondants sont composés « de 59% Éducateurs spécialisés ou Assistants de service social diplômés, et de 13 % stagiaires en travail social dans le cadre d’une formation professionnelle préparant à un diplôme de niveau III », le reste des répondants n’est pas précisé. Parmi les caractéristiques des répondants :

- Leur secteur d’activité : 29 % en protection de l'enfance (MECS, AEMO, Foyer éducatif, prévention spécialisée..), 39% dans le secteur du handicap (IMP, IMPro, SESSAD, MAS, SAVS....), 19% dans le secteur social ou d’autres structures du médico-social (CHRS, CHU, CADA, CCAA…),13% dans un autre secteur.

 - Leur structure de travail : 77% du secteur privé associatif, 23 % du secteur public, 66% des répondants appartiennent à une équipe constituée de moins de 10 personnes.

 

Les constats de l’enquête ONES 

Pour 59 % des répondants, les équipes comprendraient 1 à 6 personnes non diplômées en travail social (ES, AS, CESF) faisant « fonction éducative » ou « socio-éducative ». 50% des personnels de certaines équipes éducatives n'auraient aucune formation ni diplôme en travail social. Dans certains foyers éducatifs, 28% seulement de l'équipe est titulaire d'un diplôme d'État (2 personnes sur 7) les autres étant sans qualification. Les répondants indiquent alors des formes de « tutorats formatifs », des diplômés en direction des non diplômés. Ces mécanismes induiraient, selon l’ONES, « entre les acteurs plus de surveillance et de contrôle, méfiance, étouffant leur autonomie et leurs capacités d’initiative ».

67% des répondants rapportent qu’il est d’usage que le personnel non diplômé « faisant fonction » sur des postes éducatifs ou socio-éducatifs se présente aux usagers, aux parents, et partenaires en tant qu'« éducateur ». Rapports, projets éducatifs, courriers, contrats éducatifs ou d’hébergement, peuvent être annotés de la mention « éducateurs » ou « éducateurs spécialisés » sans que le signataire soit titulaire d’un diplôme. Selon l’ONES, ce mésusage porterait « de facto atteinte au respect du consentement libre et éclairé des personnes. En effet, l’usager ou son représentant légal, ne peuvent consentir de façon libre et éclairée à la prise en charge qu'à condition que les informations qui leur sont fournies soient justes, notamment en matière de qualification et de compétences des personnels chargés de leur accompagnement ». 

Les répondants indiqueraient en grand nombre, « l’appauvrissement de la réflexion et des pratiques, le manque de prise de recul et la difficulté à impulser et renouveler des projets » qui renforceraient « une perte de sens du travail qui contribue au départ des professionnels diplômés, plus anciens ou nouvellement arrivés sur l’équipe ». Selon l’ONES, « placer des personnes en situation de faire fonction éducative dans des  situations d'expériences relationnelles particulièrement difficiles en leur demandant d'y voir clair, c'est leur demander de décrypter des signes ténus sans qu'ils détiennent ou qu'ils soient en mesure de construire les instruments susceptibles de décodages adéquats ». « Trop souvent, les signes d'anxiété, de détresse, de mal-être des usagers sont interprétés comme autant de défiance de l'autorité ou de mises à l'épreuve des règles ». « L'absence de qualification des personnels a pour conséquence de faire courir le risque aux usagers d'une éviction des dispositifs censés leur venir en aide ».

Le travail de nuit serait couvert de façon quasi totale par les « faisant fonction ». La tendance à recourir à des « veilleurs » pour couvrir cette activité, sans identification du niveau de prévalence de cette systématisation serait donc forte. Or ces personnels sont le plus souvent sans qualification, étudiants ou salariés de sociétés privées à but lucratif.

 

Les positions de l’ONES dans le prolongement de cette enquête

D’une part l’ONES dénonce « l’embauche de personnels sous-qualifiés qui conduit a une déqualification des équipes socio-éducatives et à l’embauche de personnels non diplômés et non qualifiés sur des postes requérant pourtant une qualification », l’ensemble de ces éléments portant « directement atteinte à la qualité des prestations proposées tant dans le secteur public que privé ».

D’autre part elle demande que :

> « les critères d'évaluation externe et interne des établissements et services  sociaux et médico-sociaux comportent un volet explicite et obligatoire concernant la qualification réelle du personnel ainsi que les écarts constatés avec le projet d’établissement »,

> « les « faisant fonction » éducative soient quantifiés de façon nationale, secteur par secteur et que le phénomène soit évalué qualitativement »,

> « la fonction de   « faisant fonction » éducative soit interdite en tant que telle »,

> « les personnels concernés bénéficient d’un véritable accompagnement pour entrer en formation »,

> « une évolution de la législation » intervienne « pour protéger les usagers des mésusages de la qualité d'éducateur spécialisé » en protégeant le titre professionnel, afin d’éviter une déqualification des personnels recrutés comme « faire fonction ».

Des remarques

L’enquête ONES comporte, me semble t-il, des failles : une compilation de réponses provenant d’un échantillon non représentatif, exprimant un point de vue qui a pu être grossi, un nombre total de réponses qui n’est pas mentionné, des approximations. C’est bien normal, puisqu’il ne s’agit pas d’une étude statistique. Elle révèle néanmoins une situation bien réelle, quoique bien différente selon les régions et surtout le type d’ESSMS : pour ma part je constate des situations positives dans de nombreux secteurs, et des situations très dégradées dans certaines zones (dont la région parisienne), pour des types d’établissement (l’internat en protection de l’enfance, protection judiciaire et l’inclusion sociale semblant les structures les plus à risque) et des types de situation (certains établissements étant véritablement à risque : management inadapté, structuration interne délicate, absence de référence et d’évaluation réelle).

Il me semble assez juste de travailler à un outil statistique permettant de mesurer cette situation : en réalité, il existe déjà (les indicateurs socio-économiques remis chaque année) même s’il reste à parfaire. Je plaide d’ailleurs pour une publication systématique de ces données par les autorités de contrôle.

J’aime l’idée d’introduire, dans les indicateurs d’évaluation interne ou externe, des éléments précis sur cet usage des « faisant fonction » et des éventuelles utilisations abusives de titre dans les documents administratifs décisifs pour les usagers.

Merci donc à l’ONES de cette étude… qui reste à prolonger.

Daniel GACOIN

Des obligations toujours plus précises en évaluation des établissements et services sociaux et médico-sociaux : cela se simplifie ? Cela se complique ? (2)

 

Les derniers développements pour l’évaluation viennent aujourd’hui de l’ANESM. Globalement cette instance est en train de construire une autorité dont la légitimité interroge…

   Au-delà de l’élaboration des procédures, références et recommandations de bonnes pratiques professionnelles, il a été confié à cette Agence la mission d’habiliter les organismes extérieurs qui procèdent à l'évaluation externe des activités et de la qualité des prestations des établissements et services visés à l’article L.312-1 du CASF : « Il habilite les organismes extérieurs qui procèdent à l’évaluation externe des activités et de la qualité des prestations des établissements susvisés et en dresse la liste », indique l’arrêté d’approbation de la convention constitutive de l’ANESM.

L’ANESM précise dans ses rapports d’activité que « les organismes habilités ayant pris un certain nombre d’engagements en matière d’indépendance et étant soumis au respect du cahier des charges des missions d’évaluations externes qui a été fixé par décret, il conviendra pour l’Agence d’en assurer le contrôle dès 2010 ». Je suis, sur le fond, très favorable à ce contrôle, ayant déploré des habilitations sans exigence de références ou compétences en évaluation et en action sociale et médico-sociale chez les candidats, d’où le nombre actuel d’organismes habilités (652 !). Il me semble plus que nécessaire d’évaluer et de contrôler les évaluateurs, à condition de savoir sur quoi…

 

Précisément sur ce thème, l’ANESM est en train d’avancer : le compte-rendu de son Conseil d’Administration du 9 décembre 2010 a été diffusé par deux fédérations y participant. Il indique que :

« L’ANESM doit suivre la mise en œuvre de l’évaluation externe par un contrôle des organismes habilités en s’appuyant sur les rapports d’activités que doivent lui transmettre ces organismes. L’Agence renseignera ainsi les agences régionales de santé, de l’avancement des établissements et services dans le respect de leurs obligations de faire procéder à l’évaluation externe de leurs activités en vue du renouvellement de leurs autorisations. Le traitement de ces rapports d’activité qui a fait l’objet d’une décision du directeur diffusée à l’ensemble de ces organismes habilités, se poursuivra en 2011.

Au-delà de ce suivi, les rapports d’activité renseignent l’Agence sur les prix facturés, les compositions des équipes mobilisées pour chaque mandat. Elle utilisera ces éléments d’une part pour assurer une communication aux établissements et services sur le coût des missions d’évaluation externe, et d’autre part pour cibler les contrôles d’organismes habilités.(…)

Il est proposé au Conseil de retenir comme cible les organismes habilités et non les missions d’évaluation, ceci en ciblant en priorité les organismes d’une part qui réalisent plusieurs missions, d’autre par qui présentent des risques (composition des équipes, liens avec les établissements, prix facturés) à la lecture de leur rapport d’activité.

Le contrôle se réaliserait à deux niveaux :

- Un contrôle des rapports d’évaluation externe, par les autorités de contrôle et de tarification grâce à l’utilisation d’une synthèse type élaborée par l’Agence en 2010.

- Un contrôle des organismes et de leur organisation pour respecter les critères d’indépendance et les dispositions du cahier des charges fixé par le décret 975/2007 (équivalent à un audit qualité) ».

 

Une note de présentation de la fonction de contrôle est jointe en annexe de ce compte-rendu. Je cite d’abord les exigences demandées aux organismes et sur lesquelles ils seront contrôlés :

- Les organismes doivent présenter des garanties et modalités de fonctionnement : indépendance professionnelle et scientifique, garantie de neutralité des programmes d’évaluation des pratiques professionnelles proposés au regard des liens et intérêt économiques, financiers ou commerciaux qu’il entretient, une gouvernance scientifique, une gouvernance professionnelle, une conception des programmes d’évaluation, une évaluation des programmes d’évaluation

- Ils doivent présenter l’origine et la nature des ressources et des liens de l’organisme et de ses collaborateurs, avec une garantie d’absence d’intérêt matériel, financier ou simplement moral,

- Ils doivent offrir des garanties de transparence du financement de la conception et de la mise en œuvre des programmes d’évaluation

- Ils doivent effectuer et justifier l’analyse et la qualité scientifique et médicale des références, des données utilisées pour concevoir les programmes et les méthodes proposées,

- Ils doivent satisfaire aux caractéristiques des programmes d’évaluation définies par le décret 975/2007

- Ils doivent enfin présenter des garanties de confidentialité des données individuelles et plus globalement des données collectées.

 

Les données de la visite de contrôle sont également décrites, avec réception des contrôleurs ANESM sur le site de l’organisme et abord des questions suivantes :

- Justification des choix méthodologiques et de la documentation,

- Regard sur la mise en œuvre de la politique de prévention des risques de conflits d’intérêts,

- Étude du nombre et qualité des collaborateurs engagés dans les évaluations,

- Éléments attestant de la prise en compte suffisante des contraintes d’exhaustivité réglementaire, d’acceptabilité et de faisabilité des programmes,

- Les caractéristiques des recommandations utilisées,

- Les données de l’exercice social et médical sur lesquelles portent l’évaluation,

- Les modalités de recueil de données,

- Les modalités de suivi des démarches entreprises permettant d’apprécier leur impact sur les pratiques.

 

Il est enfin indiqué que les conclusions de la visite donnent lieu à une procédure contradictoire, et peuvent être mises à disposition des ESSMS qui en formuleraient la demande.

 

Cerise sur le gâteau (on se réfèrera au récent article de Laurent Barbe sur son blog)… les qualités demandées par l’ANESM pour les 3 contrôleurs des évaluateurs qu’elle est en train de recruter (à voir sur le site de l’ANESM) sont totalement décalées. Je cite le contenu :

- Des fonctions : analyser l’organisation et les procédures des organismes concernés, tester l’effectivité et l’efficacité des procédures mises en place par les organismes, vérifier la correcte exécution de la mission légale par les signataires sur une sélection de mandats (normes d’exercice, déontologie, indépendance, principes méthodologiques, prise en compte des recommandations de l’Anesm, etc.), rédiger et instruire les rapports de contrôle sur les organismes

- Un profil : une formation juridique, comptable ou financière, voire IEP, EHESP, grandes écoles ou masters 2 (audit, qualité, stratégie...), une expérience/expertise de l’audit acquis en cabinet ou du contrôle en corps d’inspection, un esprit critique élevé

- Des compétences requises : une expérience acquise dans l’audit d’entités ayant des titres cotés dans les établissements de crédit, dans les entreprises régies par le code des assurances ou au sein du Haut Conseil du Commissariat aux comptes appréciée, une expérience en tant qu’inspecteur des services de l’Etat (IAS, DDCCRF...) constituant un plus.

 

Je dois dire à la lecture de tous ces éléments, que j’ai eu un sentiment d’hallucination : mais d’où est venu tout cela ? Comment expliquer l’absence de réactions au sein du CA de l’Agence ? Comment ont été prises toutes ses décisions et avec quels avis de son Conseil scientifique qui se trouve dans un entre deux, en attente de son renouvellement ? Pour mémoire, la loi (non un simple décret) dit bien que l’Agence « prend ses décisions après avis d'un conseil scientifique indépendant »…

 

Pour quelqu’un qui, comme moi, plaide pour un contrôle strict des organismes évaluateurs habilités, un triple sentiment s’impose :

> Nous sommes devant des critères totalement inadaptés de contrôle des organismes habilités : du nécessaire regard sur le respect du cahier des charges dans les missions, on est passé au choix d’un contrôle plus complet des organismes avec une modélisation absurde (gouvernance scientifique, etc.). Je suis même interrogé par l’absence de lisibilité des critères : par exemple une synthèse type pour les rapports d’évaluation aurait été fournie aux autorités de contrôle et de tarification en 2010, et ne serait pas connue, comme règle du jeu, par les organismes habilités…

> Nous allons être devant des contrôleurs dont les compétences, certes très hautes, ne sont pas en phase avec les missions, dépassant de très loin ce qui est nécessaire : l’interrogation des garanties d’indépendance et de respect du cahier des charges. Ces compétences sont même susceptibles de dénaturer l’esprit et la lettre de ce dernier : par exemple, une expérience d’audits d’entités ayant des titres cotés en établissements de crédit, dans des entreprises régies par le code des assurances, au sein du Haut Conseil du Commissariat aux comptes !! Attention, je ne dis pas qu’il n’est pas nécessaire d’avoir un contrôleur des comptes, spécialiste notamment de la recherche des conflits d’intérêt.

> Nous sommes devant une Agence qui surjoue un rôle, dépasse les contenus réglementaires des contrôles, avec une surenchère problématique : faible clarté des critères et supports, faible appui sur des réflexions méthodologiques et scientifiques partagées au sein de ses instances, accessoirement avec les opérateurs, avancée à grands pas vers une pseudo réglementation dépassant, voire transformant  l’esprit du législateur.

 

Bref ! L’affaire dérape, se complique, l’ANESM brouille tout (y compris ses propres énoncés), semble peu contrôlée par la DGCS. Je ne suis pas sûr que cela serve la cause de l’évaluation.

Daniel GACOIN

 

PS : j’ai évidemment conscience que mon positionnement critique, même si, au fond, je veux promouvoir des évaluations et contrôles (intelligents !) et soutient la mission de l’ANESM, me met inévitablement au premier rang des organismes habilités et considérés comme « à risque », donc rapidement contrôlés. Je suis tranquille…

Des obligations toujours plus précises en évaluation des établissements et services sociaux et médico-sociaux : cela se simplifie ? Cela se complique ? (1)

 

Depuis plus de 5 ans, je tente d’apporter ici des nouvelles régulières de la mise en place et des repères réglementaires de l’évaluation dans les établissements et les services sociaux et médico-sociaux (ESSMS), rendue obligatoire depuis 2002. Un véritable feuilleton s ’est déroulé depuis 2002, avec une accélération des épisodes depuis 2007 :

> La confirmation de l’obligation globale : elle a été imposée par la loi initiale de 2002, interrogée un temps, puis réaffirmée par la loi du 21 juillet 2009, l’article L.312-8 du Code de l’Action sociale et des familles (CASF), demandant que, par période d’autorisation de 15 ans, chaque ESSMS réalise des évaluations internes régulières avec transmission des résultats aux autorités tous les 5 ans, et fasse procéder à 2 évaluations externes par un organisme habilité, une au plus tard sept ans après l’autorisation, l’autre au plus tard deux ans avant le renouvellement de l’autorisation.

> La clarification de l’objet et des contenus des évaluations : jusqu’en 2006, les méthodes préconisées se rapprochaient d’un regard sur la conformité des pratiques à un référentiel, comme dans des démarches qualité. Puis après le décret du 15 mai 2007 (sur l’évaluation externe) et les textes de l’ANESM de 2008 et 2009 (sur l’évaluation interne), a été affirmé, réaffirmé, martelé même, que l’évaluation regarde la pertinence, la cohérence et surtout l’efficience des actions, en étant centrée sur l’interrogation de l’atteinte des objectifs, et des effets et impacts des actions plutôt que sur l’effectivité de ces actions.

> La confirmation d’un calendrier de première réalisation des évaluations : les dates butoirs des premières évaluations ont été annoncées, puis reculées, et finalement, ce n’est qu’en 2009 qu’il a été établi que les établissements autorisés et créés avant le 21 juillet 2009, n’ont à réaliser qu’une évaluation interne et une évaluation externe pour la première période d’autorisation. Plus précisément, ce sont les établissements les plus anciens (autorisés et ouverts avant le 2 janvier 2002) qui ont la date butoir la plus proche : celle du 1^er janvier 2014 pour la première évaluation interne et celle du 1^er janvier 2015 pour la première évaluation externe.

> La confirmation des exceptions à ce calendrier pour certains ESSMS (la dernière nouvelle en date du 3 novembre 2010 avec un décret de la DGAS) :

- pour les établissements et services mettant en oeuvre des mesures éducatives ordonnées par l'autorité judiciaire (ordonnance du 2 février 1945 pour l’enfance délinquante, ou mesures d’investigation ou d’assistance éducative pour des mineurs et jeunes majeurs en situation de danger – protection de l’enfance), la première évaluation interne se réalisera au plus tard le 23 juillet 2014 (cinq ans après la promulgation de la loi n° 2009-879 du 21 juillet 2009 dite HPST).

- pour les établissements et services assurant l'accueil et l'accompagnement de personnes confrontées à des difficultés spécifiques en vue de favoriser l'adaptation à la vie active et l'aide à l'insertion sociale et professionnelle ou d'assurer des prestations de soins et de suivi médical, dont les centres de soins, d'accompagnement et de prévention en addictologie, les centres d'accueil et d'accompagnement à la réduction des risques pour usagers de drogue, les structures dénommées " lits halte soins santé " et les appartements de coordination thérapeutique, la réalisation de l’évaluation interne interviendra  au plus tard deux ans après la date du renouvellement de leur autorisation.

 

Des précisions non encore prises en compte par tous…

L’idée que les évaluations soient centrées sur l’interrogation des effets et impacts des actions, sur l’atteinte des objectifs, est encore loin d’avoir été intégrée par tous. Même si le décret du 15 mars 2007, et l’ANESM dans ses recommandations, étaient explicites sur ce point, de nombreux opérateurs (notamment parmi les évaluateurs externes) continuent à parler de méthodes de type démarches qualité.

C’est assez étonnant : j’ai encore vu, dans un programme actuel de formation sur l’évaluation interne d’une URIOPSS, qu’était ignoré le principe ajusté de toute évaluation (interrogation de l’atteinte des objectifs, des effets et impacts des actions), au profit d’une liste de 4 domaines examinés sous l’angle de l’effectivité et de la conformité à des engagements de pratiques. Comble, dans ce programme est fait référence à des domaines correspondant à des recommandations ANESM, alors que les contenus présentés se rapportent uniquement au guide du CNESMS de 2006 !

De même, pendant des débats internes à l’ANESM sur la recommandation pour l’évaluation interne dans les EHPAD, certaines fédérations très présentes dans les maisons de retraite mettent en place un travail de sape énorme pour contrer toute avancée vers l’examen de l’efficience.

 

… des compléments réglementaires qui manquent…

Pour compliquer le tout, la DGCS devait publier, selon la loi du 21 juillet 2009, un décret indiquant comment, à compter du 1^er janvier 2011, « les conditions dans lesquelles une certification peut être prise en compte dans le cadre de l'évaluation externe » (pour les structures concernées). Il n’est toujours pas paru : incroyable ! J’espère que ce vide sera vite comblé, avec une clarification comportant, je le souhaite, le rappel que des cabinets accompagnant des certifications dans des établissements ou services ne sauraient être évaluateurs externes de ceux-ci. Si tel n’était pas le cas, nous serions devant des contradictions flagrantes et inquiétantes.

 

… ou qui interrogent…

Concernant les structures mettant en œuvre des mesures éducatives ordonnées par l'autorité judiciaire, j’indiquais dans un billet du 25 novembre 2010 que des  indiscrétions diffusaient une perspective poussée par des responsables à la Direction de la Protection judiciaire de la jeunesse (DPJJ) : ces structures n’étant pas soumises à une procédure de renouvellement de leur autorisation, elles n’auraient pas d’obligation d’évaluation externe, cette disposition pouvant même à terme concerner les établissements et services ASE / PJJ. Depuis cette date, une circulaire de la DPJJ du 2 décembre 2010 (surtout consacrée aux appels à projets) est venue illustrer, en la limitant, cette perspective étonnante. Pour les établissements et services PJJ (du secteur public ou du secteur associatif habilité), les obligations seraient donc :

- Une évaluation interne tous les 5 ans,

- Une seule évaluation externe dans les 7 ans suivant leur autorisation.

L’ensemble a été repris dans un tableau, présenté dans l’annexe de la circulaire :

  

 

 

 

 

 

Vous noterez la dimension aléatoire de l’affirmation « la PJJ a toute latitude pour exiger ou non… » : sur quels critères ?

Conclusion : il est maintenant confirmé que les évaluations externes régulières, 2 par période de 15 ans concernent tous les ESSMS, sauf ceux de la PJJ. Je ne comprends pas bien : ils seraient les seuls à ne pas en avoir besoin ?

Daniel GACOIN