Les derniers développements pour l’évaluation viennent aujourd’hui de l’ANESM. Globalement cette instance est en train de construire une autorité dont la légitimité interroge…
Au-delà de l’élaboration des procédures, références et recommandations de bonnes pratiques professionnelles, il a été confié à cette Agence la mission d’habiliter les organismes extérieurs qui procèdent à l'évaluation externe des activités et de la qualité des prestations des établissements et services visés à l’article L.312-1 du CASF : « Il habilite les organismes extérieurs qui procèdent à l’évaluation externe des activités et de la qualité des prestations des établissements susvisés et en dresse la liste », indique l’arrêté d’approbation de la convention constitutive de l’ANESM.
L’ANESM précise dans ses rapports d’activité que « les organismes habilités ayant pris un certain nombre d’engagements en matière d’indépendance et étant soumis au respect du cahier des charges des missions d’évaluations externes qui a été fixé par décret, il conviendra pour l’Agence d’en assurer le contrôle dès 2010 ». Je suis, sur le fond, très favorable à ce contrôle, ayant déploré des habilitations sans exigence de références ou compétences en évaluation et en action sociale et médico-sociale chez les candidats, d’où le nombre actuel d’organismes habilités (652 !). Il me semble plus que nécessaire d’évaluer et de contrôler les évaluateurs, à condition de savoir sur quoi…
Précisément sur ce thème, l’ANESM est en train d’avancer : le compte-rendu de son Conseil d’Administration du 9 décembre 2010 a été diffusé par deux fédérations y participant. Il indique que :
« L’ANESM doit suivre la mise en œuvre de l’évaluation externe par un contrôle des organismes habilités en s’appuyant sur les rapports d’activités que doivent lui transmettre ces organismes. L’Agence renseignera ainsi les agences régionales de santé, de l’avancement des établissements et services dans le respect de leurs obligations de faire procéder à l’évaluation externe de leurs activités en vue du renouvellement de leurs autorisations. Le traitement de ces rapports d’activité qui a fait l’objet d’une décision du directeur diffusée à l’ensemble de ces organismes habilités, se poursuivra en 2011.
Au-delà de ce suivi, les rapports d’activité renseignent l’Agence sur les prix facturés, les compositions des équipes mobilisées pour chaque mandat. Elle utilisera ces éléments d’une part pour assurer une communication aux établissements et services sur le coût des missions d’évaluation externe, et d’autre part pour cibler les contrôles d’organismes habilités.(…)
Il est proposé au Conseil de retenir comme cible les organismes habilités et non les missions d’évaluation, ceci en ciblant en priorité les organismes d’une part qui réalisent plusieurs missions, d’autre par qui présentent des risques (composition des équipes, liens avec les établissements, prix facturés) à la lecture de leur rapport d’activité.
Le contrôle se réaliserait à deux niveaux :
- Un contrôle des rapports d’évaluation externe, par les autorités de contrôle et de tarification grâce à l’utilisation d’une synthèse type élaborée par l’Agence en 2010.
- Un contrôle des organismes et de leur organisation pour respecter les critères d’indépendance et les dispositions du cahier des charges fixé par le décret 975/2007 (équivalent à un audit qualité) ».
Une note de présentation de la fonction de contrôle est jointe en annexe de ce compte-rendu. Je cite d’abord les exigences demandées aux organismes et sur lesquelles ils seront contrôlés :
- Les organismes doivent présenter des garanties et modalités de fonctionnement : indépendance professionnelle et scientifique, garantie de neutralité des programmes d’évaluation des pratiques professionnelles proposés au regard des liens et intérêt économiques, financiers ou commerciaux qu’il entretient, une gouvernance scientifique, une gouvernance professionnelle, une conception des programmes d’évaluation, une évaluation des programmes d’évaluation
- Ils doivent présenter l’origine et la nature des ressources et des liens de l’organisme et de ses collaborateurs, avec une garantie d’absence d’intérêt matériel, financier ou simplement moral,
- Ils doivent offrir des garanties de transparence du financement de la conception et de la mise en œuvre des programmes d’évaluation
- Ils doivent effectuer et justifier l’analyse et la qualité scientifique et médicale des références, des données utilisées pour concevoir les programmes et les méthodes proposées,
- Ils doivent satisfaire aux caractéristiques des programmes d’évaluation définies par le décret 975/2007
- Ils doivent enfin présenter des garanties de confidentialité des données individuelles et plus globalement des données collectées.
Les données de la visite de contrôle sont également décrites, avec réception des contrôleurs ANESM sur le site de l’organisme et abord des questions suivantes :
- Justification des choix méthodologiques et de la documentation,
- Regard sur la mise en œuvre de la politique de prévention des risques de conflits d’intérêts,
- Étude du nombre et qualité des collaborateurs engagés dans les évaluations,
- Éléments attestant de la prise en compte suffisante des contraintes d’exhaustivité réglementaire, d’acceptabilité et de faisabilité des programmes,
- Les caractéristiques des recommandations utilisées,
- Les données de l’exercice social et médical sur lesquelles portent l’évaluation,
- Les modalités de recueil de données,
- Les modalités de suivi des démarches entreprises permettant d’apprécier leur impact sur les pratiques.
Il est enfin indiqué que les conclusions de la visite donnent lieu à une procédure contradictoire, et peuvent être mises à disposition des ESSMS qui en formuleraient la demande.
Cerise sur le gâteau (on se réfèrera au récent article de Laurent Barbe sur son blog)… les qualités demandées par l’ANESM pour les 3 contrôleurs des évaluateurs qu’elle est en train de recruter (à voir sur le site de l’ANESM) sont totalement décalées. Je cite le contenu :
- Des fonctions : analyser l’organisation et les procédures des organismes concernés, tester l’effectivité et l’efficacité des procédures mises en place par les organismes, vérifier la correcte exécution de la mission légale par les signataires sur une sélection de mandats (normes d’exercice, déontologie, indépendance, principes méthodologiques, prise en compte des recommandations de l’Anesm, etc.), rédiger et instruire les rapports de contrôle sur les organismes
- Un profil : une formation juridique, comptable ou financière, voire IEP, EHESP, grandes écoles ou masters 2 (audit, qualité, stratégie...), une expérience/expertise de l’audit acquis en cabinet ou du contrôle en corps d’inspection, un esprit critique élevé
- Des compétences requises : une expérience acquise dans l’audit d’entités ayant des titres cotés dans les établissements de crédit, dans les entreprises régies par le code des assurances ou au sein du Haut Conseil du Commissariat aux comptes appréciée, une expérience en tant qu’inspecteur des services de l’Etat (IAS, DDCCRF...) constituant un plus.
Je dois dire à la lecture de tous ces éléments, que j’ai eu un sentiment d’hallucination : mais d’où est venu tout cela ? Comment expliquer l’absence de réactions au sein du CA de l’Agence ? Comment ont été prises toutes ses décisions et avec quels avis de son Conseil scientifique qui se trouve dans un entre deux, en attente de son renouvellement ? Pour mémoire, la loi (non un simple décret) dit bien que l’Agence « prend ses décisions après avis d'un conseil scientifique indépendant »…
Pour quelqu’un qui, comme moi, plaide pour un contrôle strict des organismes évaluateurs habilités, un triple sentiment s’impose :
> Nous sommes devant des critères totalement inadaptés de contrôle des organismes habilités : du nécessaire regard sur le respect du cahier des charges dans les missions, on est passé au choix d’un contrôle plus complet des organismes avec une modélisation absurde (gouvernance scientifique, etc.). Je suis même interrogé par l’absence de lisibilité des critères : par exemple une synthèse type pour les rapports d’évaluation aurait été fournie aux autorités de contrôle et de tarification en 2010, et ne serait pas connue, comme règle du jeu, par les organismes habilités…
> Nous allons être devant des contrôleurs dont les compétences, certes très hautes, ne sont pas en phase avec les missions, dépassant de très loin ce qui est nécessaire : l’interrogation des garanties d’indépendance et de respect du cahier des charges. Ces compétences sont même susceptibles de dénaturer l’esprit et la lettre de ce dernier : par exemple, une expérience d’audits d’entités ayant des titres cotés en établissements de crédit, dans des entreprises régies par le code des assurances, au sein du Haut Conseil du Commissariat aux comptes !! Attention, je ne dis pas qu’il n’est pas nécessaire d’avoir un contrôleur des comptes, spécialiste notamment de la recherche des conflits d’intérêt.
> Nous sommes devant une Agence qui surjoue un rôle, dépasse les contenus réglementaires des contrôles, avec une surenchère problématique : faible clarté des critères et supports, faible appui sur des réflexions méthodologiques et scientifiques partagées au sein de ses instances, accessoirement avec les opérateurs, avancée à grands pas vers une pseudo réglementation dépassant, voire transformant l’esprit du législateur.
Bref ! L’affaire dérape, se complique, l’ANESM brouille tout (y compris ses propres énoncés), semble peu contrôlée par la DGCS. Je ne suis pas sûr que cela serve la cause de l’évaluation.
Daniel GACOIN
PS : j’ai évidemment conscience que mon positionnement critique, même si, au fond, je veux promouvoir des évaluations et contrôles (intelligents !) et soutient la mission de l’ANESM, me met inévitablement au premier rang des organismes habilités et considérés comme « à risque », donc rapidement contrôlés. Je suis tranquille…
Abonnez vous à ce blog
Difficile de savoir ce qui est le plus effarant la dedans : le décalage total des critères qui sont proposés, le silence public étourdissant de tous ceux qui siègent à l'ANESM (personne ne réagit même sur nos blogs pour nous dire qu'on a tort ou qu'on a rien compris)...l'apparente inertie des pouvoirs publics. En attendant que le Canard enchainé s'en mèle ? Voir un organisme censé promouvoir la bientraitance s'emberlificoter dans un tel pastis, ca serait un vrai sujet. Mais ca fait vraiment mal à tous ceux qui continuent à penser qu'il est utile d'avoir un organisme public qui s'occupe de cette question. On dirait le Titanic...
Rédigé par : Laurent Barbe | 21 janvier 2011 à 07:50
... effarant en effet, on dirait le "Titanic" version "2012" ou un gros blockbuster américain sans finesse ni narration claire... mais aux effets spéciaux énormes ! Quant au profil des 3 contrôleurs des évaluateurs externes ne serais-ce pas un affreux mauvais copié-collé versus 1er avril en avance !
j'aimerais y croire, mais la fin semble si proche...
Rédigé par : christophe malabat | 24 janvier 2011 à 10:37