Les repères des évaluations …
Dans mes trois derniers billets, j’ai rappelé les exigences des pouvoirs publics, ou les repères qu’ils ont posés depuis 2 ans, pour les évaluations internes et externes des Établissements et Services Sociaux et Médico-Sociaux (ESSMS) :
- Ces évaluations s’inscrivent dans un processus continu et dans un calendrier (tous les 5 ans pour les évaluations internes, deux fois pendant une autorisation de 15 ans pour les évaluations externes).
- Elles dépassent l’examen d’une conformité de pratiques au regard de standards ou de référentiels : pour une part (droits des usagers, projets personnalisés, sécurité, etc.), elles interrogeront l’effectivité des pratiques, pour une autre, elles interrogeront l’atteinte des objectifs au regard des besoins des usagers par étude des effets et des impacts des actions.
- Les évaluations externes auront des conséquences indéniables : selon l’article L. 313-1 du Code de l’action sociale et des familles, le renouvellement d’une autorisation de fonctionner d’un ESSMS est « exclusivement subordonné aux résultats de l'évaluation externe » (celle qui est réalisée au plus tard 2 ans avant la date du renouvellement de l’autorisation).
- Les évaluations externes ont un coût : pour une structure de taille moyenne, il sera de l’ordre de 10 000 euros, comme l’indique l’Agence nationale de l’évaluation et de la qualité des établissements et services sociaux et médico-sociaux (ANESM) malgré les propos contradictoires de la Direction générale de la cohésion sociale (DGCS).
- Ces évaluations externes doivent respecter des obligations réglementaires. Dans le cas contraire, l’Agence nationale de l’évaluation et de la qualité des établissements et services sociaux et médico-sociaux (ANESM) pourrait retirer leur habilitation aux organismes évaluateurs concernés.
… et les pratiques décalées
Mes billets détaillaient également les « petits arrangements », en cours, avec ces exigences. On trouve ainsi, notamment du côté des évaluateurs externes, de nombreuses dérives : dévoiement des missions de l’évaluation (mise en avant d’un examen de conformité des pratiques au lieu d’un examen de l’efficience de ces pratiques et de l’atteinte des objectifs), contenus obligatoires non respectés, pratiques commerciales faisant suspecter une qualité insuffisante, conflits d’intérêts, tarifs exotiques (prix promotionnels aberrants ou exagérément élevés). Je l’indiquais début août : il est nécessaire que l’ANESM puisse monter en charge pour sanctionner les écarts manifestes. On aura compris que je trouve déjà que des sanctions justifiées ne l’ont pas été et ne le seront peut-être jamais si tout continue comme aujourd’hui. En effet, il n’est pas sûr que l’ANESM parvienne à ses fins.
La question des compétences chez les évaluateurs externes…
Sur ce thème des compétences, le décret n° 2007-975 du 15 mai 2007 stipulait des exigences précises pour chaque organisme habilité appelé « l’évaluateur » (usage du singulier) et pour ses intervenants appelés « les évaluateurs » (usage du pluriel).
Pour chaque organisme habilité, ces exigences comportent :
> De nécessaires garanties éthiques (absence d’intérêt financier) et de rendu compte de sa mission (un rapport individualisé au commanditaire, un compte rendu d’activité à l’ANESM),
> Des compétences initiales : compréhension du projet de l’établissement ou service, du contexte ; capacité à définir des questions ; capacité à présenter une proposition avec un plan d’intervention clair (étapes, méthode d’évaluation envisagée, modalités de recueil des informations) ; capacité à se situer dans une logique d’écoute des professionnels et des usagers pour faire émerger des propositions d’évolution ; capacité à présenter clairement et précisément un devis (nombre de jours pour chaque étape, prix par journée, rapport qualité/prix).
Pour les intervenants (« les évaluateurs »), ces exigences comportent :
> Les mêmes garanties éthiques que celles de l’organisme habilité qui les emploie,
> Des compétences initiales :
- Une expérience professionnelle dans le champ social ou médico-social,
- Une formation aux méthodes évaluatives s’appuyant sur celles existant en matière d’évaluation des politiques publiques et comportant une méthodologie d’analyse pluridimensionnelle, globale, utilisant différents supports,
- Des connaissances actualisées et spécifiques dans le domaine de l’action sociale, portant sur les recommandations de bonnes pratiques professionnelles validées, sur les orientations générales des politiques de l’action sociale et sur les dispositifs,
- La capacité d’approche transversale et d’adaptation à la diversité des problématiques,
- Des modalités de travail qui garantissent un examen contradictoire des points de vue exprimés.
Émergeaient ainsi très fortement : 1. « La formation aux méthodes évaluatives s’appuyant sur celles existant en matière d’évaluation des politiques publiques, etc. » (très différente donc d’une formation aux démarches qualité ou de certification), 2. « L’expérience professionnelle dans le champ social ou médico-social » (indiquant une activité probante dans une fonction d’accompagnement).
Dans un premier avis (N° 2009-22 du 8 juillet 2009), le Conseil scientifique de l’ANESM avait indiqué que « en raison de l’antériorité faible et de la forte hétérogénéité des formations existantes actuelles, le conseil scientifique considère que l’exigence de formation des évaluateurs des organismes habilités ne peut constituer un critère opposable, et estime qu’il convient de se reporter à l’examen de l’expérience professionnelle dans le champ social et médico-social. » Dans un deuxième avis (N° 2009-23 du 8 juillet 2009), il avait complété le propos : les équipes d’évaluateurs devraient comprendre « des compétences spécifiques nécessaires à l’évaluation de chacune des activités déployées (médicale, sociale, sociologique, éducative…) » au sein de l’ESSMS concerné, avec donc une expérience dans une fonction d’accompagnement (avoir agi, comme professionnel, dans une fonction identifiée et dans le secteur).
… avec les manques actuels de compétences effectives chez certains évaluateurs…
Dans mon billet du 2 août (cliquer ici pour y accéder), j’ai présenté 6 cas de figure d’arrangements ou, pour être plus juste, d’écarts entre les exigences publiques et les réalités chez les évaluateurs. Je suis obligé d’en ajouter un septième : des évaluateurs ne présentant pas de compétences « nécessaires à l’évaluation de chacune des activités déployées (médicale, sociale, sociologique, éducative…).
Il existe en effet fréquemment des évaluateurs engagés par des organismes habilités qui ne présentent pas ces compétences : par exemple des consultants spécialistes d’autres domaines (management, démarche qualité, etc.) auxquels sont adjoints un ou deux professionnels du social ou du médico-social. La proportion est difficile à connaître, en l’absence de données transmises par l’ANESM : en fonction des retours qui me sont transmis, elle semble être de l’ordre de ¾ de professionnels du champ social ou médico-social pour ¼ de non-professionnels. Dans certains cas non isolés, la prédominance va à des non-professionnels du social ou médico-social. Et dans des situations, rares, les intervenants sont exclusivement des non-professionnels.
L’ANESM est censée recevoir des informations sur cette question, dans les rapports d’activité semestriels des organismes habilités. Mais la forme actuelle du rapport est insuffisante : par mission, il est demandé une présentation de chacun des « évaluateurs » avec « sa formation, le nom de l’employeur principal et la réalité d’une signature sur l’honneur des principes éthiques du cabinet ». On ne voit pas bien comment l’ANESM peut ainsi contrôler l’ampleur de l’expérience professionnelle dans le champ social et médico-social. Je note que l’ANESM intègre d’emblée une pratique possible : des professionnels en activité, effectuant des missions d’évaluation sous forme de vacations.
Pour poursuivre les réflexions de mon billet précédent, que se passera-t-il si des non-professionnels sont engagés dans une mission d’évaluation : l’ANESM peut-elle retirer une habilitation pour non-respect du décret du 15 mai 2007 ? Sur le papier oui, mais dans la réalité ? A ce stade, c’est encore l’inconnu… Je plaiderai toujours pour une approche très stricte et des sanctions radicales… On en est loin aujourd’hui !
… et la question de leur formation
Le marché de la formation pour l’évaluation est en phase d’explosion, à la mesure des rêves de certains (une activité nouvelle, un marché rémunérateur,…). On trouve déjà aujourd’hui le meilleur (formations adaptées, avec une vraie connaissance du social/médico-social, un apprentissage de formes diversifiées de recueils de données et une réelle étude des effets/impacts des accompagnements) et le pire (organismes qui cherchent uniquement à vendre, parfois avec des publicités tapageuses ou des tarifs très élevés, et des contenus très décalés).
J’ai souvent été interpelé par des personnes cherchant les meilleures filières : à mon sens, il faut chercher du côté de l’ANDESI, ou de l’ESTES à Strasbourg ou de l’ARAFDES à Lyon, à travers les cursus de formation établis en partenariat avec RH & organisation de F. Charleux (étant entendu que je n’ai aucun intérêt commercial pour faire cette recommandation). Pour les autres organismes de formation, je suis souvent circonspect devant l’offre commerciale qu’ils proposent.
Mais au-delà, je souhaiterais que la DGCS, en lien avec l’ANESM et des experts de l’évaluation, puisse officialiser une charte minimale opposable pour les produits de formation des évaluateurs externes. Compte tenu des enjeux, il y a urgence…
Daniel GACOIN
Abonnez vous à ce blog
Que dire des Cabinets d'expertise comptables petits ou gros voire internationaux, habilités?
Vous relevez "On trouve déjà aujourd’hui le meilleur et le pire (centres de formation qui cherchent uniquement à vendre, parfois avec des publicités tapageuses ou des tarifs très élevés" j'ajoute, ce sont les mêmes qui sollicitent les organismes habilités pour tenter de placer dans un marché encore atone leurs quelques 200 ex-clients parfois sur la paille, pour avoir payé une formation très onéreuse sur leurs propres deniers ou pire celui du budget de l'ESSMS qui les emploie(en quoi cette dépense de formation d'évaluateur externe certifié relève des besoins de l'établissement?).Je n'aime pas le mot marché et la mise en concurrence qui l'accompagne voulue par les pouvoirs public. Celle-ci aboutit à choisir le moins-disant, pour des ESSMS contraints financièrement et à ne retenir qu'un seul critère :le prix de la prestation sans garantie ni pour les usagers, ni pour l'établissement, ni pour les autorités délivrant les autorisations!
Rédigé par : Christian SZWED | 22 août 2011 à 01:15
Que dire également des directeurs d'établissement qui voient en l'évaluation externe une possibilité rémunératrice annexe à leur salaire, et qui utilisent le budget formation de leur propre établissement pour se former afin de pratiquer l'évaluation externe pour leur propre compte. Ne s'agirait-il pas d'une déviance du système !! Quelle sera la réaction des pouvoirs publics devant cette nouvelle utilisation des fonds publics!
Rédigé par : Marc Renard | 27 septembre 2011 à 09:18
bonjour,
Que dire également des consultants qui s'improvisent évaluateurs externes du fait d'une expérience de direction, où sont les compétences théoriques et méthodologiques propres à cette approche qui prend ses bases sur la recherche évaluative et la méthodologie des sciences humaines et sociales. Selon moi, l'expertise professionnelle de certains n'est pour autant pas à rejeter systématiquement, bien au contraire, ces compétences techniques ou sectorielles peuvent venir enrichir une équipe d'évaluateurs externes, où l'on retrouvera à minima des binômes composés à la fois "d'experts" de la méthode et d'autres du secteur concerné...
... peut être que cette combinaison pour l'instant expérimentale (du moins dans notre Cabinet) permettra d'assurer, éthique, déontologie et méthode au service des dispositifs évalués...
cordielement
Rédigé par : christophe malabat - Réalités & Projets | 17 octobre 2011 à 15:47
Bonjour,
Pour ceux qui recherche des clarifications supplémentaires sur le processus évaluatif et son organisation, je vous propose de consulter la circulaire N° DGCS/SD5C/2011/398 du 21 octobre 2011 relative à l’évaluation des activités et
de la qualité des prestations délivrées dans les établissements et services sociaux et médicosociaux.
Cordialement
Rédigé par : Marc Renard | 02 novembre 2011 à 11:41