Des avancées indéniables
Il ne se passe pas de semaine, depuis quelques mois, sans un nouvel ajout, ou une précision, sur le front de l’évaluation des établissements et services sociaux et médico-sociaux (ESSMS).
Cette avancée rapide suit une longue période d’indécision : de 2002 à 2009, les obligations, censées se mettre en place rapidement pour les ESSMS depuis la publication de la loi N°2002-2 du 2 janvier 2002 rénovant l’action sociale et médico-sociale, ont été différées dans l’attente de clarification des contenus, des dates, des méthodes. Les obligations (3 évaluations internes pendant les 15 années d’autorisation, soit une tous les 5 ans, et deux évaluations externes, une au bout de 7 ans, une 2 ans avant la fin de période d’autorisation) ont été confirmées en 2010 et précisées dans un calendrier précis pour les structures les plus anciennes, les méthodes et contenus des évaluations sont de plus en plus ciblés depuis 3 ans, et les opérateurs sont à la fois nommés et encadrés.
La période d’indécision a néanmoins permis le développement de pratiques étranges, d‘affirmations péremptoires, de la part de vendeurs de démarches et supports prétendant être les plus fidèles à l’esprit et à la lettre de la loi sur l’évaluation sociale et médico-sociale. Seuls deux ouvrages traitent sérieusement de la question de l’évaluation externe.
Et il existe ainsi, chez certains organismes de formation (j’en parlerai dans un prochain billet), chez certains évaluateurs ou vendeurs de référentiels, des personnes ou des organismes qui mentent effrontément, sans aucun scrupule, pourvu que cela permette de se positionner sur un marché. C’est pourquoi ce billet, et les trois billets qui suivront, rapporteront les repères indispensables (ce qui est prescrit, ce qui n’est pas prescrit) dans les propos officiels sur l’évaluation.
Commençons d’abord par le coût d’une évaluation externe…
Dans la mesure où une évaluation externe a des conséquences (« le renouvellement de l’autorisation d’un ESSMS est exclusivement subordonné aux résultats de l’évaluation externe », indique depuis 2002, l’article L. 313-1 du Code de l’Action Sociale et des Familles), la question de son coût est loin d’être anodine. Jusqu’ici nous avions entendu parler, dans de nombreux propos publics, d’un montant de l’ordre de 10 000 € par évaluation externe, à financer par chaque structure sur son budget habituel, sans ligne budgétaire supplémentaire.
… avec un premier propos, bien surprenant de la DGCS…
Je l’avais évoqué dans un précédent billet (cliquer ici pour y accéder), la Direction Générale de la Cohésion Sociale, dans une circulaire budgétaire d’avril 2011, a évoqué une nouvelle fourchette :
- de 7 400 à 9 400 € pour chaque évaluation externe d’un EHPAD (établissement d’hébergement pour personnes âgées dépendantes ;
- de 5 600 à 9 200 € pour chaque évaluation externe d’un établissement ou service pour personnes handicapées.
Pour la justifier, la circulaire disait que cette fourchette était issue du rapport d’activité 2010 de l’ANESM (Agence nationale de l’évaluation et de la qualité des établissements et services sociaux et médico-sociaux). Or, ce rapport n’était pas encore publié, et je m’étais permis en avril de mettre en cause l’affirmation de la DGCS, pensant qu’il s’agissait de chiffres tout simplement inventés de la part de l’administration.
… et la réalité constatée par l’ANESM…
Bizarrement, le rapport 2010 de l’ANESM n’est toujours pas publié dans son intégralité, seul un extrait est disponible depuis un mois et demi, extrait traitant des questions d’évaluations externes notamment. La question de leur coût n’est pas abordée dans cet extrait (cette non-publication du rapport intégral n’est pas sans poser des questions : j’y reviendrai dans quelques jours…).
Heureusement, on trouve depuis quelques semaines sur le site de l’ANESM, dans le cadre des questions / réponses, des retours précis sur le coût d’une évaluation externe :
- de 909 ( !) à 19 255 € pour chaque évaluation externe,
Cette fourchette est indiquée, sans mention de la catégorie ou de la taille des structures évaluées. Il est même précisé que les coûts constatés ne sont pas toujours corrélés au nombre de jours passés sur le terrain ou facturés. L’ANESM précise d’ailleurs que le coût moyen d’une évaluation externe dans un EHPAD se situe aux alentours de 10 000 € TTC.
Deux enseignements…
Le premier enseignement que je tire de ces chiffres est directement en lien avec la polémique que j’avais ouverte sur les indications de la DGCS : ses chiffres étaient effectivement « bidonnés ». Elle disait s’appuyer sur les données de l’ANESM et rien, dans ses données, ne corrobore les affirmations de l’administration, sinon le désir de mettre en avant une fourchette souhaitée par elle, très en dessous des tarifs pratiqués.
La réalité transmise par l’ANESM laisse apparaître des pratiques totalement fantaisistes de la part de certains évaluateurs externes. Ceci n’est pas admissible. Comment accorder du crédit à des évaluations facturées dans les coûts les plus bas (900 à 4000 €) ou les plus hauts (15000 à 19 000 €) ? Comme le disent le directeur de l’ANESM et le site de cet organisme, l’explication de ces disparités relève de deux phénomènes, de la part d’organismes :
- qui proposent des prix promotionnels de lancement avec une stratégie commerciale offensive,
- qui, entrant plus récemment dans cette activité, n’hésitent pas à pratiquer des tarifs élevés.
… et un rappel
Dans tous les cas de figure, ce qui émerge à mon sens, ce sont des pratiques essentiellement commerciales dans la perspective de se faire une place sur « un nouveau marché », « un marché juteux », et ceci au mépris du plus élémentaire souci de la qualité du travail à réaliser. D’ailleurs, aux deux extrêmes des tarifs présentés, nous sommes très loin des pratiques demandées dans le décret réglementaire sur l’évaluation externe du 15 mai 2007.
Quelles sont ces pratiques demandées sur un plan réglementaire ? L’assemblage de plusieurs pratiques articulées, déclinées dans le temps…
- D’abord, une étude des documents, menant à la construction d’un projet évaluatif et de questions évaluatives établis de manière individualisée : il faut compter entre 0,5 et 2 jours selon la taille des structures,
- Ensuite la présentation de ce cadre évaluatif à la structure : si l’on ne se contente pas d’une transmission écrite, cela signifie une présentation à un comité de pilotage ou une instance évaluative interne, et une prise en compte de leurs remarques, soit au moins 0,5 jour,
- Dans la foulée, le recueil de données sur le terrain : entre le regard sur certaines procédures, l’étude de situations d’accompagnement, des enquêtes (entretiens individuels et collectifs, soit de type groupes de paroles, soit enquêtes miroirs), des questionnaires ou interviews de types sondages d’effets (bien au-delà des enquêtes de satisfaction), les études statistiques, nous sommes obligés de penser à un volume de travail se situant entre 2,5 et 8 jours sur le terrain, selon la taille des structures,
- L’écrit final (avec analyse et appréciation des atteintes d’objectifs) : il faut compter entre 15 et 20 minutes par page, soit, pour un rapport de 30 à 40 pages (le minimum requis) soit un minimum d’une journée et un maximum de 2 jours, toujours selon la taille de la structure,
- Ensuite la présentation de cet écrit à la structure : si l’on ne se contente pas d’une transmission écrite, cela signifie une présentation à un comité de pilotage ou une instance évaluative interne, et une prise en compte de leurs remarques, soit au moins 0,5 jour.
Comme on le voit, un travail sérieux, c’est au moins 5,5 jours de travail (et facturés) et au plus 13 jours de travail. Ensuite, il convient de penser qu’une « journée consultant », est à situer entre 900 et 1000 € TTC en moyenne, avec en plus, la prise en compte des frais de déplacement. Bref, avec ces frais annexes, une « journée consultant » se situe dans une fourchette de 1000 à 1200 € TTC. Pour comprendre donc combien les pratiques en cours sont fantaisistes, il suffit de multiplier les fourchettes de jours indiquées ici et les coûts moyens des « journées consultant ».
Je n’attends qu’une chose : que l’ANESM aille plus loin que le seul retrait de l’habilitation aux organismes qui ne produisent pas le compte-rendu trimestriel à l’ANESM, mais qu’elle sanctionne les organismes qui, compte tenu de leurs tarifs, sont notoirement en situation de tricher sur leurs obligations ou de pratiquer des ristournes qui sont à la limite des conflits d’intérêt.
Daniel GACOIN
Mon expérience me montre qu'il y a un nombre de jours incompressible par évaluation externe (EE) que j'estime actuellement à 4,5 (entretien préalable avec le directeur, élaboration du cadre évaluatif, réunion d'ouverture, analyse des données recueillies, rédaction du pré-rapport, réunion contradictoire, finalisation du rapport d'EE - y compris les réunions de pilotage) à quoi s'ajoutent les jours-terrain (rencontres, interviews individuelles ou de groupe, observations, participations à certains moments de la vie de l'établissement...), de 2 à 6 voire 8 selon la taille et la complexité. Soit de 6,5 à 10,5 jours en tout, voire 12,5. On prend le prix de journée et on multiplie.
Je joue cartes sur table et ce que j'observe me met en colère, par exemple un devis pour 2 établissements pour 2900 euros TTC. Daniel, je soutiens votre conclusion.
A quand une association professionnelle d"évaluateurs externes connaissant leur métier avec des engagements clairs et garantis en matière d'éthique, de pratiques et de prix ?
Et quand on parle de la charge pour les établissements : avec 1,5 M€ de budget annuel, une EE à 12 k€ tous les 7 ans, ça représente quoi ? 0,0011 ! Si cette EE est bien faite et pertinente, ça n'est vraiment pas grand chose.
Franchement les usagers méritent bien ça.
Rédigé par : Didier Lesaffre | 10 juillet 2011 à 19:42
Mon expérience va également dans ce sens. Quel plaisir de vous lire et de constater qu'il existe des consultants qui, d'une part connaissent (réellement) et comprennent la loi 2002-2 et les recommandations de l'ANESM et, d'autre part, font preuve d'honneté intellectuelle, pour ne pas dire d'honneté tout court.
Au-delà du partage intégral de vos observations et vos réflexions, notamment sur les questions relatives à l'évaluation externe (méthodes, coûts, etc.), il convient effectivement d'appeler de nos voeux un positionnement plus précis et rigoureux de l'ANESM sur ces questions afin de clarifier les choses à l'attention des responsables des ESSMS et permettre une "banalisation" intelligeante de l'évaluation. Une organisation professionnelle des évaluateurs externes pourrait également aller dans le bon sens.
Rédigé par : Emmanuel GRANGER, directeur du Cabinet G Consultant | 27 juillet 2011 à 10:02