Je ne résiste pas au plaisir de vous présenter une partie des contenus que j’ai développés lors de la Conférence d’actualité, au cœur du Rendez-vous annuel de Direction(s), les 9 et 10 décembre derniers. J’intervenais sur le thème de l’évaluation externe, après d’autres responsables ou experts de notre secteur social et médico-social : par exemple Sabine Fourcade (Directrice de la DGCS), Jean-François Bauduret (rédacteur de la loi du 2 janvier 2002, actuellement à l’ANAP), Jean-Pierre Hardy (ADF), Jean-Yves Barreyre (CEDIAS), Patrick Gohet (IGAS), Pascal Champvert (AD-PA), Philippe Gaudon (EFFECTS).
J’y présentais l’avancée des démarches d’évaluation externe et vous verrez ici que mon propos est en partie alertant, même si je reste d’un naturel optimiste.
Un cadre général avec de nouvelles obligations
On se rappellera bien sûr le cadre créé par la loi du 2 janvier 2002 rénovant l’action sociale et médico-sociale. Elle est venue globalement officialiser un changement de vision, construit peu à peu dans notre secteur agissant au profit des personnes handicapées, dépendantes, en situation d’inadaptation :
- la logique de la réponse (aux besoins) des structures d’accompagnement et non plus la logique de l’offre (de places et de prises en charge),
- la transformation des « institutions » (un seul modèle de prise en charge dans un établissement, hors de la vie sociale) vers des « dispositifs » (plusieurs services articulés pour l’accompagnement du parcours de personnes vers la vie autonome et sociale)
- une transformation des modes de pilotage du secteur : des pouvoirs publics affirmant une commande, des opérateurs prestataires et néanmoins un maquis complexe entre pilotage / partenariat / territorialisation / contractualisation.
L’évaluation interne et externe des structures est alors une obligation stipulée par cette loi, ayant vocation à rendre lisibles les activités et la qualité des prestations de chaque structure et à générer une démarche d’amélioration continue du service rendu. Ainsi, pour chaque structure, on retrouve :
- Une durée d’autorisation de chaque établissement ou service social ou médico-social (ESSMS) limitée à 15 ans
- L’obligation d’une évaluation interne tous les 5 ans, avec plan d’amélioration du service rendu et production d’un rapport transmis aux autorités publiques de référence (autorités de contrôle pouvant être selon les cas la Direction départementale de la cohésion sociale, l’Agence Régionale de Santé, le Conseil général, la Direction départementale de la PJJ),
- L’obligation d’une évaluation externe (faite par un cabinet habilité) deux fois sur la durée de 15 ans, la dernière faite 2 ans avant le renouvellement d’autorisation ayant un caractère décisif pour ce renouvellement (Article L.313-1 du CASF : « le renouvellement de l’autorisation est exclusivement subordonné aux résultats de cette évaluation »).
Mes premières visions
Lors de cette conférence, je rappelais l’importance de ces évaluations, venues prendre leur place dans une thématique générale de modification des conduites stratégiques des ESSMS :
- Dans une logique de projet (appels à projet, position de prestataire),
- Dans une logique contractuelle (CPOM),
- Dans une logique structurelle interne (réorganisation en « dispositifs ») ou externe (regroupements),
- Dans une logique de garantie et d’efficience (évaluations)
Dans ce cadre, l’évaluation prend toute sa place dans une dynamique de changement : pour éviter de l’aborder sous le seul angle de la résistance au changement, je rappelle que :
- Dans la forme, les évaluations doivent présenter des contenus lisibles, qui prennent en compte les réalités dans un langage intelligible, utiliser des méthodes qui doivent briller par la combinaison des outils, mettre en évidence, en valeur, les cœurs de métier dans les accompagnements,
- Sur le fond : sortir des seules démarches qualité : en effet, il ne s’agit pas de s’occuper de la seule conformité à des processus ou obligations réglementaires, mais de « rechercher si les moyens juridiques, administratifs ou financiers mis en œuvre permettent de produire les effets attendus et d'atteindre les objectifs assignés » (définition officielle de l’évaluation pour l’action publique - Décret n° 90-82 du 22 janvier 1990).
J’indiquais, lors de la conférence, que les dernières années ont mis en évidence des risques de dérives importantes dans les démarches engagées…
- Un premier risque, le langage abscons : cf. le tableau suivant inspiré par les travaux de Jean-Pierre Legoff et son guide du Parler creux sans peine (Les illusions du management, pour le retour du bon sens - La Découverte, 1996), où les combinaisons sont multiples : on peut utiliser au hasard le sujet de l’importe quelle ligne, avec le verbe de n’importe quelle autre, le complément d’une ligne encore différente, l’adjectif d’une nouvelle et le génitif d’une dernière… (Précision : ce tableau utilise des phrases entendues, quelques unes étant même reprises de textes de recommandations de bonnes pratiques professionnelles de l’ANESM)
- Le second risque : L’univers de la démarche qualité, des « processus » normés et le syndrome de la case à cocher
L’inflation des contenus par désir d’exhaustivité,
La dictature des processus ou des procédures qui ne s’intéressent pas au cœur de métier
La notation avec des beaux diagrammes,
Les regards uniquement légalistes,
La seule attention à la conformité,
La non prise en compte des points de vue des parties prenantes (usagers, entourage, partenaires, professionnels),
La prise en compte instrumentale des parties prenantes : l’usager devient un client, et la satisfaction de ses attentes est le seul effet regardé ; les points de vue de professionnels, pourtant des représentations, sont pris pour la description de la réalité,
Le regard flou : l’intention (des équipes, notée dans des écrits) prime sur la réalité.
Et pourtant l’objet de l’évaluation est clair :
S’intéresser à la vraie vie, du côté des usagers, des professionnels, des organisations, des partenaires, s’intéresser donc …
- à ce qui est recherché, vécu, travaillé (dont les droits, la personnalisation, etc.) mais aussi l’accompagnement et les parcours, le sens de ces derniers
- avec un regard distancié et attention aux axes de progrès (les manques) mais aussi, attention et révélation des aspects positifs, des démarches
- en visant une appréciation sur la réalité, qui s’intéresse à l’essentiel (le cœur de métier) et non uniquement à la foule de petits détails en décalage
- en adoptant un rôle de révélateur (interne, pour les dirigeants, pour les autorités de contrôle) devenant une aide à la décision
- tout en assumant la dimension légale non négligeable : la démarche dynamique et continue, le caractère décisif de la dernière évaluation externe sur le renouvellement de l’autorisation
L’avancée actuelle des évaluations externes
Elle est indéniablement liée à la question de l’autorisation
Quelques chiffres
Officiellement sur les 38 500 ESSMS :
- 24 500 arrivent à leur date de renouvellement le 3 janvier 2017.
Ces derniers n’ont qu’une évaluation interne (début 2014), une évaluation externe (début 2015) à présenter aux autorités de contrôle.
- 14 000 auront leur date de renouvellement plus tard.
Une partie n’ont qu’une évaluation interne et une évaluation externe à réaliser entre 2015 et 2022.
Une autre partie (ESSMS avec une nouvelle autorisation significative ou avec une création après 2009) ont 3 évaluations internes à réaliser et 2 évaluations externes à faire réaliser (dont une au plus tard 2 ans avant le renouvellement).
Attention : tous ces chiffres de la DGCS sont basés sur le nombre de N° FINESS pour définir le nombre d’établissements et services. Or, précisément, il existe un problème : le nombre de N° FINESS n’est pas automatiquement corrélé au nombre d’autorisations (une structure autorisée peut avoir plusieurs N° FINESS et un N° FINESS peut correspondre à plusieurs structures autorisées) > On adore bien sûr une telle imprécision…
Autres chiffres (Cf. rapport de l’ANESM sur les évaluations au 30 juin 2013)
Officiellement sur les 24 500 ESSMS qui doivent présenter leur évaluation externe avant le 2 janvier 2015 :
- 4 785 ESSMS (19,5 % des 24 500 concernés) ont engagé l’évaluation externe au 30 juin 2013 – dont 3 953 l’ont terminée (16,13 %)
- Ces chiffres sont des témoins peu fidèles des réalités
Néanmoins un ordre de grandeur
- 1 ESSMS sur 5 est engagé dans l’évaluation externe
- 4 ESSMS sur 5 ne le sont pas encore (au 30 juin 2013)
L’embouteillage est évident !
Autres chiffres : les avancées par type de structure
> Ces avancées regardent surtout les Services à la personne :
57,1 % environ des 3 009 concernés.
> Pour le reste
Et les autres données
La demande va être très importante
- Le « renouvellement de l’autorisation est exclusivement subordonné au résultat de l’évaluation externe » qui la précède (Article L.313-1 du CASF créé dès le 2 janvier 2002)
- Le nombre d’EE devra être de 6 600 sur les 3 semestres qui restent avant la date butoir (1 presque fini en 2013, 2 en 2014) : plus, par semestre, que ce qui a été réalisé ou engagé entre 2009 et juin 2013.
La réponse va être inégale
A ce stade, sur plus de 1300 organismes évaluateurs habilités, seuls 250 sont en situation active
- 4 cabinets ont réalisé des EE en grand nombre : plus d’une centaine pour chacun
- une petite partie (50) a réalisé entre 20 et 40 EE,
- une grande majorité a réalisé entre 1 et 10 EE,
- 1000 cabinets environ n’en ont pas réalisé.
Les premières difficultés
La question évidente du temps de la mission. Les prix sont en train de baisser : ce n’est pas le prix de journée qui baisse (entre 1000 et 1100 € par jour en moyenne, sauf pour les services à la personne) mais le nombre de journées (rapport compris) :
- 7,7 en moyenne en EHPAD,
- 5,4 en MAS,
- 6 en MECS,
- etc.
Or, le nombre de journées est essentiel pour arriver à bien entendre, comprendre des réalités :
- Diminuer le nombre de journées sur le terrain, c’est diminuer le temps d’écoute, de constats, de discussions,
- Le risque c’est la solution du copier-coller et du tableau normé,
- Or, l’objet : une démarche permettant aux salariés de comprendre le sens, de s’interroger à nouveau.
A noter : le coût de l’évaluation (pour les 4785 ESSMS aujourd’hui engagés dans l’évaluation externe) est de presque 25 millions d’euros. Si l’on extrapole, le coût de la première vague des évaluations externes au sein de l’ensemble des ESSMS sera de 201 millions d’euros (moins que ce qui avait été prédit, y compris par moi, autour d’un montant de 250 à 300 millions).
Les deuxièmes difficultés
La grande inégalité d’appréhension de la mission évaluative…
…avec des extrêmes dans la conduite et les contenus :
- Des processus examinés qui sont normés et pré-établis sur des grilles, parfois avec une faible connaissance du secteur (c’est le cas pour plus de la moitié des évaluateurs),
- Une pratique de l’écoute, sans exigence, retracée dans un écrit, sans croisement des discours et des faits, sans vérification parfois,
- Le pinaillage : les points légaux (parfois même erronés) examinés sans recherche de fond,
- Des arrivées avec des idées toutes faites, qui ne changent pas au bout du compte.
… avec une réalité plus problématique encore :
- Des rapports inappropriés : centration sur quelques processus, ou sur une vision large mais avec des tableaux,
- Des rapports qui ne respectent pas la forme pourtant clairement exigée (annexe 3-10 du CASF, Section 3 du Chapitre 5, avec 6 parties la 5ème étant une synthèse > aujourd’hui synthèse et abrégé).
Pour les pallier, se référer aux textes
Les contenus de l’évaluation sont en effet bordés : comme une grande partie de l’évaluation externe reprend les contenus de l’évaluation interne, se tenir aux textes fondamentaux…
- La loi du 2 janvier 2002 et l’article L.122-8 : les activités et la qualité des prestations,
- Les textes généraux du CNESMS (2006) et de l’ANESM (2008 et 2009),
- Les textes ciblés de l’ANESM (par secteur : EHPAD et services à domicile),
- La circulaire de du 21 octobre 2011 : le périmètre des évaluations interne et externe,
- Sans oublier les 32 Recommandations de Bonnes Pratiques Professionnelles (RBPP) publiées par l’ANESM depuis 2008
La démarche de l’évaluation est également structurée : une mise en concurrence (Cf. Un guide de l’EE qui sera bientôt diffusé par l’ANESM), 4 phases de l’évaluation externe :
- Phase 1 : lecture et construction du cadre et du projet d’évaluation,
- Phase 2 : échange sur ce projet,
- Phase 3 : le recueil de données,
- Phase 4 : le rapport (pré-rapport, discussion contradictoire, rapport final).
Pour les pallier, bien choisir l’évaluateur
Renoncer à trouver l’évaluateur parfait
- Se tenir au minimum : la connaissance du secteur (des professionnels avérés), la pratique (demander copie d’un rapport anonymisé), noter sur des critères objectifs et à plusieurs,
- Ils auront tous des défauts, même les plus experts,
- Ils ont des contraintes : s’ils sont sérieux, ils seront sur-occupés, ils ne pourront accepter des facturations démesurément réduites, ils ne pourront accepter des clauses étranges de paiement (par exemple, tout à la fin, ou encore avec une réserve avant acceptation du rapport par les autorités)
Penser que la conduite est une co-responsabilité
- Suivre la réalisation : une instance, un comité, un service, un référent,
- Se mobiliser : lors de la discussion sur le projet évaluatif, lors de la discussion sur le pré-rapport.
Daniel GACOIN
Abonnez vous à ce blog
Les commentaires récents