Des recommandations de bonnes pratiques pour la conduite de l’évaluation interne, publiées par l’ANESM le 27 juillet 2009 (3) : avancées et manques…

.
Un texte de référence …

Le 27 juillet 2009, la publication par l’ANESM de recommandations de bonnes pratiques professionnelles pour « La conduite de l’évaluation interne dans les établissements et services visés à l’article L.312-1 du Code de l’Action Sociale et des Familles » ouvre une perspective nouvelle. Il est donc important de lire ce texte en détail à télécharger sur le site de l'ANESM.

… partant du rappel de la réglementation et des orientations antérieures

En 72 pages, l’ANESM veut, avec pédagogie, poser des repères pour une pratique de l’évaluation interne. L’opération consiste à se situer dans le prolongement des constructions antérieures en éliminant des rappels gênants (dont les positions de la DGAS de 2004, ou les pratiques qui en ont découlé…  auxquelles ont pu participer des membres du groupe de travail mobilisés par l’ANESM aujourd’hui), notamment toute référence à une évaluation sur la conformité des pratiques à des standards. Pour positionner l’évaluation de manière simple, le texte pose 3 bases :

• Une philosophie générale : l’évaluation non comme audit, ou certification et contrôle, mais comme démarche - créant les conditions pour faire évoluer les compétences collectives - participative, structurée par une rigueur méthodologique.
• Une définition : l’évaluation « porte sur les effets produits par les activités, leur adéquation aux besoins et attentes des personnes accueillies, leur cohérence avec les missions imparties et les ressources mobilisées » et « permet d’interroger le cœur de métier, c’est-à-dire les réponses apportées aux usagers ». Pour ce faire, nous dit-on, « les articulations ou processus-clés en vue de la réalisation des objectifs pour les usagers sont décrits et évalués ». L’évaluation est « centrée sur les activités qui concernent directement les usagers et les conditions de leur réalisation ».
• Un contenu prioritaire : 4 domaines de l’évaluation (les usagers, l’ouverture à l’environnement, la mise en œuvre du projet, l’organisation) sont prioritaires, mais il est proposé un premier questionnement sur le thème des usagers (c’était déjà une recommandation en 2008). Plus loin encore, le texte décrit 4 contenus à décliner en objectifs spécifiques sur ce thème de l’usager : 1. La promotion de l’autonomie et de la qualité de vie des personnes, 2. La personnalisation de leur accompagnement, 3. La garantie de leurs droits et de leur participation, 4 La protection des personnes et la prévention des facteurs de risque liés à la vulnérabilité.

… en opérant de discrets glissements, parfois problématiques

Le texte modifie subtilement, tout en paraissant s’y appuyer, des textes antérieurs :

• législatifs : ce sont « les activités » qui sont examinées dans l’évaluation, non « la qualité des prestations », nous dit-on (dans la loi ce sont pourtant les deux),
• stratégiques : l’insistance pour une interrogation prioritaire sur le thème de l’usager (sous-entendu : comme il était indiqué dans les recommandations–ANESM de mars 2008) est discrètement opérée, pour appuyer l’approche initiale (évaluation comme appréciation à partir de l’examen des effets-impacts) plus facile à développer sur le thème de l’usager que sur celui de l’organisation. En 2008, cette proposition était citée comme exemple, pour affirmer la nécessité de privilégier la cohérence des critères par rapport à l’exhaustivité des contenus. Ici, elle est avancée comme un axe de travail majeur, en mettant de côté les 3 autres thèmes prioritaires tout en posant l’évaluation comme appréciation globale d’un fonctionnement.
• réglementaires : sur le thème de l’usager, la déclinaison en 4 sous-thèmes présente ainsi une classification qui est reliée à la loi du 2 janvier 2002 et au décret de mai 2007. Précisément cette classification est nouvelle, n’est pas présente en tant que telle dans la loi de 2002 et le décret de 2007. C’est une reconstruction qui transforme la classification CNESMS de 2006 sur le thème « usager » : existaient alors 4 sous-thèmes (droit, participation, personnalisation, gestion des risques et sécurité), et n’y était pas présenté, comme tel, le sous-thème « promotion de l’autonomie et qualité de vie des usagers ». Cette reconstruction est intéressante néanmoins car précisément, c’était un manque dans le guide de 2006.

Une construction en 4 étapes…

L’intérêt du texte est la déclinaison, qui se veut la plus concrète possible, avec des exemples, d’une démarche en 4 phases : 1. Définition du cadre évaluatif, 2. Recueil d’informations fiables et pertinentes, 3. Analyse et compréhension des informations recueillies, 4. Élaboration du plan d’amélioration du service rendu et de son pilotage.

 … avec des préconisations pour la phase 1

J’ai beaucoup apprécié la définition du cadre et du contenu de l’évaluation :

• Une démarche de formulation : reprise pour chaque ESSMS des écrits internes sur les missions, valeurs et orientations, objectifs du projet, puis étude des caractéristiques de la population accompagnée et des évolutions significatives dans le temps, et enfin formulation des objectifs de l’accompagnement et des critères d’appréciation des activités (objectifs, engagements, modalités). Cette démarche vise à formuler des critères de mise en œuvre (engagements actions), de processus, et d’effets (attendus donc à apprécier ensuite) chez les usagers. La standardisation des contenus, avec des référentiels pré-établis, brillants surtout par l’addition de procédures et l’exhaustivité des contenus, plutôt que par des finalités et objectifs, est clairement bannie.
• Une conduite lisible et une implication des acteurs : est demandée une démarche par priorités, à partir d’un pré-diagnostic, avec mobilisation d’un groupe projet (ou instance d’évaluation), communication claire et positionnement de la direction et des cadres intermédiaires, implication de tous.

… pour la phase 2…

Phase de rassemblement des données, elle vise la mesure d’écarts, après description des modalités de mise en œuvre, et l’indentification des effets, positifs ou non, chez les usagers. Pour chaque objectif, il est proposé de recueillir des données disponibles : parcours, projets personnalisés, résultats d’éventuelles démarches qualité, études et recherches internes, pratiques professionnelles, avis des usagers sur les effets des accompagnements, couplés avec des données quantitatives et qualitatives sur ces effets. L’indicateur est une « information choisie qui permet d’observer périodiquement les évolutions d’une situation au regard d’objectifs définis ». Intéressant : les résultats d’une interrogation par référentiel qualité sont en partie utilisables, à condition qu’ils soient complétés par une étude des effets. Important également : les résultats de ces données pourront, nous dit-on, être intégrés dans les conventions tripartites et les contrats pluriannuels d’objectifs et de moyens, ce qui consacre le lien avec une culture du résultat, utilisée dans les négociations avec les pouvoirs publics financeurs.

 … et la phase 3… 

Cette phase est construite autour d’une première approche : rassemblement des données recueillies en phase 2 et réponse à des questions d’efficience (réponse aux besoins et attentes ? réalisation des objectifs ? écarts et dysfonctionnements ? intégration des recommandations de bonnes pratiques ?). Il est proposé qu’elle soit suivie par deux temps : recherche d’une raison des écarts (notamment autour des thèmes organisation, ouverture à l’environnement, qualité du projet), identification des marges de progression et des points forts.

Plus difficile, on demande que cette analyse soit une co-production associant toutes les parties prenantes, mais aucune méthodologie n’est présentée : l’appui sur le groupe projet initial ou instance d’évaluation semble être l’outil principal.

… et enfin pour la phase 4

L’élaboration du plan d’amélioration relève de la direction, se saisissant « de l’analyse de l’instance d’évaluation ou du groupe projet » et « priorisant les points à traiter en fonction des conséquences pour les usagers et de l’actualité de la structure ». Il est recommandé un plan lisible avec objectifs, calendrier et tableau de bord de suivi du plan.

.
L’intérêt du document…

Nous voici donc en présence d’une réorganisation ciblée, mettant en avant des objectifs et une analyse des réalités et effets. L’usage d’un référentiel n’est pas l’objet de la démarche, c’est une interrogation plus complète. Cela va vraiment dans le bon sens.

… mais ses manques

Le document formule l’examen évaluatif en éclairant de manière faible les mesures d’effets et constats d’écarts, leurs outils notamment. Cela risque de favoriser des appréciations « pifométriques » (recueil des représentations ou compilation de pratiques intentionnelles). Avec ces recommandations, des échanges formels sont proposés, mais pourrait y dominer un partage de sentiments et d’intentions (j’ai souvent parlé d’un mal inhérent à notre secteur : « la dictature de l’intention »…) et non des constats réels d’effets. Ajoutons les possibles arrangements, subtils déguisements des réalités, pas forcément conscients,… Donc à mon sens, la rigueur des réalités devrait être plus importante que ce qui nous est présenté.

L’interrogation très subsidiaire sur les thèmes « organisation », « ouverture à l’environnement » et « qualité du projet » me semble problématique, oublieuse des objectifs spécifiques sur ces thèmes. Par exemple, des objectifs autour de l’identification et l’évolution des compétences professionnelles peuvent, bien sûr, se décliner dans leur lien avec des besoins et effets pour les usagers, mais également être reliés à des objectifs organisationnels purs, hors bénéfice pour les usagers, c’est la même chose pour la conduite d’une organisation, pour la participation à une dynamique territoriale, pour le travail en équipe, pour les systèmes d’information, etc. Il me semblerait judicieux de préconiser d’emblée une approche parallèle des 4 domaines prioritaires (et non le thème « usager » en première approche, puis une étude subsidiaire des prolongements pour les 3 autres domaines), je m’interroge même sur le choix de l’évitement, effectué dans le texte.

Je suis inquiet de deux risques dans l’application :

• L’élaboration en phase 1 (cadre et contenus de l’évaluation) va susciter une « nouvelle usine à gaz », difficile à réaliser sur un temps court, sauf à prendre des contenus peu significatifs. Je crains un effet démobilisateur, ou pire, une importante mobilisation de type « montagne accouchant d’une souris ». La compensation est évidente : les ESSMS devront faire appel à des experts pour s’en sortir, ce sont ces derniers qui définiront, cadreront les contenus.
• L’insistance pour « un groupe projet ou une instance évaluative » avec mise à distance de toute hiérarchie, m’interroge : elle est justifiée nous dit-on (méthodologie reconnue dans le modèle « évaluation des politiques publiques ») mais cela ne me convainc pas (il existe d’autres terrains, des pratiques diverses). Je crois à la place des directions, présentes et impliquées, à l’écoute, ouvertes, et non à des seuls groupes projets qui pour aller au bout de leur tâche, devront s’adosser à « des experts » (le pouvoir de ces derniers ne me semble pas, dans ce cadre, légitime). Le texte présente ainsi, me semble t-il, une injonction paradoxale à l’égard de la place des directions.

Il sera donc intéressant, pour tous ceux qui, comme moi, utiliseront ces recommandations-ANESM non comme un bréviaire, mais comme un support intéressant pour construire les démarches, de transmettre à l’ANESM les réalités positives et les difficultés, voire les dysfonctionnements, générés par certains contenus.

Daniel GACOIN

Comments

[Rédigé par : Pascal TREFFOT]

Bravo pour "La dictature de l'intention", représentant des bénéficiaires j'aimerais le lire plus souvent.
Mais attention à ne pas prendre vos distances trop rapidement avec les démarches qualité.
Les systèmes de management de la qualité modernes et performants mettent en oeuvre des outils justement capables de limiter ou d'encadrer ces fameuses intentions (La seule exigence de conformité aux règles préétablies - largement insuffisante quoique malgré tout toujours nécessaire - remonte maintenant à plus de 20 ans).
D'autre part, les qualiticiens sont avant tout des généralistes de terrain : leur profil peut davantage intéresser les organismes habilités qui ne pourront missionner dans le cadre d'une évaluation externe à la fois un kiné, un directeur, un gérontologue, une IDE coordinatrice, un éducateur, un chef de service, une psychologue, une monitrice,etc....
D'autant plus que l'évaluateur devra rapporter la vision globale du fonctionnement de l'établissement concerné, les actions et résultats de l'évaluation interne et les effets induits pour les bénéficiaires , ceci pour toutes activités et spécialités confondues.
Pascal TREFFOT

[Rédigé par : christophe malabat]

juste une question / remarque :

... les qualiticiens ne sont-ils pas les techniciens d'une méthode : la démarche qualité... et ses outils...

Ils ne peuvent selon moi se prévaloir d'une compétence globale mais seulement technique les amenant nécessairement à s'entourer d'autres compétences théoriques, techniques mais aussi pratiques de l'ensemble des acteurs / professionnels d'un services ou établissement social ou médico-social !

... les organismes habilités pour l'évaluation externe auront du m al à regrouper toutes les compétences techniques spécifiques à un dispositif... la philosophie et l'éthique de la démarche retenue, la connaissance préalable du secteur / champ concerné, la climat d'intervention, la co construction d'une évaluation centrée sur le sens et non les résultats... devraient être le gage d'une évaluation externe adaptée voire de qualité !

salutations

christophe malabat
Réalités & Projets