À part le décret n° 2007-975 du 15 mai 2007 fixant le contenu du cahier des charges pour l’évaluation externe des activités et de la qualité des prestations des établissements et services sociaux et médico-sociaux (ESSMS), il existait jusqu’ici peu de littérature sur le sujet :
> Des textes généraux sur la question évaluative en action sociale et médico-sociale foisonnaient certes, pouvant être classés en trois grandes catégories : des textes hostiles (soit viscéralement, soit du fait de dérives ou méthodologies inadaptées), des textes militants plaidant pour des processus de normalisation/standardisation dans les ESSMS, des textes réalistes visant une alliance entre une philosophie « rationnelle/humaniste » des organisations et une culture professionnelle du travail social.
> Des textes spécifiques sur l’évaluation externe restaient rares : jusqu'en octobre 2010, existaient seulement « Conduire l’évaluation externe dans les établissements sociaux et médico-sociaux » de Pierre Savignat (Dunod, février 2010) et le « Guide de l’évaluation en action sociale et médico-sociale » de Daniel Gacoin (Dunod, juin 2010).
Les Cahiers de l’Actif ont comblé en partie ce manque en produisant il y a 2 mois un numéro double, entièrement consacré à l’évaluation externe. Pour mémoire, Les Cahiers de l’Actif sont publiés par Actif Formation, un organisme de formation professionnelle continue bien connu, situé à la Grande Motte (cliquer ici pour accéder à leur site). Les Cahiers de l’Actif proposent trois fois par an, sur une thématique de l’action sociale, des contenus regroupant, dans un même numéro, le point de vue d’une quinzaine d’experts du thème. La particularité de ces Cahiers : chaque expert y assume une approche dans un texte approfondi (au moins 15 pages) et accepte la diversité donc la confrontation des réflexions.
Le dernier numéro sur la préparation à l’évaluation externe s’inscrit dans cette veine. Seize contributions sont ainsi présentées autour de la commande évaluative et de ses enjeux, des balises réglementaires ou méthodologiques de l’évaluation externe, de l’articulation à trouver entre évaluation interne et externe. J’ai moi-même produit deux contributions, sur les balises réglementaires d’une part, et dans des propos conclusifs pour ce numéro sur la fonction d’accompagnement des évaluateurs d’autre part.
Il est intéressant de noter combien toutes les contributions présentent un spectre fidèle à la diversité des points de vue sur l’évaluation, même si sont sous-représentées : la catégorie des militants hostiles à l’évaluation (qui n’apportent pas de contenus spécifiques sur l’évaluation externe) et celle des praticiens dont je fais partie : parmi les quinze auteurs, quatre seulement, à ma connaissance, ont une pratique de l’évaluation externe.
Concernant la commande évaluative, on lira d’abord un article d’Hélène Cheronnet (voir mon billet du 23 décembre 2010 dans ce blog à propos de sa contribution à la revue Sociétés et jeunes en difficulté). Le contenu est généraliste, mais fort intéressant. Il est critique : l’évaluation prend sa place dans un contexte général de réforme de l’État, avec sa référence à l’accountability (« être comptable de ») et à la territorialisation, reliées à un « idéal gestionnaire » (efficience et efficacité des actions) dont rien n’assure la pertinence, mais qui devraient favoriser dans ce contexte « l’avancée du marketing social des organismes gestionnaires », une « gestion plus rationnelle des populations suivies », un « développement de l’innovation sur la base de l’augmentation de la productivité des secteurs stables ». Ce texte est néanmoins porteur d’une vision positive : l’évaluation constitue un processus et non une méthode statique figeant l’action, déconnectée des enjeux, et constitue également une démarche stratégique dépassant une simple production technique ou méthodologique, pouvant devenir « une interrogation sur le sens », « un processus dynamique formatif » pas « totalement neutralisé par le nouvel ordre technique et gestionnaire qui inspire aussi l’ensemble des orientations des politiques publiques ».
Concernant la commande évaluative, on lira également un article de Marcel Jaeger (professeur titulaire de la chaire de Travail social et d’intervention sociale au CNAM, auteur bien connu de notre secteur, qui a également préfacé mon Guide de l’évaluation en action sociale et médico-sociale), qui s’intéresse aux résistances des équipes professionnelles, déjà en place pour l’évaluation interne et à prévoir encore davantage pour les évaluations externes puisqu’elles sont confiées à des tiers indépendants. M. Jaeger appelle les équipes de direction à adopter une approche exigeante et non servile des évaluations, visant à renforcer le souci de l’autre et l’appréciation « des répercussions de l’esprit de responsabilité sur les pratiques ». J’ai beaucoup apprécié son questionnement sur les formations en cours concernant les évaluateurs externes, centrées sur l’acquisition de méthodes permettant de pratiques des évaluations externes en parallèle à des activités professionnelles ou à un statut de retraité. Pour ma part, je milite pour que soit intégré, dans les futures Hautes écoles pratiques en action sociale (HEPAS) et par convention avec l’État, un programme spécifique et reconnu de formation à l’évaluation en action sociale et médico-sociale, afin d’éviter l’anarchie du marché de formations privées, quelquefois décalées par rapport à l’esprit de l’évaluation des politiques publiques, parfois abusivement agressives dans leur communication de marketing et donnant ainsi et encore davantage une image négative de l’évaluation…
Trois articles (Pierre Savignat, Daniel Gacoin, Bertrand Dubreuil) donnent l’essentiel de ce qu’il est nécessaire de savoir en matière de réglementation, même si ces écrits étaient antérieurs à la parution du décret du 3 novembre 2010 (dates butoirs et calendriers des évaluations), en développant les pratiques incontournables selon les obligations formulées par les pouvoirs publics. Ces 3 articles introduisent ainsi ce qui conditionnerait toute méthode rigoureuse en évaluation externe et sont suivis de 3 autres articles, censés éclairer les méthodes :
> Un premier de François Charleux. Il présente l’évaluation externe, à juste titre, dans son articulation entre une approche normative (basée sur l’effectivité et la conformité de pratiques liées par exemple aux droits des usagers) et une approche formative (valorisation du projet par un regard sur les effets et impacts, formulation d’hypothèses, recherche d’une plus grande efficience et pertinence du projet). J’ai aimé cet article car il montre le chemin qui est en train de se réaliser sur le thème de l’évaluation… François Charleux en effet avait d’abord construit ses premiers apports autour des démarches qualité. Je l’avais d’ailleurs critiqué sur ce thème en 2009, car il me semblait ne pas avoir pris suffisamment en compte le repositionnement des pouvoirs publics (l’évaluation davantage centrée sur les effets et les impacts des actions que sur la conformité à des normes standards de pratiques). D’aucuns ont pu y lire une inimitié entre nous. Bien au contraire, j’ai toujours respecté et apprécié François Charleux que je considère comme un vrai partenaire. Son dernier article, comme nous nous le sommes dit directement, montre que nous avons des identités de vues : une acceptation commune de deux types de contenus (ceux sur l’effectivité, ceux sur la pertinence et l’efficience) pour l’évaluation et sans surenchère dans une exhaustivité obsédante d‘indicateurs, une même acceptation de l’interrogation des effets des actions. Nous différons sur quelques supports, mais par sur le fond.
> Deux autres articles suivent et sont plus inégaux. Un premier de Jean-Luc Joing avec plusieurs membres de ses équipes (il vise à mettre en valeur son approche dite « Éthique-Qualité-Performance », tout en s’inspirant fortement des démarches de certification, plaidant d’ailleurs pour la reconnaissance de formations d’évaluateurs certifiées par l’AFNOR), me semble apporter peu de méthodes. Un deuxième d’une conseillère technique en établissement, Annie d'Oliveira, repose des questions déjà bien connues : évaluation comme contrainte / évaluation comme élan.
Concernant l’articulation évaluation interne / évaluation externe, deux articles, un de Philippe Ducalet et l’autre de l’équipe d’Efficio menée par Jean-Louis Deshaies, resituent très finement la continuité et la complémentarité des 2 démarches. Un autre article de Jean-René Loubat, organisé autour du management par la qualité confirme la marche en avant de cet auteur vers une approche décalée par rapport à la commande des pouvoirs publics en matière d’évaluation : il plaide inlassablement pour une approche rationnelle / normative / standardisante dans l’interrogation des pratiques, présente une méthode rodée, je pourrais même dire clés en main, mais surtout, ne répond pas dans cet article aux questions spécifiques que pose l’évaluation externe. J’ai encore moins été convaincu par un article de Gilbert Gimeno (formateur d’Actif) visant à détailler, pour l’évaluation externe, une recommandation de bonnes pratiques professionnelles de l’ANESM en produisant des tableaux permettant des appréciations des pratiques par cotation (allant de A à D, rappelant la tentation, dénoncée par Laurent Barbe du : Fait, En cours, A faire – cliquer ici pour accéder à son savoureux propos dans son blog). J’ai trouvé l’article de G. Gimeno inquiétant car présentant une utilisation problématique des recommandations ANESM, prises à la lettre plutôt que comme support à des modes d’interrogations à développer à partir de leur contenu. Un dernier article (Marie-Thérèse Novelle, directrice de CHRS et Jacques Papay, consultant évaluateur) présente une approche particulière en évaluation interne (avec forte participation des usagers et des professionnels) comme la meilleure des garanties pour se préparer à l’évaluation externe.
Les deux articles conclusifs apportent des contenus spécifiques :
> Le premier que j’ai écrit, se veut une contribution à une dynamique d’évaluation externe construite autour d’un principe de cheminement et d‘accompagnement, en tentant de le développer dans ses fondements méthodologiques indispensables (notamment pour la diversité des supports dans le recueil de données).
> Le deuxième de Francis Alföldi, consultant bien connu auteur de plusieurs ouvrages sur l’évaluation et porteur d’une méthode qui lui est propre. Cet auteur s’appuie sur mes propres propos (dans le Guide de l’évaluation en action sociale et médico-sociale) chiffrant le temps moyen d’une évaluation externe dans un établissement classique (pour une soixantaine d’usagers) à 10 jours. Il confirme cette appréciation, mais insiste : 10 jours pour l’évaluation externe après les dix journées au moins pour l’évaluation interne, « Cela fait vraiment beaucoup, dit-il, Cela fait trop ». Sa conclusion : l’avancée des évaluations risque se traduire par deux phénomènes, l’hypertrophie des procédures au détriment de la prestation, la disparition à terme de l’évaluation interne. Ces 2 risques, s’ils étaient avérés, seraient particulièrement dommageables.
Ce dossier est particulièrement important, montrant que, sur le spectre qui va de la mesure des performances au système qualité, il existe en effet un espace, particulier, celui de l’évaluation tant interne qu’externe : une dynamique possible, établie entre la continuité (garantie d’une qualité de prestations stables et adaptées) et la recherche de l’innovation, entre le regard critique et l’apprentissage collectif.
Daniel GACOIN
Les commentaires récents