Daniel Gacoin

A écouter, très intéressant (+ + +) sur les transformations des métiers et des identités professionnelles : un colloque du Collège de France

.
Dans la foulée de ma chronique du 23 juillet 2009 et de celle du 30 août 2009, concernant des ouvrages sur la réforme de l’État, je ne résiste pas au plaisir de vous proposer d’écouter 2 exposés, lors d’un colloque organisé par Alain Berthoz, professeur au Collège de France , les 22 et 23 juin dernier. Le titre du colloque : « Travail, Identités, Métier : quelles métamorphoses ? ».

L’ensemble est particulièrement impressionnant avec une vingtaine d’exposés (dont ceux, notables, de Michel Lallement, sociologue du travail et de Pierre Rosanvallon, le très connu historien de la crise de l'État Providence et de la nouvelle question sociale, etc.).

J’ai surtout été sensible à l’exposé de mon ami Pierre FERRERI (vous pouvez cliquer sur le lien souligné pour écouter son exposé), responsable du département Relations Internationales à l’École Nationale de la Protection Judiciaire de la Jeunesse à Roubaix. Son exposé concerne le lien entre les réformes de l’État (les évolutions structurelles et culturelles générées, y compris le management public) et leurs effets sur l’identité professionnelle ou les modalités du travail dans la fonction publique. C'est bien intéressant sur l'évolution de la fonction publique, notamment son étonnement et sa proposition à la fin de l'exposé.

J’ai également été sensible à l’exposé de Robert Castel (vous pouvez également cliquer sur le lien souligné pour écouter cet autre exposé), dont chacun sait combien j'apprécie ces ouvrages, sur les métamorphoses des identités sociales, avec notamment, à la suite du délitement de la société salariale, l’effritement des identités professionnelles dans l’avènement du précariat.

Bonne écoute…

Daniel GACOIN

Réformer l’État (chronique 2) : une passionnante sociologie des politiques de réforme de l’administration avec le livre « Réinventer l’État » de Philippe Bezes

.
Un nouvel ouvrage sur un thème sensible …

Après ma chronique de juillet sur le livre « La division par zéro, essai de gestion et de management public », je vous invite à la lecture passionnante d’un ouvrage édité par les PUF : « Réinventer l’État : les réformes de l’administration française (1962 – 2008) ». Son auteur, Philippe Bezes est chercheur au CNRS et enseignant à Sciences Po.

… sur une question importante

L’auteur part de constats...

• Le paradoxe de la réforme de l’État : prégnance du discours (sa « réussite sociale » depuis trente ans), faible efficacité. Il est lié à la progression d’une doctrine (le « new public management », le NPM) : efficacité non avérée, mais approche transformatrice sur une lame de fond dépassant la France (donnant le sentiment d’une idéologie dominatrice).
• L’échec de la réforme de l’État ne peut éliminer les transformations facilitées par ce discours (par la place qu’il occupe, par les séquences et contraintes qu’il génère).
• Via le NPM, la réforme de l’État s’enracine dans une industrie de standards (objectifs, indicateurs et mesures de performance), destinée à régler les pratiques administratives et que les responsables politiques tentent de relier aux idéaux d’un État transparent à lui-même et à ses citoyens.

... pour aborder sa question centrale : « comment, pourquoi et avec quels effets, des élites politiques et administratives développent-elles depuis quarante ans, à grand renfort de publicité, des politiques publiques spécifiques, destinées à prendre en charge les problèmes posés par le système administratif, à rationaliser les fonctionnements des bureaucraties, voire à en transformer les règles constitutives, élaborées depuis le XIXe siècle ? ».

.
Partir d’approches ouvertes …

Pour l’auteur, la période « XIXe siècle - années 1950 » avait avancé l’administration vers une forme d’idéal Weberien (répartition des tâches dans une vaste organisation verticale, fondement impersonnel de l’autorité, recrutement au mérite sur la base de compétences reconnues par diplôme, protections institutionnelles, système de règles formelles, séparation fonctionnaires / moyens d’administration). La période « années 1960 – 2000 » remet en cause cet idéal « au nom de nouveaux savoirs économiques et gestionnaires fondus dans une doctrine managérialiste ». Le NPM y joue le rôle de support critique, avec des solutions tirées d’un puzzle doctrinal basé sur 5 principes :

• Séparation fonctions stratégique et de pilotage / fonctions opérationnelles,
• Fragmentation des bureaucraties verticales : création de petites unités administratives autonomes (éventuellement des agences), décentralisation, autonomisation ou prise en charge par soi-même de groupes d’usagers,
• Recours aux mécanismes de marché : concurrence (entre acteurs publics, avec le secteur privé), incitations individualisées, externalisation de l’offre (privatisation)…,
• Transformation des structures hiérarchiques par renforcement des responsabilités et de l’autonomie des échelons.
• Mise en place d’une gestion fondée sur la réalisation d’objectifs et sur la mesure / évaluation des performances dans le cadre de programmes contractualisés.

… et de concepts sociologiques...

L’auteur avance son hypothèse : les politiques de réforme sont la résultante « d’une concurrence entre acteurs centralistes pour le monopole du contrôle et de la régulation de l’État ». S’il reconnaît l’influence du NPM, il en critique l’explication universaliste : une pénétration non générale, une vision unidimensionnelle peu pertinente, une approche normative (vision par « succès » ou « échec ») peu adaptée, et des rationalités des institutions redécouvertes depuis peu. Il développe alors une approche sociologique avec 4 concepts structurants :

• les répertoires des réformes (ensembles de représentations sur ce qu’est, ce que devrait être l’administration et sur les modèles d’action pour intervenir sur elle),
• leurs configurations (systèmes d’interdépendances entre 3 groupes d’acteurs collectifs des réformes : politiques, hauts fonctionnaires, experts),
• leurs trajectoires (mise en œuvre réelle des réformes, avec des ruptures et régularités générées d’une configuration à une autre),
• leurs institutions (formes organisées et diverses de l’administration).

… déclinés en 5 configurations...

Ces concepts sont étudiés (passionnant !) dans 5 périodes (configurations) de réforme :

• La période 1962-1972 - configuration appelée « Le souci de soi de l’État » (promotion d’un idéal de gouvernement rationnel de l’administration). On y trouvera la constitution d’une économie de l’administration au service d’une science du gouvernement de l’État, l’utilisation de la sociologie (M. Crozier par exemple) pour penser les maux de l’administration, la rationalisation des choix budgétaires (RCB), l’association de l’administration à un programme de « nouvelle société ».
• La période 1972-1981 - configuration appelée « Le réformisme des contre-pouvoirs » (l’administration au jeu de la politique). On y trouvera la publicisation (mise en récit par les médias) de l’administration en problème public, puis sa socialisation (discours basés sur la défense des administrés), puis sa politisation. Cela aboutira au réformisme giscardien des contre-pouvoirs face à la bureaucratie, avec les droits des administrés, et enfin à la professionnalisation du management public.
• La période 1981-1984 - configuration appelée « Que faire de l’État ? » (les contradictions d’une conjoncture critique). On y trouvera des dynamiques contradictoires (décentralisation versus réaffirmation du statut), puis de 1282 à 1984 le tournant (qualifié de « néo-libéral discret ») de l’intervention budgétaire sur l’administration, laissant un résidu symbolique à la « réforme administrative ».
• La période 1984-1991 - configuration appelée « Le compromis modernisateur». On y trouvera l’ouverture de la question de l’efficacité administrative au chevet de laquelle seront convoqués des experts. 4 catégories pour ces derniers : les anciens promoteurs de la RCB (qui développeront avec succès la nécessité de l’évaluation des politiques publiques), les tenants du management public, les promoteurs des cercles de qualité (dont cabinets de consultants, parlant de processus visant à humaniser le service public), les sociologues crozieriens interrogeant le sens de l’État. Ils vont développer l’idée d’une articulation entre la modernisation par contrainte et par valorisation des acteurs (agents et bénéficiaires).
• La période 1991-1997 - configuration appelée « La genèse de l’État stratège » (l’influence croissante du NPM dans la réforme de l’État). On y trouvera d’abord le lien entre la réforme de l’État et 3 questions incidentes (dégradation budgétaire, l’Europe, la crise de l’État territorial), des concurrences entre visions de ministères transversaux (Intérieur, Fonction Public, Budget), puis, sous la pression de hauts fonctionnaires l’appropriation de la nouvelle gestion publique par les hauts fonctionnaires, l’État devenu « stratège » hésitant alors quant aux routes à prendre.

.
… avec leur prolongement actuel

L’auteur a malheureusement peu développé (un petit reproche à lui faire de même que pour sa faible étude des pratiques des collectivités territoriales), les périodes (configurations) récentes :

• la période 1998-2007 - configuration appelée « Le changement des règles » : avancée de la  LOLF,  développement fort des droits des usagers (lois incantatoires, non assorties de moyens, parfois, sur les droits fondamentaux) au détriment des biais de satisfaction des agents, recherche contradictoire d’une territorialisation réussie,
• la période 2007-2008 - configuration appelée « L’appropriation politique avec tournant néo-managérial » : avancée forte de l’injonction du pouvoir politique comme moteur du changement, avec contrainte de performance sous la pression budgétaire (au sein d’une Révision Générale des Politiques Publiques, la RGPP), développement des agences et sous-traitances, instrumentalisation des experts... Je dois dire qu’il serait intéressant d’avoir le point de vue de l’auteur sur les retournements en cours après ce même tournant (engagements financiers majeurs dans le secteur privé, sans critères de performance, impératifs budgétaires liés à l’augmentation de la dette, perspective de territorialisation régionaliste) et sur les effets qu’ils génèreront.

Les perspectives ouvertes pour l’action sociale

L’ouvrage va bien plus loin qu’un commentaire sur le NPM (resitué dans sa place et relativisé par d’autres influences) : l’enjeu de contrôle de la régulation des « problèmes posés par le système administratif » y est développé dans une dynamique concurrentielle où les supports (évaluation, renouveau, contraintes, décentralisation, concurrence, utilisation d’agences etc.) ne sont que des vecteurs liés aux phases de prédominance de tel ou tel groupe d’acteurs (politique, hauts fonctionnaires, experts).

En matière d’action sociale et médico-sociale, après les configurations précédentes, l’accélération actuelle du processus montre une prédominance nouvelle du politique, avec élimination de l’influence des corps intermédiaires dans la définition des politiques et programmes, une autonomisation des entités comme opératrices avec contractualisation sur des résultats, des évaluations centrées sur les performances, un développement fort des agences (les ARS par exemple avec de nouveaux modes de management des agents publics réaffectés en leur sein).

Il me semble utile de repenser les réformes dans ce secteur en les reliant à la réforme nécessaire de l’État, disons plutôt de l’action publique, allant dans le sens de son efficience et de sa lisibilité. Néanmoins, les voies suivies aujourd’hui me semblent s’éloigner de son moteur central : l’élaboration de compromis entre parties prenantes (politiques, promoteurs et contrôleurs des programmes, prestataires publics ou privés également associés à l’observation sociale, agents et salariés, bénéficiaires), de compromis établis sur des intérêts conjoints et à long terme, de « compromis modernisateurs » co-construits (et contractualisés) avec lisibilité des ambitions et des résultats obtenus.

Daniel GACOIN

Pour aller plus loin dans l’évaluation sociale et médico-sociale : dépasser le cadre franco-français… entrer dans un cadre européen…

.
Les approches de l’ANESM…

Le lecteur de mes 4 derniers billets, sur ce blog, aura compris que je considère que l’ANESM, dans son dernier texte de recommandations pour la conduite de l’évaluation interne (publié le 27 juillet 2009), a pris une position fortement teintée par l’influence des « évaluationnistes » par rapport aux « qualiticiens ».

… et mes inflexions

Je pense, comme le groupe de travail qui a rédigé cette recommandation, qu’en évaluation, mesurer, puis corriger la qualité des pratiques par un regard sur les écarts entre ces pratiques et des standards (ou référentiels) établis par avance, généralisés, est une erreur. C'est même une contradiction avec la définition de l’évaluation d’une activité, d’une politique ou d’un programme : l’évaluation regarde, dans ce cadre, la pertinence des objectifs, la cohérence et l’effet-impact des actions engagées.

Néanmoins, je considère que l’évaluation sociale et médico-sociale dans les ESMS comporte également une évaluation de la qualité des prestations (article 22 de la loi du 2 janvier 2002), et notamment une évaluation de l’effectivité des droits des usagers (décret DGAS du 15 mai 2007).

C’est ce qui m’amène à émettre une position qui se veut équilibrée :

• d’une part des évaluations qui comportent un regard sur des actions au regard de processus identifiés ou d’actions « normées », mais rédigés de manière spécifique pour chaque structure à partir de ses objectifs propres (l'objectif ciblé étant un préalable à tout "process"). Je souhaite que dans cette partie, on évite le mythe de l'exhaustivité en se centrant sur un nombre limité de critères et d'indicateurs.
• d’autre part des évaluations qui comportent une appréciation, avec un regard sur la pertinence (au regard des besoins) des objectifs, sur la cohérence et les effets-impacts des actions (au regard des objectifs). Dans cette deuxième partie, je souhaite également un nombre limité de critères et d'indicateurs .

Voir plus large…

J’ai été très intéressé  de recevoir la 4ème version (de juillet 2009) du groupe de travail européen mis en place sur la qualité dans les Services Sociaux d’intérêt Général (SSIG). Un petit rappel tout d’abord :

• La directive services de l’Union Européenne (du 12 décembre 2006) a établi une liberté d’établissement et d’action des entreprises de service, et la promotion de la qualité de leurs prestations. Elle a exclu les Services d’Intérêt Général (SIG), comprenant services à la personne, Services Sociaux d’Intérêt Général (SSIG), Services d’Intérêt Économique Général (SIEG) de l’application de la directive. Elle renvoie en effet pour les SIG à une directive spécifique en décembre 2009.
• La spécificité des SSIG est maintenant bien établie, mais il s’agit de la faire valoir dans des options, justifiant les financements publics, dans la directive de décembre 2009 : notamment  celle de leur qualité et de son évaluation.
• Un collectif interassociatif français (le collectif SSIG, dont un des porte-parole est Laurent Ghekiere, de l’Union Sociale pour l’Habitat) est représenté à Bruxelles et œuvre, dans des groupes de travail, pour négocier les contenus de la directive spécifique SSIG. Un de ces groupes de travail est constitué par le Comité Européen de la Normalisation autour d’un projet de Cadre Commun sur la Qualité (CCQ) dans les SSIG.

… et plus juste

La 4ème mouture de ce projet de CCQ est fort intéressante, car elle pose une vision équilibrée de la question de la qualité dans les SSIG avec :

• Un nécessaire regard dans des démarches d’amélioration continue de la qualité régulière sur : la pertinence des réponses aux besoins des usagers (c’est le mot bénéficiaire qui est employé), sur les résultats (effets, avantages apportés) à ces derniers
• Un nécessaire regard sur des modalités (non uniquement des effets), dans le cadre d’une assurance qualité : et notamment le respect de critères de qualité concernant l’organisme prestataire (transparence, bonne gestion, etc.), les compétences du personnel (formation, déontologie, etc.), des caractéristiques du service, des conditions requises (cadre, coût abordable, accessibilité, clarté du cadre législatif, etc.).

 En clair, l’Union Européenne, sous présidence suédoise, devrait valider en décembre 2009 une double demande pour les SSIG : une démarche d’amélioration continue de la qualité (dont regard sur pertinence et effet-impact des actions) et une démarche d’assurance qualité (des modalités contrôlées et assurées) sur quelques points clés.

… avec une approche qu'il conviendrait de prendre en compte

Il me semble donc indispensable que cette double approche inspire un peu plus l’ANESM, sauf à admettre une approche décalée, c’est-à-dire à terme recalée par la législation européenne.

Daniel GACOIN

Des recommandations de bonnes pratiques pour la conduite de l’évaluation interne, publiées par l’ANESM le 27 juillet 2009 (1) : un texte qui fera date …

.
Une loi consacrant une obligation …

La loi du 2 janvier 2002 (article 22) a posé l’obligation pour les Établissements et Services Sociaux et Médico-Sociaux (ESSMS) de procéder régulièrement à l'évaluation de « leurs activités et de la qualité des prestations qu'ils délivrent ».

… pleine d’ambiguïté

Cette obligation nouvelle a suscité de multiples questions. Les hésitations ont été nombreuses (40 % des 35 000 ESSMS n’ont pas encore, 7 ans après la loi, abordé le sujet). Quand des réalisations ont été engagées, les approches, diverses, s’inspiraient majoritairement de démarches qualité, d’autant que des experts en nombre ont proposé de transposer les méthodes expérimentées dans d’autres contextes (démarches qualité pour les entreprises, ou de certification de type ISO ou liées à un label, démarches d’accréditation du secteur sanitaire). La loi l’avait facilité : elle indiquait que l’évaluation d’un ESSMS doit se réaliser « au regard notamment de procédures, de références et de recommandations de bonnes pratiques professionnelles validées ou, en cas de carence, élaborées, selon les catégories d'établissements ou de services, par un Conseil National de l'Évaluation Sociale et Médico-Sociale (CNESMS), placé auprès du ministre chargé de l'action sociale ». Ceci a entraîné l’idée, devenue presque hégémonique, que, pour évaluer il fallait partir (construire) des référentiels (de pratiques) et ensuite interroger la conformité à ces référentiels (d’où la forte influence des démarches qualité). Toutefois, la littérature spécialisée sur l’évaluation, extérieure au secteur social et médico-social, évoquait une appréciation basée sur la mesure des effets et impacts d’une action et non sur un examen de la conformité à des standards. Alors ? Examen des résultats des actions ou examen de leur conformité à des standards ? La réponse à cette question est restée ambigüe depuis 2002.

… et qui trouve enfin une clarification…

Le 27 juillet 2009, l’Agence Nationale de l’Évaluation Sociale et Médico-sociale (l’ANESM, qui a remplacé en 2007 le CNESMS créé en 2005) a publié un texte de recommandations de bonnes pratiques professionnelles concernant : « La conduite de l’évaluation interne dans les établissements et services visés à l’article L.312-1 du Code de l’Action Sociale et des Familles ». Le texte (téléchargeable sur le site de l'ANESM) apporte une réponse claire aux questions et ainsi, il fera date :

Ce n’est pas la conformité ou l’effectivité de prestations qu’il convient d’examiner dans une évaluation mais :

1. La pertinence des actions au regard des besoins,
2. Leurs effets, notamment dans leurs écarts avec les objectifs de départ.

… censée clore les étapes antérieures du débat

Depuis 7 ans, des constructions contradictoires étaient proposées :

• En 2002, est officialisé le principe général pour les ESSMS : une période d’autorisation de 15 ans comprenant 3 évaluations internes et 2 évaluations externes. Les ESMS déjà autorisés le devenaient jusqu’en 2017, avec un délai de 5 ans pour la première évaluation interne, et un délai de 7 ans pour la première évaluation externe.
• De 2003 à 2008, l’entrée en masse des démarches et référentiels qualité : les méthodes diffusées majoritairement lient l’évaluation à une « démarche d’amélioration continue de la qualité » et promeuvent les démarches qualité, leurs référentiels (énoncés de procédures souvent) et outils de mesure de conformité (parfois très « pifométriques »).
• En 2004 la parution des premiers écrits officiels, centrés sur les démarches qualité : la DGAS produit en février 2004 une note d’information qui indique que l’évaluation, pour une structure, n’est qu’une étape dans la « démarche d’amélioration continue de la qualité », « la recherche de la qualité passant par un regard critique et objectivé sur le fonctionnement de la structure ». L’amélioration continue de la qualité comprendra, est-il ajouté, « une évaluation de fonctionnement, une analyse des points forts et points faibles, la mise en œuvre d’un plan d’amélioration des points faibles, une nouvelle évaluation et la mise en œuvre des ajustements nécessaires ». La suite parle clairement de démarche qualité, de l’usage de référentiels (existants ou à élaborer), à la base des évaluations : « la conformité à des standards » est prioritaire, est-il écrit. En parallèle, la DGAS publie en mars 2004 un guide méthodologique ayant pour titre « Démarche qualité - évaluation interne dans ESSMS et recours à un prestataire ». On y parle clairement démarche qualité, avec des termes comme « évaluation des procédures, des organisations ou des pratiques professionnelles », même s’il existe une petite inflexion avec la référence à une « évaluation des résultats ». Enfin, un groupe de travail élabore à la DGAS en juin 2004 un projet de « cahier des charges pour l’évaluation interne » : il y est question de « référentiel, un texte à considérer comme opposable », « l’évaluation ne pouvant se réaliser sans référence à un standard ». Des thèmes de contenus sont soulevés (cadre institutionnel transparent, gestion efficace, usager au cœur du dispositif, gestion de la qualité du fonctionnement) qu’il conviendrait, nous dit-on, de traduire en objectifs. L’ambiguïté existe donc (référence première à des standards mais également mention de l’examen d’objectifs), mais le texte ouvre la porte à tous les vendeurs de démarches qualité et de référentiels.
• A l’extérieur du secteur social et médico-social : La littérature spécialisée sur l’évaluation des politiques publiques (non celle des organisations) est pourtant liée à la mesure des besoins (« évaluation ex ante ») et à la mesure des effets (« évaluation concomitante » ou « ex post »). Le Conseil National de l’Évaluation côté autorités publiques, la Société Française d’Évaluation (créée en 1999, regroupant 250 adhérents dont 140 chercheurs ou consultants) côté opérateurs, confirment bien l’orientation : l’évaluation des politiques ne concerne pas la conformité des pratiques à des référentiels, mais un examen critique de la « pertinence des politiques à l’égard de besoins » et « des effets ou impacts de ces politiques ».
• Les travaux du CNESMS en 2005-2006 : Le CNESMS produit en janvier 2006 une note d’orientation cadrant ce qu’on appelle « procédures, références et recommandations de bonnes pratiques professionnelles ». L’approche est en partie normative (passages obligés, interdits éventuels, énoncé du sens, exigence au regard d’objectifs, séquences ordonnées d’actions ou d’intervention dans une situation définie), facilitant l’ambiguïté : l’évaluation en référence à des standards et avec étude des effets-impacts. Le CNESMS produit également des orientations (2005) puis un guide (septembre 2006) pour l’évaluation interne : est évoqué clairement l’objet de l’évaluation (appréciation de la cohérence, la pertinence, l’efficacité, l’efficience, l’impact des actions conduites), éloigné des démarches qualité. Néanmoins, le questionnement pratique préconisé intègre le regard sur les mises en place effectives d’actions et pose une liste de leurs contenus,  en 4 chapitres, qui rend encore les évaluations compatibles avec les référentiels qualité.
• Le cadrage par les autorités publiques en 2007 : le décret du 15 mai 2007 concernant le cahier des charges de l’évaluation externe est le premier texte qui avance d’une manière conséquente, même s’il reste des ambiguïtés (mise en œuvre des actions, description des modalités, premier volet consacré à l’effectivité des droits des usagers), sur l’appréciation des actions au regard d’objectifs, de leur pertinence, cohérence effets, dans une vision correspondant au « modèle d’évaluation des politiques publiques ».
• Les travaux de l’ANESM en 2008 : l’Agence confirmait en avril 2008 l’approche du guide 2006 du CNESMS, avec 2 inflexions : une plus grande attention à l’examen des effets des actions, une proposition forte de sortir de l’exhaustivité des contenus en se centrant dans un premier temps sur des dimensions prioritaires (thème de l’usager par exemple et processus clés correspondants à des priorités). On penche vers l’étude des effets-impacts et on s’éloigne de l’étude d’une conformité à des standards. Reste une légère ambiguïté : il est proposé d’étudier les processus, avec un regard sur les pratiques, ce qui rend encore possible, pour leurs défenseurs, un travail à partir de référentiels. En parallèle, des recommandations de bonnes pratiques professionnelles (9 thèmes) publiés par l’ANESM proposent des contenus larges, avec peu de prescriptions ou proscriptions précises, néanmoins toujours structurés autour de l’effet recherché ou de l’impact à promouvoir auprès des usagers.
• En 2009, le rythme d’évaluation interne et externe est modifié : La loi HPST adoptée le 21 juillet 2009 ouvre la porte à une rythme de 2 évaluations internes et 2 évaluations externes par période de 15 ans (en fonction d’un décret à venir) et à une date butoir décalée (2017) pour les premières évaluations (internes et externes) à réaliser par les ESSMS en place avant 2009 (un décret à venir également).

Après ces étapes, et malgré une majorité, sur le terrain, de démarches proches des démarches qualité (avec référentiel extérieur ou élaboré en interne), la recommandation de juillet 2009 clarifie la donne, en proposant une méthodologie : demander une appréciation de la réalisation d’objectifs (pertinence et effets des actions). À noter : la clarification proposée s’appuie sur une reprise, dans les textes réglementaires, de tous les contenus qui situent l’évaluation des ESSMS sur l’axe du « modèle évaluation des politiques publiques » (pertinence, effets-impacts, efficience), et non sur l’axe du « modèle démarche qualité ou certification ». Ce n’est pas un changement de doctrine complet, mais néanmoins un vrai virage...  et il va surprendre.

Le texte (72 pages) mérite de nombreux développements, mais en résumé, l’ANESM positionne l’évaluation dans une démarche en 4 phases :

• Phase 1 - La définition du cadre évaluatif : identification des fondements des activités, des besoins des populations, des objectifs des accompagnements,
• Phase 2 - Le recueil d’informations fiables et pertinentes sur les réalités,
• Phase 3 - L’analyse et la compréhension des informations recueillies,
• Phase 4 - L’élaboration du plan d’amélioration du service rendu et son pilotage à venir.

Le texte écrit ainsi, de manière ferme, qu’il conviendra que chaque objectif soit clarifié, traduit dans des engagements (actions, ressources mobilisées), avec des modalités d’articulation ou organisationnelles, décliné dans des effets attendus ou recherchés. L’évaluation visera ainsi en phase 2 une appréciation de la réalisation des objectifs, à partir d’un constat, analysé, des effets ou impacts des actions engagées, accessoirement après description de mises en œuvre. J’apprécie pour ma part la sortie des documents standardisés et le travail plus ciblé autour des valeurs, missions, besoins, objectifs spécifiques. Il me semble que le progrès est indéniable, puisqu’il rend nécessaire une individualisation forte des approches, réellement conçues comme des démarches projets.

Daniel GACOIN

Des recommandations de bonnes pratiques pour la conduite de l’évaluation interne, publiées par l’ANESM le 27 juillet 2009 (2) : une victoire à la Pyrrhus ?

.
La victoire d’une mouvance…

Les recommandations de bonnes pratiques pour la conduite de l’évaluation interne, publiées par l’ANESM le 27 juillet 2009, consacrent la victoire des « évaluationnistes » (favorables au « modèle évaluation des politiques publiques », avec majoritairement des experts-universitaires) sur les « qualiticiens » (promoteurs des démarches qualité ou de certification, ou spécialistes de la gestion des risques et de l’accréditation, majoritairement des experts-consultants).

L’expression « évaluationniste » est inventée ici. L’ouvrage le plus clair (et absolument remarquable) sur cette approche en action sociale et médico-sociale est un livre de  Pierre Savignat (Évaluer les Établissements et Services Sociaux et Médico-sociaux, Dunod, février 2009). Il présente une défiance forte (parfois très simplificatrice) des démarches qualité.  L’auteur est membre du Conseil Scientifique de l’ANESM, a été présent dans le groupe de travail sur les recommandations-ANESM (également en lien avec des représentants de la Société Française de l’Évaluation, la SFE, organisme regroupant une majorité d’experts privés). Si certains contenus de ces recommandations-ANESM reprennent, parfois mot pour mot, des contenus du livre de Pierre Savignat, étonnamment, elles n’ont pas repris une de ses propositions (sa concession à l’approche par processus identifié ou référentiel qualité) parlant d’apprécier l’effectivité des actions, à côté de l’appréciation de leur pertinence, leur cohérence, leur impact, leur efficacité, leur efficience.

… révélatrice d’une approche

Les « évaluationnistes » m’en voudront certainement de les présenter ainsi :

• Des chercheurs et experts spécialisés dans l’évaluation des politiques publiques (y compris ses développements territorialisés, ou ses programmes contractualisés, etc.) : ils se réfèrent à une approche importée en France à partir à partir de la fin des années 1980 (rapport du Commissariat du Plan de 1986, rapport Viveret de 1989). Elle existe depuis bien longtemps dans les pays anglo-saxons, notamment les Etats-Unis.  Cette approche a été portée pendant 10 ans par un Conseil National de l’Évaluation : il avait remplacé en 1998 le Conseil Scientifique de l’Évaluation créé en 1990, il a lui-même été remplacé en 2008 par une Mission de l’évaluation des politiques publiques.
• Un ensemble hétéroclite d’acteurs : ils se référent majoritairement à des écoles de pensée proches de la socio-économie et la sociologie des politiques, les évaluateurs centrés sur les pratiques (et leur qualité), sur les démarches cliniques ou la sociologie des organisations y sont minoritaires. L’unité n’est pas acquise : à preuve la difficulté qu’a eu la SFE à adopter une  charte de l’évaluation et les principes de son utilisation.
• Des acteurs qui ont construit une activité sans faire autorité ni bénéficier d’une reconnaissance publique claire. Deux éléments transversaux sont repris par tous : définition (« juger de la valeur d’une politique, d’un programme, d’un dispositif ou d’activités au regard de critères explicites et sur la base d’informations spécialement rassemblées et analysées »), étapes d’une méthodologie (1.Élaboration de critères, 2. Collecte d’informations systématiques et diversifiées, 3. Appréciation critique en référence aux critères, puis préconisations). Mais les approches sont multiples, y compris dans le rapport aux commanditaires. La charte de l’évaluation (SFE) n’est pas validée par les pouvoirs publics. Il n’existe pas un savoir, une école de formation, ni même une légitimité d’experts pour l’évaluation des politiques publiques : les pouvoirs publics ont de nombreux dispositifs, concurrents, à leur disposition, chacun avec des outils différents. Pourtant, ses promoteurs la présentent comme un modèle pour toute évaluation : pour apprécier une politique ou activité publique cela se comprend, mais s’il s’agit d’une dynamique organisationnelle, inter-institutionnelle ou de la qualité de prestations, d’une compétence, c’est plus délicat.
• Des acteurs privés qui installent un marché : il est en développement, mais encore limité, et construit jusqu’en 2007 par consensus avec l’État ou les commanditaires publics : distance, responsabilité respective claire, méthodologie basée davantage sur le qualitatif que sur le quantitatif, etc.
• Des acteurs qui mettent à distance la donne nouvelle créée depuis 2 ans : cette dernière est visible notamment dans la Révision Générale des Politiques Publiques, la RGPP (qui donne un poids important au ministère du Budget, confié à un ministre ancien dirigeant du cabinet Arthur Andersen) : la RGPP a consacré l’idée d’équipes d’audit passant au crible les services et dépenses de l’État, notamment pour les politiques sociales, afin de réorienter l’action publique et les moyens affectés (en baisse, évidemment). Dans cette donne nouvelle, le couple résultat / coût est prédominant pour l’appréciation d’une activité ou d’une politique : l’évaluation (gardant l’aspect impact, effet, pertinence, cohérence des actions au regard d’objectifs) se rapproche nettement aujourd’hui de l’appréciation dominante de l’efficience (résultat/coût). À noter dans ce contexte : les pouvoirs publics ont recentré et limité l’usage des experts privés, en affirmant que l'évaluation doit devenir une pratique constante, mais que les instruments de l'évaluation existent au sein de l'État, en créant la Mission d’évaluation des politiques publiques, rattachée aux moyens du Centre d'Analyse Stratégique (sous la responsabilité du premier ministre) pour produire des évaluations dans des délais adaptés à l'accélération de l'action publique. Disons même que l'État, depuis 2 ans, n'a pas vraiment repris, pour ses commandes évaluatives, les critères de la charte de la SFE.

Le modèle des « évaluationnistes » élude, en action sociale et médico-sociale, l’évaluation des prestations (le terme vient du latin « praestatio », signifiant l’action d’acquitter ce qui a été garanti, et définit « une fourniture, en nature ou en espèces, liée à une obligation ou un engagement » : cette définition suppose, en évaluation, l’examen d’une effectivité et parfois même d’une conformité à l’obligation ou l’engagement). Le modèle des « évaluationnistes » privilégie l’évaluation des activités : Pierre Savignat le montre dans son livre déjà cité, en affirmant par glissement subtil que le législateur et les pouvoirs publics parlent d’estimer la valeur d’un ESSMS par l’appréciation de la portée, l’utilité sociale, l’impact, l’efficience de ses activités. Pourtant l’article 22 de la loi (2 janvier 2002) parle de l’évaluation « des activités ET de la qualité des prestations ».  Le décret du 15 mai 2007 affirme même que l’évaluation comporte un premier volet sur l’effectivité des droits des usagers, ce qui est totalement occulté dans le texte de l’ANESM.

.
Des changements à terme …

La position adoptée demandera des révisions de pratiques, à terme, pour une grande partie des accompagnateurs et des ESSMS : adaptation voire changement de méthodes, sortie de l’utilisation de référentiels clés en main, mise à distance des processus de type démarches qualité…  C’est plutôt une bonne nouvelle tant la standardisation des contenus de la qualité nous guettait.

… mais une victoire à la Pyrrhus ?

J’aurai tendance à évoquer un scénario pessimiste : les préconisations de l’ANESM pour l’évaluation ne seront mises en œuvre que par une petite minorité d’ESSMS et de cabinets, ce qui entrainera d’autres choix à terme…

• Les « qualiticiens » sont en effet majoritaires parmi les cabinets, fédérations, organismes de formations qui accompagnent les ESMS (également parmi les 113 cabinets habilités pour réaliser des évaluations externes).
• Les évaluations réalisées jusqu’ici dans les ESSMS se sont davantage inspirées des démarches qualité (énoncé de critères, examen de la conformité des pratiques) que de l’appréciation de la pertinence et des effets des actions, au regard d’objectifs.   
• Le risque d’entrée dans une nouvelle « usine à gaz » avec ce texte de référence, est accru, avec une lisibilité encore difficile à mettre en œuvre. On passera beaucoup de temps à développer une construction en amont, à choisir les termes, à peser des choix éventuels, en faisant appel à des experts qui contribueront, avec leur vision et parfois leurs certitudes, à rendre illisibles les contenus (des particularités d’une partie des « évaluationnistes » : un langage éloigné du quotidien, une faible connaissance du terrain et de l’action, l’absence de pratique des responsabilités).
• La méthode préconisée va s’appliquer avec du temps, une nécessité de remettre en cause, voire de désespérer, les mobilisations mises en place dans les ESSMS auparavant engagés dans une démarche. Cette remise en cause va susciter un sentiment de saturation, voire de rejet, ne permettant pas une mobilisation massive.
• Sur le terrain, les difficultés seront nombreuses : appel important à des spécialistes (rares) et nécessité de faire passer une réalité nouvelle (appréciation par examen des effets-impacts) plus proche de l’idéologie de la performance, de la culture du résultat.
• L’existence de l’ANESM peut encore être revue : révision budgétaire et réduction possible du nombre d’agences, regroupement avec d’autres dont la naissante Agence Nationale d'Appui à la Performance des établissements de santé et médico-sociaux (l’ANAP) pour les démarches qualité et l’examen des performances, et la Haute Autorité de Santé (pour les recommandations de bonnes pratiques professionnelles et l’accréditation), plus grande insistance des pouvoirs publics pour une démonstration de l’efficience des structures (résultats-coûts), dans l’évaluation. Certes, la loi HPST du 21 juillet 2009 a rappelé l’ANESM et ses recommandations, mais aucun schéma n’est à exclure.
• Les enjeux sont tels qu’un échec dans la mise en œuvre de l’évaluation repositionnée aujourd’hui (avec l’antériorité des directions et contre-directions déjà prises) peut vite se traduire par un acte d’abandon de l’État : une nouvelle organisation à terme (davantage confiée à des évaluateurs externes) avec d’un côté un contrôle de la performance (égide de l’ANAP) et de l’autre un examen de la conformité à des standards ou recommandations (égide de l’HAS, ou ANESM redimensionnée).

Quelles perspectives ?

Il y a donc urgence à mettre en place des approches pragmatiques et simplifiées, respectueuses des textes, porteuses. C’est notamment un enjeu pour les cabinets accompagnateurs aujourd’hui des évaluations internes, réalisateurs demain des évaluations externes. Il leur faut, selon moi, sortir des schémas tout faits et mettre en cause leur positionnement commercial, pour utiliser vraiment le texte de l’ANESM, avec justesse et équilibre. Je préconise pour ma part :

• D’une part, une approche centrée sur la conformité à des pratiques « normées » à partir des objectifs et des choix spécifiques (en lien avec des valeurs, des missions, des besoins), y compris en utilisant des parties de référentiels ou des points de passage obligés écrits dans des recommandations de bonnes pratiques venues de l’ANESM (ou d’ailleurs). Pour cette partie, il me semble que le nombre de points à examiner devrait être très limité, reliés à des priorités évaluatives (ainsi que l’indique le texte de juillet 2009) : une centaine au maximum. Le texte de juillet 2009 indique d’ailleurs (page 22) qu’une part des critères d’appréciation des activités (on ne parle plus de critères de qualité) concernent, au regard des objectifs, la mise en œuvre des engagements de pratiques et la qualité des processus. Néanmoins, soyons clairs, aucune pratique référentielle ne devra être posée sans un lien avec des objectifs identifiés (j'ai d'ailleurs toujours insisté sur ce point et me trouve enfin conforté par le texte de l'ANESM).
• D’autre part, une approche centrée sur la pertinence et les effets-impacts des actions choisis au regard d’objectifs, mais là encore avec un nombre d’objectifs (et d’actions) limité, correspondant à des priorités évaluatives nationales, et à des priorités choisies par l’établissement. Une cinquantaine de contenus, au maximum, devrait y être examinée. C’est déjà ce que j’explore pour ma part dans les accompagnements de l’évaluation interne, à travers l’écriture de critères partant des valeurs, missions et objectifs choisis et à travers un regard sur les effets (notamment avec des sondages d’effets, des constats, des mesures quantitatives, des regards qualitatifs).

L’enjeu est de faire le lien, intelligemment, entre l’orientation intéressante, mais exclusive et peut-être risquée, posée par les recommandations-ANESM et les réalités de terrain, sans désespérer les démarches déjà réalisées et qui étaient parties d’un référentiel.

Daniel GACOIN

Des recommandations de bonnes pratiques pour la conduite de l’évaluation interne, publiées par l’ANESM le 27 juillet 2009 (3) : avancées et manques…

.
Un texte de référence …

Le 27 juillet 2009, la publication par l’ANESM de recommandations de bonnes pratiques professionnelles pour « La conduite de l’évaluation interne dans les établissements et services visés à l’article L.312-1 du Code de l’Action Sociale et des Familles » ouvre une perspective nouvelle. Il est donc important de lire ce texte en détail à télécharger sur le site de l'ANESM.

… partant du rappel de la réglementation et des orientations antérieures

En 72 pages, l’ANESM veut, avec pédagogie, poser des repères pour une pratique de l’évaluation interne. L’opération consiste à se situer dans le prolongement des constructions antérieures en éliminant des rappels gênants (dont les positions de la DGAS de 2004, ou les pratiques qui en ont découlé…  auxquelles ont pu participer des membres du groupe de travail mobilisés par l’ANESM aujourd’hui), notamment toute référence à une évaluation sur la conformité des pratiques à des standards. Pour positionner l’évaluation de manière simple, le texte pose 3 bases :

• Une philosophie générale : l’évaluation non comme audit, ou certification et contrôle, mais comme démarche - créant les conditions pour faire évoluer les compétences collectives - participative, structurée par une rigueur méthodologique.
• Une définition : l’évaluation « porte sur les effets produits par les activités, leur adéquation aux besoins et attentes des personnes accueillies, leur cohérence avec les missions imparties et les ressources mobilisées » et « permet d’interroger le cœur de métier, c’est-à-dire les réponses apportées aux usagers ». Pour ce faire, nous dit-on, « les articulations ou processus-clés en vue de la réalisation des objectifs pour les usagers sont décrits et évalués ». L’évaluation est « centrée sur les activités qui concernent directement les usagers et les conditions de leur réalisation ».
• Un contenu prioritaire : 4 domaines de l’évaluation (les usagers, l’ouverture à l’environnement, la mise en œuvre du projet, l’organisation) sont prioritaires, mais il est proposé un premier questionnement sur le thème des usagers (c’était déjà une recommandation en 2008). Plus loin encore, le texte décrit 4 contenus à décliner en objectifs spécifiques sur ce thème de l’usager : 1. La promotion de l’autonomie et de la qualité de vie des personnes, 2. La personnalisation de leur accompagnement, 3. La garantie de leurs droits et de leur participation, 4 La protection des personnes et la prévention des facteurs de risque liés à la vulnérabilité.

… en opérant de discrets glissements, parfois problématiques

Le texte modifie subtilement, tout en paraissant s’y appuyer, des textes antérieurs :

• législatifs : ce sont « les activités » qui sont examinées dans l’évaluation, non « la qualité des prestations », nous dit-on (dans la loi ce sont pourtant les deux),
• stratégiques : l’insistance pour une interrogation prioritaire sur le thème de l’usager (sous-entendu : comme il était indiqué dans les recommandations–ANESM de mars 2008) est discrètement opérée, pour appuyer l’approche initiale (évaluation comme appréciation à partir de l’examen des effets-impacts) plus facile à développer sur le thème de l’usager que sur celui de l’organisation. En 2008, cette proposition était citée comme exemple, pour affirmer la nécessité de privilégier la cohérence des critères par rapport à l’exhaustivité des contenus. Ici, elle est avancée comme un axe de travail majeur, en mettant de côté les 3 autres thèmes prioritaires tout en posant l’évaluation comme appréciation globale d’un fonctionnement.
• réglementaires : sur le thème de l’usager, la déclinaison en 4 sous-thèmes présente ainsi une classification qui est reliée à la loi du 2 janvier 2002 et au décret de mai 2007. Précisément cette classification est nouvelle, n’est pas présente en tant que telle dans la loi de 2002 et le décret de 2007. C’est une reconstruction qui transforme la classification CNESMS de 2006 sur le thème « usager » : existaient alors 4 sous-thèmes (droit, participation, personnalisation, gestion des risques et sécurité), et n’y était pas présenté, comme tel, le sous-thème « promotion de l’autonomie et qualité de vie des usagers ». Cette reconstruction est intéressante néanmoins car précisément, c’était un manque dans le guide de 2006.

Une construction en 4 étapes…

L’intérêt du texte est la déclinaison, qui se veut la plus concrète possible, avec des exemples, d’une démarche en 4 phases : 1. Définition du cadre évaluatif, 2. Recueil d’informations fiables et pertinentes, 3. Analyse et compréhension des informations recueillies, 4. Élaboration du plan d’amélioration du service rendu et de son pilotage.

 … avec des préconisations pour la phase 1

J’ai beaucoup apprécié la définition du cadre et du contenu de l’évaluation :

• Une démarche de formulation : reprise pour chaque ESSMS des écrits internes sur les missions, valeurs et orientations, objectifs du projet, puis étude des caractéristiques de la population accompagnée et des évolutions significatives dans le temps, et enfin formulation des objectifs de l’accompagnement et des critères d’appréciation des activités (objectifs, engagements, modalités). Cette démarche vise à formuler des critères de mise en œuvre (engagements actions), de processus, et d’effets (attendus donc à apprécier ensuite) chez les usagers. La standardisation des contenus, avec des référentiels pré-établis, brillants surtout par l’addition de procédures et l’exhaustivité des contenus, plutôt que par des finalités et objectifs, est clairement bannie.
• Une conduite lisible et une implication des acteurs : est demandée une démarche par priorités, à partir d’un pré-diagnostic, avec mobilisation d’un groupe projet (ou instance d’évaluation), communication claire et positionnement de la direction et des cadres intermédiaires, implication de tous.

… pour la phase 2…

Phase de rassemblement des données, elle vise la mesure d’écarts, après description des modalités de mise en œuvre, et l’indentification des effets, positifs ou non, chez les usagers. Pour chaque objectif, il est proposé de recueillir des données disponibles : parcours, projets personnalisés, résultats d’éventuelles démarches qualité, études et recherches internes, pratiques professionnelles, avis des usagers sur les effets des accompagnements, couplés avec des données quantitatives et qualitatives sur ces effets. L’indicateur est une « information choisie qui permet d’observer périodiquement les évolutions d’une situation au regard d’objectifs définis ». Intéressant : les résultats d’une interrogation par référentiel qualité sont en partie utilisables, à condition qu’ils soient complétés par une étude des effets. Important également : les résultats de ces données pourront, nous dit-on, être intégrés dans les conventions tripartites et les contrats pluriannuels d’objectifs et de moyens, ce qui consacre le lien avec une culture du résultat, utilisée dans les négociations avec les pouvoirs publics financeurs.

 … et la phase 3… 

Cette phase est construite autour d’une première approche : rassemblement des données recueillies en phase 2 et réponse à des questions d’efficience (réponse aux besoins et attentes ? réalisation des objectifs ? écarts et dysfonctionnements ? intégration des recommandations de bonnes pratiques ?). Il est proposé qu’elle soit suivie par deux temps : recherche d’une raison des écarts (notamment autour des thèmes organisation, ouverture à l’environnement, qualité du projet), identification des marges de progression et des points forts.

Plus difficile, on demande que cette analyse soit une co-production associant toutes les parties prenantes, mais aucune méthodologie n’est présentée : l’appui sur le groupe projet initial ou instance d’évaluation semble être l’outil principal.

… et enfin pour la phase 4

L’élaboration du plan d’amélioration relève de la direction, se saisissant « de l’analyse de l’instance d’évaluation ou du groupe projet » et « priorisant les points à traiter en fonction des conséquences pour les usagers et de l’actualité de la structure ». Il est recommandé un plan lisible avec objectifs, calendrier et tableau de bord de suivi du plan.

.
L’intérêt du document…

Nous voici donc en présence d’une réorganisation ciblée, mettant en avant des objectifs et une analyse des réalités et effets. L’usage d’un référentiel n’est pas l’objet de la démarche, c’est une interrogation plus complète. Cela va vraiment dans le bon sens.

… mais ses manques

Le document formule l’examen évaluatif en éclairant de manière faible les mesures d’effets et constats d’écarts, leurs outils notamment. Cela risque de favoriser des appréciations « pifométriques » (recueil des représentations ou compilation de pratiques intentionnelles). Avec ces recommandations, des échanges formels sont proposés, mais pourrait y dominer un partage de sentiments et d’intentions (j’ai souvent parlé d’un mal inhérent à notre secteur : « la dictature de l’intention »…) et non des constats réels d’effets. Ajoutons les possibles arrangements, subtils déguisements des réalités, pas forcément conscients,… Donc à mon sens, la rigueur des réalités devrait être plus importante que ce qui nous est présenté.

L’interrogation très subsidiaire sur les thèmes « organisation », « ouverture à l’environnement » et « qualité du projet » me semble problématique, oublieuse des objectifs spécifiques sur ces thèmes. Par exemple, des objectifs autour de l’identification et l’évolution des compétences professionnelles peuvent, bien sûr, se décliner dans leur lien avec des besoins et effets pour les usagers, mais également être reliés à des objectifs organisationnels purs, hors bénéfice pour les usagers, c’est la même chose pour la conduite d’une organisation, pour la participation à une dynamique territoriale, pour le travail en équipe, pour les systèmes d’information, etc. Il me semblerait judicieux de préconiser d’emblée une approche parallèle des 4 domaines prioritaires (et non le thème « usager » en première approche, puis une étude subsidiaire des prolongements pour les 3 autres domaines), je m’interroge même sur le choix de l’évitement, effectué dans le texte.

Je suis inquiet de deux risques dans l’application :

• L’élaboration en phase 1 (cadre et contenus de l’évaluation) va susciter une « nouvelle usine à gaz », difficile à réaliser sur un temps court, sauf à prendre des contenus peu significatifs. Je crains un effet démobilisateur, ou pire, une importante mobilisation de type « montagne accouchant d’une souris ». La compensation est évidente : les ESSMS devront faire appel à des experts pour s’en sortir, ce sont ces derniers qui définiront, cadreront les contenus.
• L’insistance pour « un groupe projet ou une instance évaluative » avec mise à distance de toute hiérarchie, m’interroge : elle est justifiée nous dit-on (méthodologie reconnue dans le modèle « évaluation des politiques publiques ») mais cela ne me convainc pas (il existe d’autres terrains, des pratiques diverses). Je crois à la place des directions, présentes et impliquées, à l’écoute, ouvertes, et non à des seuls groupes projets qui pour aller au bout de leur tâche, devront s’adosser à « des experts » (le pouvoir de ces derniers ne me semble pas, dans ce cadre, légitime). Le texte présente ainsi, me semble t-il, une injonction paradoxale à l’égard de la place des directions.

Il sera donc intéressant, pour tous ceux qui, comme moi, utiliseront ces recommandations-ANESM non comme un bréviaire, mais comme un support intéressant pour construire les démarches, de transmettre à l’ANESM les réalités positives et les difficultés, voire les dysfonctionnements, générés par certains contenus.

Daniel GACOIN

Des recommandations pour la conduite de l’évaluation externe, publiées par l’ANESM le 27 juillet 2009 (4) : éléments rassurants et interrogations …

.
Encore des repères sur l’évaluation…

Pour compléter la lecture commentée du dernier texte de l’ANESM, publié le 27 juillet 2009, il me semble juste de présenter des informations complémentaires. Elles tiennent en peu de mots, mais elles sont éclairantes et concernent les évaluations externes.

… sur le thème de la qualité des évaluateurs…

Le conseil scientifique de l’ANESM (15 personnes dont la liste est disponible sur le site de l’ANESM) a émis le 8 juillet 2009 deux avis importants, diffusés par communiqué le 27 juillet. Cette communication est bien surprenante : pourquoi le conseil scientifique ? Pourquoi pas la DGAS (par des arrêtés), ou la direction de l’ANESM elle-même ? On peut d’ailleurs se demander, quelle que soit la qualité des membres de ce conseil scientifique, et même, pour ce qui me concerne, l’estime profonde que je peux nourrir pour plusieurs d’entre eux que je connais bien, quelle valeur juridique peut avoir ce type d’avis, au nom de quelle légitimité réglementaire le conseil scientifique s’exprime. Je vais plus loin : ces avis pourraient être utilisés par des ESSMS pour contester la validité d’une évaluation peu flatteuse, malgré son sérieux, ouvrant encore plus grande la porte des contestations (juridiques, financières, techniques).

Pour expliquer leur genèse en tous cas, il faut se reporter à l’habilitation des évaluateurs externes, notamment la publication d’une première « short list » de 113 cabinets habilités, publiée le 30 juin 2009 (à noter : un complément à cette première liste est prévu en septembre 2009). Une certaine fébrilité a pu se manifester du côté des 430 cabinets candidats, fébrilité évoquée par quelques-uns lors de la réunion proposée et animée par l’ANESM, le 23 juin 2009 et dont j’ai publié le 24 un écho dans ce blog.

Des questions se posaient : quelles compétences devaient montrer les évaluateurs externes ? Quelles formations pouvaient être exigées ? On se rappelle que M. Charlanne avait évoqué son questionnement pour des cabinets de petite taille, notamment sur leur capacité à mobiliser des compétences médicales dans l’évaluation d’ESSMS ayant une activité de soin…

Alors qu’une partie des cabinets candidats ou habilités présentent des professionnels ayant essentiellement une expérience des démarches qualité et des compétences et expériences étrangères au secteur social et médico-social, rappelons que le décret N°2007-975 du 15 mai 2007 indique que les évaluateurs doivent présenter :

1. Une expérience professionnelle dans le champ social ou médico-social,
2. Une formation aux méthodes évaluatives s’appuyant sur celles existant en matière d’évaluation des politiques publiques et comportant une méthodologie d’analyse pluridimensionnelle, globale, utilisant différents supports
3. Des connaissances actualisées et spécifiques dans le domaine de l’action sociale, portant sur les recommandations de bonnes pratiques professionnelles validées, sur les orientations générales des politiques de l’action sociale et sur les dispositifs

… avec une première vision sur l’exigence de leur formation…

L’avis du Conseil scientifique de l’ANESM, du 8 juillet 2009, est éclairant : « en raison de l’antériorité faible et de la forte hétérogénéité des formations existantes actuelles, le conseil scientifique considère que l’exigence de formation des évaluateurs des organismes habilités ne peut constituer un critère opposable, et estime qu’il convient de se reporter à l’examen de l’expérience professionnelle dans le champ social et médico-social ».

Disons d’emblée que je me réjouis de cette position ferme, reliant la compétence à mener une évaluation externe à l’expérience professionnelle dans le champ social et médico-social : cela va poser des difficultés importantes à certains des cabinets habilités, cela nécessitera une clarté dans les engagements contractuels actés entre ESSMS et cabinets. Mais c’est très intéressant…

Je me demande toutefois pourquoi ne pas avoir mis en avant la troisième exigence du décret : connaissances actualisées et spécifiques dans le domaine de l’action sociale (recommandations de bonnes pratiques professionnelles validées, orientations générales des politiques et des dispositifs). Je prends surtout acte de l’aveu : faible antériorité (pour ne pas dire légitimité) et forte hétérogénéité des formations existantes actuelles. Il suffit de faire une recherche par google avec le mot « formation à l’évaluation » pour s’en rendre compte. J’irai jusqu’à dire que l’aveu décrédibilise les affirmations claironnées ici ou là sur un savoir estampillé et garanti en matière d’évaluation.

… et une deuxième vision sur la composition des équipes d’évaluateurs…

Le deuxième avis du Conseil scientifique de l’ANESM, du 8 juillet 2009, est ferme : « pour composer les équipes d’évaluateurs, les organismes habilités devront expressément s’adjoindre les compétences spécifiques nécessaires à l’évaluation de chacune des activités déployées (médicale, sociale, sociologique, éducative…) au sein d’un ESSMS ».

Deux contenus donc : l’idée d’équipes d’évaluateurs, l’idée d’un lien entre les disciplines mobilisées dans ces équipes et les types d’activités de l’ESSMS concerné.

• Concernant la question d’une équipe, il me semble qu’il est utile d’infléchir cet avis : parfois, un seul évaluateur, avec des références pluridisciplinaires effectives et ouvertes, vaut mieux qu’une équipe de 2 ou 3 professionnels de discipline différente mais fermés dans leur spécialité. M. Charlanne lui-même (voir sur le site ANESM le retour questions-réponses à partir de la réunion du 23 juin 2009) confirmait qu’il était possible de ne pas penser équipe, mais une seule personne (un cabinet avec un auto-entrepreneur) en focntion bien sûr de chaque cas (l’ESSMS demandeur d’une évaluation, les compétences effectives de l’évaluateur).
• Concernant les compétences spécifiques nécessaires, outre la coquille dans le texte (une activité « sociologique »…je ne crois pas que cela existe dans les ESSMS, ni dans leurs missions !), je m’interroge sur la logique : le médical évalué avec un médecin (et pourquoi pas même qualifier les spécialités ?), l’éducatif évaluée par un éducateur, le pédagogique par un pédagogue, l’activité d’accueil évaluée par un professionnel du secrétariat-accueil, celle du standard de même, la restauration par un cuisinier, etc.

Je penserais plus raisonnable de demander des « connaissances diversifiées, expérimentées et articulées (interdisciplinaires) » que des « compétences figées dans chaque activité (pluridisciplinaires) » (d’autant que dans ce cas, il faudrait autant de disciplines que de spécialités).

… mais dont on peut questionner la mise en oeuvre

Je me demande en effet quels moyens ont le conseil scientifique et l’ANESM pour faire respecter ces avis. Il n’est peut-être qu’un message (au secteur, mais surtout à la DGAS) pour règlementer mieux sur ce thème. Dans le cas contraire, ces avis en disent trop… ou pas assez ! Si c’est bien le cas, espérons alors que le message sera bien reçu.

Daniel GACOIN