Des conseils pour mener les évaluations internes : se méfier des certitudes et des modèles…

.
Le CNESMS produit les premiers repères…

Même si le rythme de sa production est en deçà de ce qui avait été souhaité, le Conseil national de l’évaluation sociale et médico-sociale (CNESMS) est en train de produire ses apports. Les 3 derniers mois ont été importants pour les prochaines échéances :

• Le 15 septembre 2006, le CNESMS doit valider en séance plénière « le guide de l’évaluation interne ». Attention ! Beaucoup de personnes pensent y trouver la description d’une démarche « clés en main ». Il n’en est rien, le guide étant d’abord un énoncé d’éléments incontournables. Il s’appuiera sur les 2 notes d’orientation du CNESMS : l’évaluation démarche de progrès et de débat, la dynamique « d’amélioration continue de la qualité » avec identification des points de difficultés et des axes de progrès, l’appui sur des définitions précises (les « recommandations », « références » et « procédures » de bonne pratique professionnelle). Il confirmera  les 4 questions qui sont, par thème, la base de l’évaluation interne : « l’énoncé des choix, les pratiques en place en regard de ces choix, les effets des pratiques, les marges de progrès à investir »…
• Pendant le reste de l’année 2006 et en 2007, le CNESMS engage les travaux sur les références de bonne pratique professionnelle de manière ciblée (voir les 16 thématiques présentées dans mon billet du 29/6/2006). Par exemple, sur le premier d’entre eux (les bonnes pratiques pour la participation des usagers des CHRS), le CNESMS a lancé un appel d’offres vers des sociétés de conseil pour les formalisations, le choix du cabinet à retenir (2 ont répondu) sera réalisé sous peu après clarification budgétaire.

…et les représentants des OSMS prennent position.

L’avancée des travaux suscite une foisonnante production de réflexions et outils. On trouvera des prises de positions politiques : quelques-unes sont iconoclastes ou hostiles, certaines sont plus fondées.

L’UNIOPSS (Union interfédérale des œuvres privées, sanitaires et sociales), représentative de toutes les structures privées, a réaffirmé ses positions en mai 2006 : promouvoir une autre manière d’entreprendre, avec ses impacts en matière de management y compris des ressources humaines, des associations et de l’économie sociale pour une évolution de l’action sociale et de sa qualité. Cette nouvelle prise de position est importante puisque l’UNIOPSS, lors de son congrès de 1981, était le premier représentant d’organismes à avoir demandé aux pouvoirs publics une évaluation sociale et médico-sociale. La prise de position de 2006 tient dans un message fort : l’évaluation doit être un « processus dynamique, est indispensable, doit faire l’objet d’une culture partagée entre les acteurs », elle est « un processus de changement, une pratique de questionnements collectifs entre toutes les parties prenantes, un processus de débat participatif se référant à un projet ». Il sera nécessaire, est-il précisé, « de maintenir la liberté des établissements et services pour leurs propres référentiels d’action et d’outils », ainsi que de « bénéficier de financements publics pour la réalisation de ces évaluations » : moyens et repères (et non dogmes) sont la responsabilité des pouvoirs publics, les établissements sociaux et médico-sociaux devant « structurer leurs approches dans un objet premier, le service des usagers, mais également des professionnels ».

On trouvera des approches plus construites : ainsi le groupement national des directeurs d’associations (GNDA) a proposé en janvier 2006, un plan pour le Guide de l’évaluation interne qui reprend un positionnement similaire à celui de l’UNIOPSS : une logique éthique, une logique de débat, une logique d’expertise, une logique de lisibilité / visibilité, une démarche participative.

.
Des obligations…

Les obligations législatives et réglementaires deviennent une réalité probante, au moins pour l’évaluation interne, même si chacun attend encore la date butoir que devrait rappeler la DGAS à la fin de l’année.

… qui génèrent des appétits

Dans ce contexte, il est bien intéressant de constater « la montée au filet » des organismes et experts tentant de promouvoir leur approche, c’est-à-dire le plus souvent leurs produits : des auteurs (pas moins de 4 ouvrages chez Dunod en moins d’un an), des cabinets, des fédérations, des formateurs…. Quelle que soit la pertinence des outils ou démarches, le ton est souvent péremptoire : on certifie être propriétaire d’une science, d’une approche incarnée, d’une démarche originale, d’outils opérationnels que n’auraient pas les autres.

.
Les positionnements divers…

Il me semble utile de faire un petit inventaire de ce qui est proposé en termes d’évaluation :

• Des démarches qualité tout d’abord, aboutissant à l’élaboration ou l’usage d’un référentiel : ce dernier détaille alors des principes, engagements, voire procédures, devant être mis en œuvre dans une organisation sociale ou médico-sociale. Les référentiels sont souvent exhaustifs, détaillés, longs, peu accessibles au commun des mortels. Ils peuvent souvent (pas toujours) être le résultat d’un processus d’élaboration collective, participative, ou d’une démarche de construction du changement, mais relèvent aussi parfois d’une approche incantatoire, loin des réalités.  Trois types de référentiels existent : ceux centrés sur les difficultés des usagers (mesure ou formalisation), ceux centrés sur la qualité du service rendu et les droits des usagers, enfin ceux centrés sur la qualité du service et la qualité de l’organisation.
• Des démarches construites autour d’un examen critique : mesure des réalités de terrain, plus ou moins en lien avec un référentiel qualité. Certaines de ces démarches s’appuient sur des mesures précises (soit en termes de pratiques, soit en termes d’effets des pratiques ou résultats chez les usagers, dans l’environnement, en  interne, etc…), d’autres s’apparenteront à des diagnostics ou audits, plus ou moins instrumentaux, plus ou moins partagés.
• Des démarches plus volatiles : échanges, apport de contenus et partages, regard sur les pratiques en termes d’analyse des réalités et des manques. La dimension apprenante est  fortement mise en avant, on parlera immédiatement du caractère moteur et dynamique du changement, on le construira de manière optionnelle, l’effet esthétique de l’échange étant souvent supérieur à sa réalité dynamique ou contraignante. On mettra ainsi fortement en avant la dimension apprenante des démarches, sans certitude d’une réalité utile.

… et mes conseils pour se repérer

Le cabinet auquel j’appartiens et moi-même avons élaboré des démarches opérationnelles d’accompagnement. Être devenu expert en la matière, avoir l’expérience des accompagnements d’organismes divers, ne saurait nous incliner à nous présenter comme les seuls spécialistes ou à penser que nous avons la méthode. Cette position et l'expérience acquise me permettent néanmoins de présenter, dès aujourd’hui, quelques conseils pour tout OSMS recherchant un organisme accompagnateur :

• Rechercher un organisme spécialisé du secteur, susceptible d’accompagner réellement, et non un organisme  externe qui mettra en avant sa seule connaissance de la loi et un examen centré sur des « mesures terrain », à partir d’un référentiel simplificateur,
• Rechercher un organisme qui présente des contenus diversifiés (non quelques items ciblés de la qualité) et une approche liant énoncés de principes (la qualité) et  cheminement évaluatif.
• Refuser les promoteurs de référentiels clés en main, avec leur modèle d’interrogation connexe (souvent vendu avec un logiciel) : de nombreux organismes (voire des fédérations d’employeurs) se signalent par leur capacité commerciale, hélas pas toujours proportionnelle à la pertinence de leur approche.
• Préférer les organismes qui vont proposer une approche à trois composantes : 1. Une construction inspirée de recommandations, références, procédures (la référence qualité), 2. Une mesure effective de terrain sur les écarts entre énoncés et pratiques réelles, 3. Une qualité d’échange et d’implication des acteurs, y compris dans les enseignements des mesures (la construction des axes de progrès). On refusera les accompagnateurs qui n’associeraient pas les salariés au processus (se contentant de travailler avec les cadres), également qui feraient l’impasse sur la participation possible, a minima parfois, des usagers. On refusera également ceux qui proposeront des mesures pratiques sur un mode « pifométrique ». La précision (pourcentages, sondages, études de cas…) vaudra pour spécifier les écarts réels entre la « qualité attendue » et la « qualité réelle », voire la « qualité perçue » : elle est la base indispensable pour toute réflexion.
• Refuser les démarches centrées sur la seule mesure de la conformité des pratiques à la réglementation ou aux obligations légales.

                                                                            Daniel GACOIN

Comments

[Rédigé par : Jean-Michel ZEJGMAN]

Daniel,

Bravo pour cet article sur la CNSA et les Priac, c'est intéressant, vivant, clair, bref ça se lit comme du "petit lait" !

Mais surtout merci d'attirer notre attention à tous sur ce dispositif qui apparaissait jusqu'alors comme plutôt obscur ...

Ton travail d'information et de transmission nous est précieux, je l'apprécie particulièrement et je ne résiste pas au plaisir de t'en féliciter une nouvelle fois.

A bientôt

Amicalement

Jean-Michel

[Rédigé par : Jean-Michel ZEJGMAN]

Daniel,

Tout à fait d'accord sur la diversité qui caractérise les différentes approches des processus d'évaluation, le fond du problème étant de ne pas faire de ces démarches des outils par trop sophistiqués, "trop technocratiques" oserais-je dire ...

Comment pourrait on alors, associer les Personnels à cette démarche essentielle, et les usagers ?

Je souscris à ta démarche qui refuserait ainsi tout modèle trop préconstruit qui serait artificiellement plaqué,

Pour autant, le positionnement de l'UNIOPPS est à saluer, qui fonde une réelle démarche d'évaluation partagée, associant largement les différents acteurs et partenaires dans une démarche prospective...

Nous évoquerons certainement dans de futurs échanges la question du management d'une telle démarche, tant au niveau associatif qu'au sein de chaque service ou établissement.

Cette question constitue à elle seule un corollaire essentiel de toute démarche d'évaluation, une dimension "méta" de ce processus.

En effet, une évaluation pourra être validée pour la clarté de ses analyses et des conclusions qui y sont formulées, elle devrait l'être tout autant par la "mesure" de l'implication des différents acteurs.

De fait, la définition des modalités d'accompagnement et des modes de management d'un tel dispositif représenteront un enjeu tout autant essentiel que la propre construction d'un référentiel d'évaluation.

En effet, comment associer les équipes, les cadres, les partenaires, dans une démarche qui ne se limiterait pas à la seule mesure d'écarts ? Par exemple, quelles formations pourrait on imaginer à cet effet ? Comment donner une telle compétence aux équipes et faire que l'évaluation ne devienne pas uniquement l'affaire de spécialistes ?

Concevoir l'évaluation comme un enjeu stratégique en terme de management permettrait certainement aussi d'en faire un processus institutionnel éthique, vivant et pérenne ...

Nous en reparlerons sûrement ...

A très bientôt

Amicalement

Jean-Michel ZEJGMAN

[Rédigé par : Daniel]

Merci Jean-Michel pour ces retours bien intéressants.

Je suis évidemment très à l'écoute de ton apport sur le thème du management. Comme tu le sais, nous (je) pensons(e) le management social étant un élément majeur et dynamique dans les OSMS, tant par son approche éthique, esthétique que stratégique, ce qui nous amène à promouvoir, non un management comme méthode, mais un management au service de la mission auprès des usagers, attentif à l'orientation stratégique et au sens de l'action sociale, à la mise en mouvement des organisations et à la valorisation des hommes.

C'est évidemment cette orientation que je soutiens dans les démarches d'évaluation ou les démarches qualité.

Continuons ces échanges en n'ayant pas peur des débats et contradictions... On a le droit de douter !

Amitiés

Daniel

[Rédigé par : laurent garcia]

bonjour,

je suis psychologue et chargé de l'évaluation au sein d'un esat pour personnes en situation de handicap psychique...évaluer,donner une valeur.. je tiens à rappeler ce que nous enseignent les psychosociologues:l'évaluation a pour objectif la prise de décision; elle est en soi processus de management des organisations et des hommes qui la mettent en oeuvre. Au sein d'un "établissement social" ( pléonasme s'il en est)elle s'inscrit non pas comme un quant à soi, un a-priori, mais comme un agent progressif d'évolution des consciences, de la connaissance, des pratiques. Elle nécessite une phase de co construction réciproque, une déformation, un déformatage , un désordre nécessaire, un magma bouillonnant où se confrontent idées, créativité, imaginaire!! quelle illusion dépressiogène peut être un tel processus de la raison s'il ne s'accompagne pas d'une mort lente des pouvoirs et représentations sublimées d'un tout anobjectal insensé ?

l'imagination, c'est de loin la béance originelle de certains managers aujourd'hui.
Citons E. Morin: qu'est ce qui nait, grandit , se développe et meurt dans le chaos?

L'organisation.....

Bien à vous

Laurent Garcia,psychologue.

[Rédigé par : laurent garcia]

Evaluer les pratiques:fantasmes et répétition

Nous sommes dans l'ère de l'évaluation médicosociale(socialomédicale !!). Les lois sociales (rappelons le avec Gabriel Tarde)fonctionnent selon trois principes: répétition,opposition,adaptation.Un processus évaluatif infère-t- il au système social une nature(un organe)différent ,sensiblement identique,répétitif? Le changement (la modification) se forme à proprement parler dans une synthèse du temps portant sur la répétition des instants, des situations.Mais cette synthèse est passive :constituante, pas active. Elle n'est pas faite par l'esprit mais se fait dans l'esprit, précédant toute réflexion. Une loi de l'évaluation est en ce sens pur fantasme.Inaccessible au temps, inadaptable parce qu'elle ne peut consigner l'ensemble des vécus, des ayants vécus, des vécus à vivre, des expériences du sujet.Pour autant, elle est entre. Entre un point A et un point B, un AB sonnant comme un tic... tac..tic....tac.....!! Elle est répétitive; ne change rien dans l'élément qui se répète;juste peut-elle opposer à l'ordre un tic tic imaginaire et limiter la répétition élémentaire !!

laurent garcia