Enquêtes de satisfaction et évaluation sociale et médico-sociale : se méfier des confusions ...

.
Un ouvrage bien intéressant …

La lecture d’un récent ouvrage, intéressant, me permet de revenir sur les évaluations internes des organisations sociales et médico-sociales. Paru en mai aux Éditions Sali Arslan, ce livre s’intitule « L’évaluation de la satisfaction dans le secteur social et médico-social ». L’auteur, Sylvie Faugeras, est directrice générale d’une association, docteur en anthropologie, spécialiste du management par la qualité. Son ouvrage s’appuie sur l’obligation d’évaluation des structures, créée par la loi du 2 janvier 2002 au grand dam de certains acteurs (dénonçant l’avancée de la standardisation, de méthodes de gestion du social comme dans les entreprises, d’un contrôle public vécu comme inique) ou à la satisfaction d’autres (rappelant la nécessité d’une révolution et semblant ignorer les évolutions déjà travaillées par les institutions concernées et leurs professionnels).

… avec une bonne entrée en matière, des contenus riches

L’ouvrage est préfacé par M. Laforcade, responsable et auteur ayant contribué à la prise en compte de l’évaluation dans le secteur social et médico-social. Il rappelle l’intérêt des démarches prenant en compte l’expression des usagers, ce que j’approuve sur le principe. Je note que M. Laforcade, par cette préface et par la publication du livre dans une collection qu’il dirige, valide les contenus de l’auteur dont il a été le directeur de recherche. Ceci est cohérent avec l’entrée en matière : une présentation historique des évolutions du secteur social et médico-social, de la place progressive de la parole des usagers, de la qualité, de l’évaluation. Le retour sur les concepts de la qualité est bien intéressant, même si quelques contenus historiques sont légers : je conseille plutôt de lire, sur ce thème, le chapitre de M. Jaeger dans l’excellent livre « Les défis de l’évaluation sociale et médico-sociale » (Dunod, 2007).

… et des contenus riches sur un plan de concepts et de méthodes

La présentation de la célèbre Roue de Deming (schéma archi connu de la montée d’une structure sur la pente de la qualité, à partir d’une démarche en 4 étapes : prévoir, réaliser, contrôler, améliorer) est utile. Je tique toutefois sur quelques approximations ou la généralisation de ce schéma à d’autres champs (projet personnalisé, etc…). le livre comporte également des faiblesses dans le rappel d’éléments légaux (dates butoirs par exemple) ou les principes de l’évaluation. Mais le plus intéressant reste sa présentation de ce que l’auteur appelle une « démarche qualité orientée usagers ». Un exemple sert d’entrée en matière à :

• Un plaidoyer (pourquoi écouter la voix des usagers ?),
• Une présentation plus détaillée sur un plan méthodologique d’une démarche complète utilisant, dans une structure, des enquêtes de satisfaction des usagers,
• 10 recommandations pour conduire une enquête : cette partie est la plus intéressante. On y trouve la méthode pour positionner, concevoir, organiser une démarche. On trouve la méthode de ciblage des personnes interrogées, des outils  concrets pour une investigation (supports comme les entretiens, les temps de parole en groupe, les supports écrits), un mode de conception des questions (grille de cotation, test), une méthode de transcription et d’analyse des résultats (avec de beaux exemples, dont certains détaillés dans les annexes du livre).

Pourtant, le livre montre des insuffisances et des confusions …

L’ouvrage s’arrête à la construction/présentation des résultats d’une enquête de satisfaction. Il oublie ainsi ce qui fait l’essence d’une démarche d’évaluation : les plans d’amélioration, l’implication de tous dans leur mise en œuvre, l’évolution ultérieure des repères des pratiques. Même pour une seule enquête de satisfaction, à mon sens, tout présentation de résultats devrait comporter un retour sur les conclusions, conséquences et décisions des responsables : les plans d’action pour l’amélioration. Par ailleurs, l’ouvrage présente des enquêtes construites à un temps t sans s’inscrire dans une périodicité, dans un fil rouge, dans des étapes régulières. Également, tout au long de l’ouvrage, le lien entre enquête de satisfaction, démarche qualité et démarche d’évaluation (comme amélioration continue de la qualité) est si constant, que l’on finit par entendre que ces 3 approches seraient les mêmes. Or, malgré les proximités, il convient d’accepter et de s’appuyer sur les différences :

• La démarche qualité (planification d’engagement ou de procédures, mise en œuvre et contrôle, amélioration) est une assurance qualité : des mesures (voire audits), un système permanent de  réalisation d’engagements par procédures. L’implication des acteurs sera moins primordiale que la garantie de réalisation des procédures.
• La démarche d’évaluation est à comprendre, non comme une assurance, mais comme une amélioration continue : implication dirigée, apprentissage, prise en compte de points de vue, interrogation des évidences, recherche du progrès. L’engagement et la recherche sont plus importants que des systèmes par procédures et contrôles. L’appréciation de la qualité sera recherchée à partir de la mesure objective (soit des réalités, soit des effets des réalités) des écarts qualité prévue / qualité réelle, pour construire et impliquer dans une recherche de progrès.
• L’enquête de satisfaction enfin est un recueil, certes intéressant, de vécus et de représentations : elle ne mesure pas la qualité réelle, mais la qualité perçue. C’est une grande différence. Les représentations des usagers sont importantes et si elles constituent en soi des réalités, elles ne sont pas la réalité. Dans une enquête de satisfaction, ce n’est pas la réalité qui est recherchée, mais le vécu et sa subjectivité.

… et dont il faut se garder

Je confirme donc ici que l’ouvrage, s’il apporte une mine de renseignements et d’outils, est construit sur une confusion dont il faut se  garder : réduire la démarche d’évaluation à une enquête de satisfaction. On mélange ainsi la mesure des effets avec la mesure des représentations ou de la satisfaction, on mélange ainsi la démarche de progrès avec la seule question de la prise en compte du point de vue de l’usager.

… comme des promoteurs des méthodes uniques

Et j’alerte tout de suite les lecteurs : la confusion de l’ouvrage n’est que le révélateur de ce que l’on trouvera dans d’autres livres, actuels ou à paraître, sur l’évaluation. Chercheurs, consultants, spécialistes d’une approche (traitement par base de données, référentiel qualité, enquêtes et questionnaire, sondages, techniques par audit…) ou d’une vision tronquée de l’évaluation (application de méthodes venues d’ailleurs, champ ou approche expérimentés dans un domaine et présentés comme généralisables…) vont avoir tendance à se présenter comme les détenteurs de la méthode à appliquer, parfois même avec des parts de vérité, des éléments d’analyse fondés, une vraie technicité. Pour lire la quasi-totalité des livres sur le thème, je crois pouvoir classer les porteurs de confusions en 5 tendances :

• Les tenants des démarches qualité (un référentiel, un mode de contrôle des réalisations de procédures) : une insistance sur l’affirmation et la garantie de procédures. Ils ont souvent un référentiel clé en main, voire un logiciel à vendre.
• Les tenants des outils de mesure centrés sur le seul point de vue des usagers : la mesure des réalités et des effets est confondue avec la mesure de la satisfaction ou des représentations des usagers. Là aussi, les outils sont souvent prêts.
• Les tenants des outils centrés sur le seul point de vue des professionnels : la mesure des réalités et des effets est confondue avec la mesure de la satisfaction ou des représentations des professionnels. La pratique est ouverte, mais peu rigoureuse.
• Les tenants des démarches managériales : la conduite des démarches est confondue avec la seule construction des repères à affirmer (logique de service, vision stratégique, etc…) et leur prise en compte par tous. La participation et l’implication est souvent gommée, ou limitée.
• Les tenants des approches politico-territoriales : l’analyse des besoins sera souvent très riche, mais éloignée du terrain.

Je rappelle le caractère pluriel des évaluations et leur nécessaire complexité :  3 étapes articulées (conception de repères, mesures, construction des progrès), une conduite mobilisante (implication d’acteurs dans un ensemble dirigé et créatif), des outils de mesure diversifiés (pas un seul type mais une combinaison d’outils pour mesurer soit les représentations, soit les réalités soit les effets), des contenus complets même si les items n’ont pas à être exhaustifs (4 domaines nécessaires), une diversité d’acteurs en mouvement (usagers, professionnels, dirigeants, partenaires). Chassons les visions uniques, articulons les approches. L’enquête de satisfaction pourra alors être un bon support, limité à quelques thèmes et non généralisable, mais pas le seul support.

                                                                   

Daniel GACOIN

Comments

[Rédigé par : Pascal TREFFOT]

Il me parait important pour éviter justement les confusions de préciser la signification des termes suivants : management de la qualité, assurance qualité et démarche qualité.
Le management de la qualité s'appuie sur quatre composantes principales : assurance qualité, maîtrise des prestations, amélioration continue, planification.
L'assurance qualité met l'accent sur la maîtrise des documents (Création, modification et gestion des référentiels / protocoles / procédures) et sur la maîtrise des enregistrements (Gestion des preuves attendues aux points clés et identifiées au sein même de ces référentiels).

La démarche qualité consiste à mettre en oeuvre tout ou partie de ces 4 composantes. Elle comprend par définition l'amélioration (Au delà de l'identification et du traitement curatif des anomalies) : recherche des causes, décision d'actions correctives, généralisation à d'autres actions préventives.

La démarche d'évaluation est une "démarche qualité" qui englobe plusieurs outils du "Management de la qualité" et permet dans un premier temps de vérifier que la "Maîtrise des prestations" est mise en oeuvre de manière effective selon les bases définies dans l'"Assurance qualité" afin de générer des plans d'"Amélioration" dont les ressources sont à définir via les outils de la "Planification".

Dans un deuxième temps, l'évaluation permettra de s'assurer que la "Planification" est mise en oeuvre et que l' "Amélioration" est effective : suivi des projets et plans de progrès, optimisation de la "Maîtrise des prestations", atteinte des cibles et objectifs visés.

Les enquètes de satisfaction sont quant à elles des outils générateurs de progrès au service de l' "Amélioration" permettant directement l'identification des attentes des parties intéressées (Bénéficiaires, usagers, financeurs, tutelles,...).

La méthodologie de l'enquète de satisfaction et de l'évaluation seront décrites au sein d'un ou plusieurs référentiels adhoc grâce à l'"Assurance qualité".