Évaluer les « effets » et les « impacts » des activités sociales et médico-sociales : pourquoi pas, mais lesquels ?

.

Le changement dans la conception de l’évaluation sociale et médico-sociale…

J’ai encore relu ces jours-ci les recommandations de bonnes pratiques professionnelles publiées par l’ANESM en juillet 2009 sur la conduite des évaluations internes dans les établissements et services sociaux et médico-sociaux.

J’ai retrouvé le virage, définitivement engagé cette année, pour les évaluations dans les établissements et services sociaux et médico-sociaux : mise à distance des approches « qualiticiennes » (examen d’une conformité à des standards ou référentiels), avancée vers une approche « évaluationniste » avec examen des effets et des impacts, de l’efficience des interventions (voir mes articles d’août 2009, de septembre 2009, ainsi que celui de Laurent Barbe dans les ASH le 11 septembre 2009).

Le propos de l’ANESM est très clair. Nous verrons de nombreux cabinets de conseil (y compris pour l’évaluation externe) avoir du mal à faire le pas, accrochés à des référentiels conçus comme des produits sur un marché, mais également accrochés à des visions majoritaires sur « l’accompagnement au changement » : elles considèrent que, si le management par la qualité est une production de contenus structurant les pratiques avec une mise en mouvement collective, sur le fond, ce management est un outil pour vaincre « la résistance au changement » des acteurs.

… mais des définitions qui laissent à désirer

Néanmoins, l’idée d’interroger la pertinence et efficience des actions, plutôt que leur conformité ou effectivité, me paraît une évolution positive. Donc acceptons l’idée de base d’un examen critique des « effets et impacts » des actions. Je me suis alors intéressé à la définition qui était donnée de ce qu’on appelle un effet ou un impact… Bizarrement, la définition est nébuleuse…

Si la pertinence (correspondance d’une intervention avec les besoins identifiés), l’efficacité (degré d’atteinte des objectifs spécifiques et généraux poursuivis pour la population concernée) et l’efficience (quantité et la qualité des résultats) sont définies, ce qui est proposé pour définir un effet ou un impact est peu compréhensible… C’est un peu gênant.

Le texte de l’ANESM nous indique ainsi qu’une intervention a des conséquences : des changements dans le contexte de l’intervention, dans la mise en œuvre des actions, dans leurs articulations, qui affectent les destinataires de l’intervention (les usagers)… Les effets y sont « les changements effectifs ou attendus pour les usagers, conséquences logiques d’un ensemble d’activités qui modifient leur situation ». Changement de situation ? Changement de comportement ou des compétences ? Changement dans l’environnement ? Ce n’est pas clair… Concernant les impacts, la définition est encore plus nébuleuse, ce serait des « effets à long terme » ou « l’analyse de ce qui aurait pu se passer en absence de l’intervention ». Allant un peu plus loin, j’ai évidemment retrouvé des approches, parfois contradictoires, chez différents auteurs « évaluationnistes », néanmoins le flou ou la diversité sont de règle.

Tout cela est quand même très gênant : si ce qui est le vecteur de l’évaluation ne bénéficie pas d’une définition probante… où ira-t-on ?

 

Une première proposition…

Aussi m’a-t-il semblé juste de faire quelques réflexions pour qualifier, ou définir, « l’effet » en évaluation. J’ai donc été particulièrement intéressé par la lecture du N° 5 des Cahiers de l’AVISE (Agence de valorisation des initiatives socio-économiques) qui traite de l’évaluation de l’utilité sociale d’une structure ou d’une activité.

J’en ai utilisé le contenu pour proposer une définition : l’effet est « une modification repérable (pouvant être concrètement décrite ou quantifiée), réalisée d’un temps T 0 à un temps T 1, » cette modification pouvant se décliner…

> soit sur un plan social : dans le développement d’outils pour des droits, d’une progression de l’égalité des chances ou de l’accès effectif à des droits, dans la progression de l’équité entre territoires,
> soit sur un plan personnel : adoption de nouvelles postures ou attitudes, progression dans les connaissances, dans les savoir-faire, dans le mieux-être, modification dans les interactions, les modes de relation ou d’expression,
> soit sur un plan institutionnel : une progression dans la participation à des évènements ou temps d’expression, des liens plus importants entre groupes ou institutions, des articulations et coopérations nouvelles,
> soit sur un plan économique : développement de l’emploi, coûts moindres pour un groupe social ou la société, création d’entreprises ou de richesses,
>  soit sur un plan sociétal : progression dans la citoyenneté (prise de responsabilité dans des initiatives, droits et devoirs davantage respectés), augmentation de rencontres humaines et sociales, meilleure acceptation de la différence (soit chez les usagers, soit dans le corps social),
> soit sur un plan politique : approche ou conception politique nouvelle, examen critique d’une politique, soutien d’une évolution ou d’un ajustement,
> soit sur un plan environnemental : progression dans le respect l’environnement, avec pratiques de sauvegarde et progression d’une vision à long terme de la conséquence des actes.

Je retiens tout d’abord, pour l’évaluation des activités d’un établissement ou d’un service social ou médico-social, la dimension personnelle : adoption de nouvelles postures ou attitudes, progression dans les connaissances, dans les savoir-faire, dans le mieux-être, modification dans les interactions, les modes de relation ou d’expression.

 

Une deuxième proposition…

Mais il me semble que la modification, résultat éventuel d’une prestation, serait limitée si elle n’abordait pas la question de fond posée par « la relation de service » construite, non uniquement sur une prestation qui transforme, mais sur une interaction qui permet à l’usager, au bénéficiaire, d’être co-acteur de la prestation… Comment qualifier ses effets ?   C’est bien complexe, d’autant que les auteurs sur « la relation de service » sont divers : approches codificatrices de la production (prestations ou processus standardisés), approches politiques (le service est un « dispositif de pouvoir », chez Michel Foucault, et la relation de service est le théâtre d’un affrontement qui aboutit à l’assujettissement individuel ou collectif, visant non la transformation de l’individu, mais sa participation à son assujettissement), approches sociologiques (regards sur l’extension de l’interactivité, entre subjectivité et normes, avec détermination autonome du sujet, avec potentialité de création), approches économiques (la production immatérielle) ou institutionnelles (application d’un dispositif géré dans un cadre et un financement, dont le prestataire est un dépositaire et l’État le décideur-garant), etc. etc.

Dans un premier temps, l’idée d’une co-décision sur les projets d’accompagnements, sur les conditions de vie et d’accueil, me semble un bon vecteur de travail pour l’évaluation. Mais je plaide pour la travailler davantage sous l’angle de la conformité et de l’effectivité que de l’efficience, le risque étant de vouloir maîtriser les résultats de formes possibles d’assujettissement.

Daniel GACOIN

Comments

[Rédigé par: Yves CATHELINEAU]

Bonjour et merci pour votre blog toujours aussi instructif. Je me demande comment vous faites pour tenir la production, bravo je suis admiratif.
Ceci étant la question des effets mentionnés dans la RBPP de juillet 2009 appelle pour moi la question suivante : ne s'agit-il pas finalement d'une première étape vers une démarche d'évaluation des résultats ? Le secteur étant fort récalcitrant à cette idée j'ai le sentiment que les auteurs de la RBPP s'en sont "tirés" avec cette notion effectivement molle "d'effets".
Ils auraient pu utiliser la notion d'évaluation d’impact escompté : rapport entre les évolutions, changement et les objectifs qui guident l'action / et comparer cela avec l'évaluation d'impact escompté, c'est à dire le rapport entre les enjeux de départ et la situation à l'arrivée...Je pense que ces éléments évolueront dans les années à venir. Si certains auteurs lisent cette remarque, peut-être pourront-ils donner leur point de vue ici !
Autre chose : dans la recommandation de juillet dernier il y a un élément avec lequel je suis en désaccord :
concernant les règles déontologiques du recueil des informations mentionnées page 38 de la recommandation :
"Quelles que soient les modalités du recueil des informations, des règles déontologiques sont à respecter :
le consentement libre et éclairé des répondants, l’autorisation des parents ou tuteurs éventuels, la
confidentialité des réponses individuelles et leur anonymisation dans le traitement."
Je pense qu''ils auraient du écrire que les réponses resteront anonymes mais non confidentielles", sinon comment traiter les résultats obtenus ?
Bien cordialement et bonne continuation du blog.