.
J’évoque, pour faire face à « la
dictature des sentiments de… » ou à « la dictature de l’intention de… », au moment d’évaluer
une activité ou un programme, la nécessité d’aborder toute méthode évaluative
avec rigueur. Un des manques majeurs des outils d’évaluation ou de qualité,
notamment quand ils sont inspirés de référentiels avec de splendides énoncés (engagement,
procédure), c’est leur propension à fournir des mesures d’écart (entre qualité
attendue et qualité réelle) plus que « pifométriques ».
C’est ce que nous rappelait Michel Chauvière fin 2007 dans son livre « Trop de gestion tue le social » quand
il parlait de l’euphémisation des contenus et de l’absence de rigueur dans les
démarches, notamment en démarches qualité.
C’est également ce qui risque de se poursuivre avec la réorientation
récente de l’évaluation des établissements et services sociaux et
médico-sociaux (ESMS) promue dans les recommandations de l’ANESM en juillet
2009 : un recentrage sur la question des effets et impacts des actions et non plus
sur la conformité des pratiques à des standards.
Je préconise, dans ce cadre, de ne pas utiliser des méthodes
uniquement qualitatives pour les constats des écarts : elles sont
indispensables notamment parce qu’elles permettent une implication des parties
prenantes (direction, professionnels, usagers et entourage), mais elles
risquent de favoriser l’euphémisation et la fuite dans une relativité des
contenus. C’est pourquoi il me semble indispensable de retenir également, de
manière ciblée, limitée mais précise, des mesures quantitatives. Le grand
risque : « faire dire aux
chiffres n’importe quoi » ou pire, « ce
que l’on veut ».
J’ai donc été intéressé par un livre récent, « Le grand truquage », publié en mai 2009 par La
Découverte et écrit par un collectif de fonctionnaires de services statistiques
ou de recherche publics, sous le pseudonyme de Lorraine Data, obligation de
réserve oblige.
L’ouvrage est évidemment polémique et orienté, avec une opposition
parfois et trop exclusive à l’égard du sarkozisme, mais pointe du doigt une réalité
bien connue de tous, la présentation tronquée, manipulée, des chiffres sur les
résultats d’une politique.
Sept études précises nous sont proposées : le grand camouflage
des chiffres du pouvoir d’achat, les petits arrangements des chiffres du chômage
et de l’emploi, l’annonce du « succès » de la réforme des heures
supplémentaires réduite à « beaucoup de bruit pour rien », la réduction de la pauvreté
par le changement de ses indicateurs, le tri sélectif des données sur
l’efficacité de l’Éducation Nationale, le désert statistique sur l’immigration,
la fabrication des « bons » chiffres de la délinquance. Les méthodes
pour s’arranger avec les chiffres expliquées dans l’ouvrage :
-
Ne retenir que ce qui arrange,
- Utiliser un indicateur écran,
- Changer la façon de compter en gardant apparemment
le même indicateur,
- Faire dire au chiffre ce qu’il ne dit pas.
La description d’un phénomène complexe avec un indicateur unique,
choisi astucieusement, l’utilisation abusive des moyennes, la mesure de
l’efficacité d’un service confondue avec l’évolution d’un phénomène social
(notamment pour le cas de délinquance), deviennent les conséquences de ces
approches, dans le droit fil d’une médiatisation continuelle de la politique et
de son efficacité : les exemples sont nombreux, édifiants, parfaitement
argumentés. Je ne reviendrai pas sur les contenus, j’invite chacun à les consulter,
c’est très intéressant et même passionnant si l’on met de côté l’agacement
provoqué par la forme (un livre volontairement polémique).
Pour le secteur social et médico-social, l’essentiel est ailleurs.
Pour l’aborder, je vous propose plusieurs réflexions :
- La rationalisation de l’action et la recherche d’une meilleure adéquation entre objectifs et moyens est à rechercher, à partir d’une analyse critique des écarts entre effets-impacts attendus d’une activité ou d’un programme et effets-impacts mis en œuvre, cette analyse étant nécessaire, utile, pouvant même être mobilisatrice,
- Elle ne peut s’accomplir avec des chiffres
simplificateurs, néanmoins des chiffres adaptés permettent de dépasser le flou
d’approches qualitatives euphémisantes, peuvent faciliter un apprentissage et une
re-connaissance d’une activité, y compris pour les acteurs sur le terrain,
- En évaluation dans les ESMS, l’appui, pour quelques
processus clés, sur des données probantes et quantitatives doit être rigoureux,
avec un choix judicieux et une analyse prudente éventuellement soutenue par des
experts, il est complémentaire des approches quantitatives,
- En matière de regard sur la performance des
structures (je prédis que ce domaine va progresser à terme), soyons attentifs à
ne pas laisser avancer des comparaisons non rigoureuses, ne respectant pas le
principe du « toutes choses égales
par ailleurs » comme on dit en économie,
- Je propose de recenser le florilège des pratiques
administratives et politiques pour manipuler les chiffres sur les résultats et
les moyens des ESMS : elles sont nombreuses (démonstration tronquée d’une
augmentation de moyens, utilisation de moyennes bluffantes dans les indicateurs
socio-économiques, etc.). Mon blog est à votre disposition pour participer au
relevé de ce florilège.
Daniel GACOIN
Abonnez vous à ce blog
Commentaires