Une fois n'est pas coutume, je présente ici un article écrit en commun avec un autre auteur, Bertand DUBREUIL
Depuis janvier 2011, plusieurs articles ont été écrits ici, interrogeant les orientations en cours de l'ANESM. Une polémique s'est poursuivie avec un article publié dans les ASH, il y a 15 jours, sous la plume de Laurent Barbe et de Jacques Papay, puis il y a 2 jours, avec une réponse publique de Didier Charlanne, directeur de l'ANESM, dans le même journal.
Bertrand Dubreuil et moi-même avons souhaité apporter notre propre contribution au débat relatif aux orientations de l'ANESM. La voici.
"Les orientations que semble aujourd’hui dessiner l’ANESM suscitent de nombreuses interrogations, notamment sur le maintien d’un état d’esprit ouvert et dynamique en matière d’évaluation.
Des repères explicites, mais parfois mal compris
La loi du 2 janvier 2002 indique que les établissements et services sociaux doivent procéder (en interne) ou faire procéder (par l’externe) à deux démarches d’évaluation. Elles portent sur « les activités » et « la qualité des prestations », et non sur la seule qualité, contrairement à ce que certains ont soutenu.
Ensemble elles constituent, comme le précise le décret n° 2010-1319 du 3 novembre 2010, « une démarche continue », et non une « démarche d’amélioration continue de la qualité », confirmant ainsi leur distinction d’avec la certification, l’accréditation ou la démarche qualité. Le décret n° 2007-975 du 15 mai 2007, au tout début du cahier des charges de l’évaluation externe, affirme que l’évaluation « doit viser à la production de connaissance et d’analyse », « doit permettre de porter une appréciation qui l’inscrit dans une logique d’intervention et d’aide à la décision », « doit permettre de mieux connaître et comprendre les processus, d’apprécier les impacts produits au regard des objectifs », « est distincte du contrôle des normes en vigueur et de la certification ».
Ce contenu s’articule avec une autre réalité : le renouvellement, total ou partiel, de l’autorisation des établissements et services, qui est « exclusivement subordonné aux résultats de l'évaluation externe » (article 25 de la loi 2002-2, créant l'article L.313-1 du CASF). Chaque évaluation externe doit donc être accomplie avec rigueur et apporter des connaissances circonstanciées aux autorités de contrôle, car ses conséquences sont d’importance pour la structure. Rappelons que c’est l’organisme gestionnaire (non les autorités de contrôle) qui prend l’initiative de faire procéder et qui sélectionne le cabinet évaluateur. Enfin, rappelons que l’évaluation externe apprécie « la prise en compte » des recommandations formulées par l’ANESM, comme vecteurs de travail et de mise en mouvement et non comme normes.
L'esprit initial de la loi, la philosophie de l’évaluation telle que l’ont appréhendée les différents acteurs, ont été constamment confirmés par les textes et, jusqu’à ce jour, par la pratique de l’ANESM. L’évaluation est une démarche de croisement des points de vue et d’appréciation des effets de l’action, toujours distinguée du contrôle de conformité. La répartition des responsabilités par le législateur est précise : l’évaluation est dévolue à l’ANESM et aux organismes habilités à cet effet, l’autorisation aux autorités de contrôle et de tarification.
Des évolutions ravivant les risques de décalage avec les repères initiaux
L’ANESM agit dans un contexte marqué, d’une part, par une volonté de standardisation des pratiques et des organisations, de conformité réglementaire, d’autre part par une culture du résultat quantifié (baisse des coûts, performance supposée plus élevée). Jusqu’alors elle a tenu une position plutôt équilibrée, contribuant au développement d’une culture évaluative, écartant l’application de référentiels clés en mains, incitant à la production de connaissance et à la recherche d’améliorations concrètes. Les recommandations de bonnes pratiques ont été élaborées dans un souci de consensus avec les associations professionnelles et d’usagers. C’est une avancée. Elle n’est pas définitivement acquise.
Dans ce contexte, l’ANESM va-t-elle être conduite à introduire dans ses recommandations des exigences catégoriques de pratiques et des indicateurs de performance ? En lien avec la création de l’ANAP, va-t-elle s’associer à des impératifs susceptibles de dénaturer l’évaluation ? La conférence de presse de rentrée de l’ANESM semble aller dans ce sens. « A terme, l'idée centrale est de parvenir à uniformiser les rapports d'évaluations externes, ce qui permettra notamment d'avoir des données comparables. Encore faut-il que ces outils soient opposables aux évaluateurs, une demande en ce sens ayant d'ores et déjà été adressée par l'ANESM à la direction générale de la cohésion sociale (DGCS) ». Uniformiser… données comparables… opposables… derrière ces mots, on peut supposer des repères nécessaires ou, à l’inverse, un encadrement normatif couvrant l’intégralité des contenus, pratiques, rapports. Le risque serait d’excéder voire de trahir l’esprit et la lettre du décret du 15 mai 2007.
Par ailleurs, annonçant en janvier 2011 le recrutement de contrôleurs des organismes habilités pour l’évaluation externe, l’ANESM traçait ainsi un profil attendu : « une formation juridique, comptable ou financière,… une expérience acquise dans l’audit d’entités ayant des titres cotés dans les établissements de crédit, dans les entreprises régies par le code des assurances ou au sein du Haut Conseil du Commissariat aux comptes» (le profil est consultable sur le site de l'ANESM). Aucune mention n’est faite d’une expérience dans le secteur social et médico-social. Certes, le contrôle des conflits d’intérêt financiers rend nécessaire cette fiche de poste pour un des contrôleurs. Mais on ne peut que s’étonner de la distance de ces profils avec la technicité propre au secteur social et médico-social et la nature de ses missions. C’est qualitativement le respect du cahier des charges qu’il conviendrait de considérer avec des contrôleurs familiers de ce secteur d’activité.
Faut-il comprendre que ces différents éléments prolongent la note de juillet 2010 aux organismes évaluateurs ? Celle-ci leur fait en effet obligation de « porter une appréciation sur l’existence et la pertinence des dispositifs de gestion et de suivi des activités et de la qualité des prestations délivrées […] et d’examiner le respect des critères énoncés par la réglementation notamment relatifs à la qualité de l’hébergement. » Sans doute les termes sont-ils assez généraux, mais justement ils semblent attribuer aux évaluateurs une responsabilité de contrôle de normes, absente des textes et contraire à l’esprit présidant aux recommandations de l’ANESM, nécessitant d’ailleurs un positionnement et des compétences que ne prévoient ni les critères d’habilitation ni le décret.
Oui au contrôle des évaluateurs, non à l’évaluation détournée en contrôle
Les travaux actuels de l’ANESM portent sur le contrôle des organismes évaluateurs, sur leurs rapports, sur l’utilisation de ces derniers par les autorités publiques. Le contrôle par l’ANESM des organismes d’évaluation comporterait des appréciations relatives à la compétence de leurs professionnels évaluateurs, la conception des actions, la qualité scientifique des références, etc. Ces éléments sont judicieux afin d’éviter que l’évaluation externe ne devienne un marché sans garantie de dérives.
On s’étonnera toutefois de relever des modalités surdimensionnées au regard de la taille des organismes habilités (existence de gouvernances scientifiques et professionnelles !), avec une surenchère de conformité référée à un modèle sanitaire inadéquat à l’action sociale et médico-sociale.
Par ailleurs, le rapport d’activité des organismes évaluateurs remis semestriellement à l’ANESM comportant une « synthèse de la mission d’évaluation conduite » pourrait, à terme, se trouver modifié par une demande de l’ANESM de recevoir elle-même les résultats de l’évaluation sous la forme d’une matrice (points forts / points faibles ; menaces / opportunité). Cela mettrait l’agence en position de « haute autorité avec observatoire national » des établissements et services, mesurant l’atteinte des objectifs, leur conformité aux missions, voire leur performance. À notre sens, le contrôle par l’ANESM des organismes évaluateurs ne doit pas être le contrôle détourné des établissements et services par son utilisation d’une matrice des résultats de l’évaluation externe. Le rôle de l’ANESM est de soutenir le développement de l’évaluation, d’animer la réflexion méthodologique, de garantir la déontologie de sa réalisation, pas de connaître les résultats des évaluations externes (qui relèvent de la responsabilité des autorités de contrôle).
> Alors oui à l’élaboration d’une trame constitutive des rapports d’évaluation, mais une trame qui rende opératoire un décret en soulignant ses fondamentaux. Mais non à une codification du rapport d’évaluation.
> Oui à l’élaboration d’une trame de lecture et d’analyse des rapports à l’intention des organismes de contrôle pour que ces rapports soient pris en compte comme une source de connaissance relative à l’efficience de l’activité de l’établissement ou du service. Mais non à une grille qui ignore la dimension qualitative de l’évaluation, non à un formatage exhaustif des rapports contraire à l’esprit du décret, privilégiant les informations sur l’analyse et l’appréciation, non à une matrice à visée comparative alors que précisément l’évaluation externe « ne permet pas de comparer les établissements et services entre eux » (décret du 15 mai 2007, article 2). Il ne faudrait pas qu’au prétexte de la régulation nécessaire d’un marché sans garantie, l’ANESM établisse seule, et par ailleurs en son sein sans l’avis de son conseil scientifique ni de son comité d’orientation stratégique, un texte opposable. Celui-ci doit s’élaborer en concertation avec les acteurs concernés : autorités de contrôle, fédérations représentatives des usagers et des institutions sociales et médico-sociales, experts dans le champ de l’évaluation.
> Oui à l’énoncé de normes minimales pour l’évaluation externe. Mais non à sa possible transformation en accréditation, c’est-à-dire en une approche fondée sur l’attestation de compétences d’une structure (ESSMS) au regard d’un référentiel normatif d’exigences en système qualité ou en pratiques techniques.
Une ANESM dans son rôle, sans le surjouer
L’évaluation instaurée par la loi de 2002 est une avancée importante dans la dynamique d’amélioration du service aux usagers. A condition qu’elle reste l’évaluation, qu’elle ne tourne pas à l’injonction bureaucratique, qu’elle ne se confonde pas avec le contrôle, qui relève de la responsabilité d’autorités dédiées à cet effet. L’ANESM doit être garante de cet esprit, animée par une équipe qualifiée, dans une dynamique de recherche et de participation, méthodologiquement rigoureuse, référée au droit. Elle n’a pas besoin d’ajouter des contenus ni des travaux sur ces contenus, qui contribuent à une surenchère. C’est ce qu’attendent d’elle les acteurs de la loi 2002-2, établissements, services, gestionnaires, associations d’usagers.
Bertrand DUBREUIL, sociologue, ancien cadre du secteur social, directeur du Cabinet Pluriel Formation Recherche.
Daniel GACOIN, travailleur social, ancien dirigeant de structure, directeur du Cabinet ProÉthique conseil".
Les commentaires récents