Depuis plusieurs années, j’analyse dans ce blog les avancées conceptuelles, réglementaires et méthodologiques de l’évaluation sociale et médico-sociale, cette évaluation qui amènera les établissements et services sociaux et médico-sociaux à produire, à intervalles réguliers, des analyses et appréciations sur leurs activités et la qualité de leurs prestations. Des lois (2002, 2006, 2009) et des décrets réglementaires successifs ont précisé les contenus et les obligations formelles, tant pour l’évaluation interne de ces structures (tous les 5 ans) que pour leur évaluation externe (2 fois par période de 15 ans).
Une dernière circulaire étant parue le 21 octobre 2011, plusieurs lecteurs m’ont interrogé : pourquoi ne pas avoir commenté celle-ci ? D’autres ont insisté : il aurait été important de relayer ses contenus, ou les interrogations qu’ils posent puisque, selon eux, cette circulaire donnerait enfin les précisions qui nous manquaient, permettant à chacun d’avoir enfin les idées claires. J’avoue que j’ai regardé avec ironie de nombreux commentaires dans ce sens sur plusieurs sites, ou même dans des propos publics de divers responsables. J’avoue même que je me suis amusé à constater avec jubilation une certaine, et vaine, effervescence autour de cette circulaire comme si elle avait apporté des contenus décisifs.
Arrêtons de fantasmer : cette circulaire ne fait que répéter, préciser parfois, des contenus archi-connus…
En effet, celui qui voudrait être au courant de textes réglementaires nouveaux sera vite déçu : la circulaire en question ne fait que répéter ce qui est déjà connu, officiellement, sur le sujet, avec quelques précisions parfois. Sur le fond, aucune nouveauté, aucun intérêt… On nous rappelle :
- Le périmètre, le calendrier, le rythme des évaluations,
- Les positions publiques sur les méthodes et outils,
- Les conséquences de l’évaluation sur l’autorisation de chaque structure, notamment l’éventuel non-renouvellement de cette autorisation en cas de non présentation du dernier rapport d’évaluation externe de la période ou d’appréciations non satisfaisantes dans ce rapport.
… mais son existence est un signe...
Et pourtant, le simple fait que le ministère ait cru bon de rappeler à tous les représentants des administrations déconcentrées de l’État, à tous les directeurs des Agences Régionales de Santé, au représentant des présidents de Conseils généraux, en 2011, presque 10 ans après la loi du 2 janvier 2002, les éléments les plus essentiels des dispositions concernant les indécisions auxquelles sont confrontées parfois, sur le terrain, les autorités de contrôle et de tarification. Nombreux en effet sont parmi ces dernières les responsables qui énoncent des positions règlementaires erronées, souvent d’ailleurs avec un air de certitude et une autorité d’expertise qui font alors sourire.
… et elle comporte néanmoins des outils lisibles et bien intéressants
Il s’agit d’abord des calendriers de réalisation des évaluations avec le cas général…
Puis la mention de deux cas particuliers.
Il s’agit également du calendrier de mise en œuvre, avec des régimes dérogatoires pour la première période d’autorisation, pour toutes les structures autorisées et ouvertes avant le 21 juillet 2009 (date de la loi HPST), avec une situation générale…
… mais également un premier cas particulier (les 24 500 structures qui étaient déjà en place le 3 janvier 2002) :
…et un deuxième, pour les structures PJJ :
Il s’agit enfin de la situation qui pourrait advenir en application de l’article L. 313-1 du Code de l’action sociale et des familles (« le renouvellement de l’autorisation est exclusivement subordonné aux résultats de l’évaluation mentionnée au deuxième alinéa de l'article L. 312-8 », c’est-à-dire l’évaluation externe réalisée au plus tard 2 ans avant la date du renouvellement) :
SI ces tableaux n’inventent rien, ils ont le mérite de pouvoir mettre un terme aux rumeurs et propos fallacieux encore si nombreux aujourd’hui : ces schémas s’appliquent à toutes les structures relevant de l’article L.312-1 du CASF
- il n’est pas question, contrairement à ce qui a été indiqué par des responsables de fédérations nationales, il y a peu, que les SSIAD (Service de soins infirmiers à domicile) soient exclus du régime des évaluations externes,
- il n’est pas non plus question que les structures de type MECS ou des services AEMO (avec des mesures administratives) ne soient pas concernées par les évaluations externes
Reste une première question…
Le texte proposé rappelle les contenus de l’évaluation interne : je note que pour ce qui concerne l’examen de l’atteinte des objectifs (appréciation de l’efficience des activités, un des premiers cœurs de cible), le circulaire l’évoque dans des termes très généraux : apprécier la réalité de « la promotion de la qualité de vie, de l’autonomie, de la santé et de la participation sociale ». Il indique un peu plus loin que cette appréciation comportera une « identification des effets sur les usagers des actions entreprises ». Tout est flou dans ce contenu, même si j’ai apprécié que ne soit pas gommée l’étude des effets. A ce stade, la grande majorité des évaluations internes montre une étude de la conformité des actions à des standards et procédures, très rarement une étude des effets et impacts, en vue d’apprécier l’efficience et l’atteinte des objectifs.
Et personne ne dit rien sur ce hiatus important…
La même question peut être soulevée à propos de l’évaluation externe : la circulaire présente les 4 grandes missions de ces évaluations, avec un lissage de la première mission d’appréciation globale (des 7 thèmes, la circulaire n’en cite que 3, éliminant précisément la question de l’atteinte des objectifs et de l’étude des effets et impacts des actions). Sur la troisième mission (étude de certaines thématiques ou de registres spécifiques), la circulaire résume en ne présentant que 3 des 15 thématiques possibles. La DGCS, dans cette circulaire, fait directement l’impasse sur l’étude des effets et impacts, en vue d’apprécier l’efficience et l’atteinte des objectifs.
Et personne ne dit rien sur cette disparition, qui risque de favoriser l’approche habituellement rencontrée (penser démarche qualité ou lieu de penser évaluation)...
Ceci confirme la difficulté des autorités publiques à formuler en termes clairs les objectifs à atteindre dans les structures, supports pour l’étude des effets des actions dans les évaluations. L’ANESM elle-même, dans son travail sur le modèle de synthèse des rapports d’évaluation externe, se montre particulièrement timorée sur le sujet, à croire qu’aucun professionnel du secteur, qu’aucun membre du conseil scientifique n’est intervenu. Pour présenter de manière synthétique l’atteinte des objectifs par études des effets et impacts, l’ANESM propose le tableau synthétique suivant, d’une pauvreté inquiétante :
- D’une part, il n’est question que de déclinaison en objectifs opérationnels, de ressources mobilisées, de pertinences des activités, jamais d’atteinte des objectifs, ou de mentions des effets / impacts des actions
- D’autre part, le contenu des objectifs principaux d’accompagnement est très, très limité : il est hyper-urgent qu’une grille soit travaillée, avec des contenus plus précis, par type d’établissement. A ce stade, l’absence de rigueur saute aux yeux.
... Et surtout une deuxième question
En effet, la circulaire commence à aborder la question des structures ayant bénéficié d’un agrément qualité et d’une certification : il s’agit essentiellement des structures d’aide à domicile (près 80 % des 1 300 évaluations externes réalisées ou en cours depuis 2009 sont des Services d’aide et d’accompagnement à domicile !). Il est question d’une prise en compte de la certification réalisée si une équivalence du référentiel de certification a été prononcée par l’ANESM.
Attention, se prépare ici un véritable dévoiement de l’évaluation : l’acceptation d’une équivalence des certifications, ne rendant même plus nécessaire le complément de l’évaluation externe, comprenant l’étude des effets et impacts des actions. La position écrite dans le projet de circulaire examinée au CNOSS le 13 juillet 2011 semble en passe d’être oubliée : si c’était le cas, le lobbying (imbécile !) de certaines fédérations aurait réellement fonctionné, l’ANESM aurait perdu son originalité…
Ce qui est inquiétant, c’est que certains fédérations n’hésitent pas, déjà, à dire que leur lobbying a marché et que les structures d’aide à domicile n’auront pas à se préoccuper de cette question (leur certification suffirait…). J’ai même une remontée très inquiétante : le service juridique de l’ANESM indiquerait la même chose, pas d’évaluation externe pour l’aide à domicile, uniquement la certification. Ce n’est ni souhaitable, ni ce qui était préparé dans les textes de juillet. Pourra t-on un jour arrêter ces jeux incessants, pour avancer tranquillement dans les chantiers prévus ?
Daniel GACOIN
Abonnez vous à ce blog
ce qui voudrait dire, si nous suivons la logique de vos deux derniers paragraphes qu'une certification a plus de valeur qu'une évaluation externe.
voire, pire, qu'une autorisation a moins de valeur qu'un agrément qualité car, si j'ai bien compris, une association d'aide à domicile autorisée et certifiée devra faire une évaluation externe alors qu'une association agréée et certifiée en sera totalement dispensée
est ce exact ?
sinon un bon article comme toujours
Rédigé par : laurent G | 27 novembre 2011 à 21:53
Comme vous l'avez compris, il se pose une réelle question concernant l'organisation, pour des services soumis à la procédure d'agrément et ayant par ailleurs bénéficié d'une certification, d'une évaluation externe (EE) en sus.
La position des pouvoirs publics, en juillet 2011 (présentation au CNOSS) était de demander une EE a minima, essentiellement sur l'atteinte des objectifs par étude des effets / impacts des actions, sans refaire l'étude d'autres thèmes déjà travaillés par la certification, sous réserve que le référentiel de certification soit compatible avec les recommandations ANESM. C'était logique.
La question est de savoir si cette position est en cours de changement... Dans ce cas, il serait possible que l'État accorde des valeurs différentes à la certification et à l'évaluation, ou au régime d'agrément par rapport au régime d'autorisation...
Bien à vous
Daniel GACOIN
Rédigé par : Daniel Gacoin en réponse à Laurent G | 28 novembre 2011 à 05:12
Une question suite à la lecture de la circulaire : les service d'AEMO qui n'exercent que des mesures judiciaires sont-ils soumis à l'évaluation externe ? Votre avis ? (j'ai également posé la question sur le site de l'ANESM)
Bien cordialement
Rédigé par : Yves CATHELINEAU | 29 novembre 2011 à 22:01
Bonjour
La circulaire le présente en reprenant le décret DGS du 3 novembre 2010 et la circulaire PJJ de décembre 2010.
Un service d'AEMO avec des mesures exclusivement judiciaires, ouvert avant le 23 juillet 2009 (date publication loi HPST) n'est pas soumis à l'évaluation externe, uniquement à une évaluation interne, tous les 5 ans, la première au plus tard le 21 7 2014.
Un service d'AEMO avec des mesures exclusivement judiciaires, ouvert après le 23 juillet 2009 (date publication loi HPST) sera soumis à une évaluation interne, tous les 5 ans, et à une évaluation externe, une seule, au plus tard 7 ans après la date de l'autorisation. Néanmoins, la PJJ pourra demander individuellement d'autres évaluations externes, en cas de questionnements
Bien cordialement
Daniel GACOIN
Rédigé par : Daniel Gacoin en réponse à Yves Cathelineau | 30 novembre 2011 à 05:39
Bof ! Je crains encore que ce soit beaucoup d'air brassé pour pas grand'chose... Personnellement j'attends les prochaines élections présidentielles, sans rêver l'impossible mais en espérant du plus sérieux et efficace !
Rédigé par : ludivine | 01 décembre 2011 à 01:11
Bonsoir Daniel Gacoin,
Mon commentaire n'est pas passé.Je sais le sujet sensible. Je respecte votre choix et après tout c'est votre blog, votre décision vous appartient. Toutefois, la courtoisie la plus élémentaire méritait peut-être une réponse à minima de votre part(en privé, puisque vous avez mon adresse mail).
Bien cordialement.
Christian Szwed
Rédigé par : Christian SZWED | 01 décembre 2011 à 19:00
Bonsoir
Je ne sais absolument pas de quoi vous me parlez, il n'y a aucune censure a priori dans ce blog, ni besoin d'autorisation pour poster des commentaires. Si un commentaire de votre part n'est pas passé, cela ne peut être que du fait d'une fausse manoeuvre que vous auriez commise.
La loi du genre ici : la liberté de penser ! J'ai juste prévenu, dès janvier 2006, que je retirerai uniquement, après leur publication, des messages délibérément grossiers ou obscènes, injurieux. Cela ne s'est produit que 2 fois en 5 ans.
Pour le reste, il se trouve que je n'ai plus votre mail. Nous pouvons donc reprendre cet échange par couriel si vous le souhaitez, à condition que ce soit vous qui m'envoyez un premier message.
Cordialement
Daniel Gacoin
Rédigé par : Daniel Gacoin en réponse à Christian Szwed | 01 décembre 2011 à 21:59
Bonjour Daniel,
Je suis heureuse de pouvoir saluer ici votre engagement et le travail que vous effectuez.
Comme beaucoup de professionnels, je me demande pour quelle raison la DGCS a sorti une telle circulaire …
Plus sérieusement, je reviens sur votre remarque concernant l'agrément qualité et la certification.
Selon la circulaire ANSP du 15.05.2007 (point 5.7) et l'Art D 347-3 du CASF il me semblait acquis pour les SAP que la certification (et seulement la démarche proposée par 3 certificateurs pour lesquels je ne veux pas faire de pub) avait complètement valeur d'évaluation externe.
Selon moi, cet engagement permettait donc aux structures certifiées d'obtenir le renouvellement de leur agrément sans avoir à effectuer d'évaluation externe donc.
Les structures de maintien à domicile, que je contacte dans le cadre de mon activité professionnelle de cabinet évaluateur, sont nombreuses dans cette dynamique de certification. Je ne les ai jamais contredites dans leur démarche puisqu'elles me semblaient en accord avec les textes…
Or, vous ne paraissez pas être de cet avis !
A mon sens, nous n'attendions que le positionnement des autorités, suite à la loi HPST Art 124-II-19 (e) avec la sortie d'un décret devant préciser, pour les seuls établissements autorisés et certifiés, les conditions dans lesquelles la certification de ces dits établissements allait pouvoir être prise en compte dans le cadre des évaluations externes !
Merci de m'expliquer votre analyse sur ce point précis.
Au plaisir de vous lire, bien cordialement.
Véronique Fifis-Battard
www.optim-consult.fr
PS : Je ne pose pas cette question avec l'idée de soutenir l'équivalence certification = évaluation externe (je suis contre). Je cherche juste à réajuster si besoin mes connaissances et mon positionnement professionnel - Capital pour moi - merci !
Rédigé par : Véronique Fifis-Battard | 19 décembre 2011 à 22:17
pour evaluation
Rédigé par : iulia | 26 décembre 2011 à 14:24
Bonjour,
Les échanges sur la qualité et la profondeur d'analyse de l'évaluation interne et externe sont à replacer dans un cadre économique. Pour exemple, les écarts de facturation des évaluations externes vont du "presque gratuit" à 15Keuros, nous dit-on et les lignes budgétaires allouées par les tutelles sont, elles aussi disparates.
Comment l'ANESM pourrait définir des pratiques de qualité d'évaluation , qui si elles devaient les contrôlées réellement au-delà de simples froncements de sourcils, obligeraient à remonter significativement les exigences des pratiques et les prix des évaluations ?
Le cas des services d'aide à domicile est un exemple concret de cette situation économique biaisée.
Le modèle cible de l'ANESM reste en construction pour éviter de poser réellement la question économique du cout de l'évaluation et de qui paye quoi pour faire quoi.
Rédigé par : Lebrun Gérard (Philoé Conseil) | 28 décembre 2011 à 00:41
Bonjour, je n’ai pas pu répondre rapidement à votre question sur la certification et l’évaluation.
La situation est un peu compliquée, mais devrait s’éclaircir (un peu) avec un décret en cours de signature à la DGCS (qui devrait être publié en janvier 2012 (mais il a déjà un an de retard).
Le principe serait le suivant (Attention ! tout est à mettre au conditionnel tant que le texte n’est pas paru) :
> Pour les services à la personne (aide à domicile notamment), ces derniers bénéficient d’un régime d’agrément (loi Borloo) et d’un régime d’autorisation (loi du 2 janvier 2002). S’il sont agréés et bénéficient d’une certification, ils seraient exonérés d’évaluation externe (EE).
> Pour les autres établissements et services d’action sociale et médico-sociale (loi du 2 janvier 2002), ils bénéficient d’une régime d’autorisation (loi du 2 janvier 2002). Ils relèvent d’une obligation d’évaluation interne (EII) et externe (EE). S’ils ont bénéficié d’une certification (ISO, etc.), cette dernière leur permettra d’avoir une partie (conformité à des pratiques standards) qui ne sera pas travaillée en EE, mais l’autre partie (atteinte des objectifs en accompagnement, avec étude des effets et impacts des actions) sera néanmoins nécessaire. C’est sur cette dernière partie qu’il risque d’y avoir des transformations, et des risques d’incohérence de la part de la DGCS.
Cordialement et merci. Daniel GACOIN
Rédigé par : Daniel Gacoin en réponse à la question de Véronique Fifis-Battard | 03 janvier 2012 à 05:46
Responsable d'une petite unité de vie 20 personnes ( foyer logement non médicalisé Notre structurefonctionne uniquement avec les loyers et prestations fournies aux residents à un coût tout à fait raisonnable. une evaluation interne enterme de moyens humains mis en oeuvre ( 4,65 etp) et coôt d'un prestataire pour l'evaluation externe les résidents devront integralement payer ces sommes . Comment respecter cette reglementation alors que nous ne pouvons plus augmanter les loyers
Rédigé par : bertrand redureau | 19 septembre 2012 à 11:51
Est-ce que tu peux me dire avec quel logiciel tu fais tes schémas stp ?
Rédigé par : Bertrand | 15 octobre 2012 à 14:03