MISE EN CONTEXTE

 

 

 

D’entrée de jeu, le contenu de ce texte vise surtout à susciter votre intérêt pour un éventuel projet de développement d’un devis d’évaluation des Communautés Thérapeutiques (C.T.) centré sur la diversité des contextes et leurs pratiques. Les propos visent donc à alimenter notre réflexion commune en réponse à une des questions qui ont été soulevées en guise d'introduction et d'argumentaire à ce colloque, à savoir :

 

 

 

« Quelle évaluation les C.T. peuvent-elles proposer pour le travail qu’elles accomplissent, en sachant que celui-ci ne peut que très difficilement se ramener à des évaluations quantitatives chiffrées, mais doit parvenir à témoigner d’expériences et d'événements singuliers, subjectifs, qualitatifs… sans verser dans l’ésotérisme, ni dans une sorte de flou artistique? »

 

 

 

Pour évaluer les C.T. centrées sur les contextes et leurs pratiques, comme il a été mentionné dans l’argumentaire précédent, les exigences de l’évaluation semblent plutôt centrées sur les aspects quantitatifs, mais à mon avis, on pourrait recourir à d’autres alternatives. J’aimerais partager avec vous quelques enseignements que j’ai retenus de mes expériences et de ma pratique en évaluation de programmes et d’interventions dans le domaine de la santé publique au Québec. Le fil conducteur de ma présentation repose sur trois questions auxquelles nous devrons ensemble apporter des éléments de réponse. Celles-ci seront préalables au développement d’un éventuel devis d’évaluation multi-sites : (1) Pourquoi évaluer les C.T.? (2) Quoi évaluer ainsi que les principales questions d’évaluation? (3) Comment le faire et avec quelles méthodes?

 

 

 

Tout d’abord, nous proposons deux définitions de base. La première concerne la notion de programme et la suivante se rapporte au concept de l’évaluation. Le terme programme signifie un ensemble d’activités ou de services planifiés et interreliés afin d’atteindre des objectifs déterminés par rapport à un ou plusieurs problèmes précis, chez une population définie ou, comme dans le cas de nos résidents, un sous-groupe spécifique de cette population. Un programme s’inscrit dans une perspective de continuité et bénéficie des ressources nécessaires à sa réalisation (adapté de Pineault et Daveluy, 1986).

 

 

 

Le terme évaluation de programme réfère, quant à lui, à un ensemble de données colligées sur une base périodique ou ponctuelle et dont l’analyse et l’interprétation, en fonction de critères et de normes prédéfinis, permettent de poser un jugement sur une situation, un phénomène, une composante du programme ou l’ensemble de ce dernier. La finalité de l’évaluation vise à contribuer activement au processus de prise de décision en permettant aux gestionnaires et à leurs collaborateurs (intervenants, partenaires et usagers, etc.), par un accès à des informations structurées, d’effectuer de « meilleurs choix » relativement aux programmes concernés. À notre avis, cette perspective sied bien à nos communautés thérapeutiques. À la suite de l’exposé, nous brosserons très brièvement une rétrospective du domaine de l’évaluation en mettant en évidence sa perspective développementale.Nous aborderons dans une seconde partie, les principes et les sources de connaissances à prendre en considération afin de retenir la méthode la plus appropriée dans le cadre d’une évaluation des C.T. Dans un troisième temps, nous traiterons des principaux éléments d’un éventuel devis d’évaluation multi-sites et de ses étapes préalables. En conclusion, nous résumerons les aspects essentiels de notre exposé.

 

 

 

RÉTROSPECTIVE DU DOMAINE DE L’ÉVALUATION

 

 

 

Cette brève rétrospective présente les principales étapes qui caractérisent l’évolution du domaine de l’évaluation au cours des dernières décennies. Celle-ci est très révélatrice de la dualité qui existe entre le quantitatif et le qualitatif, mais surtout des solutions concrètes, efficaces et très prometteuses afin de sortir de cette dualité au bénéfice de l’amélioration des pratiques.

 

 

 

L’évaluation est une discipline relativement jeune, très dynamique et toujours en évolution. Lors de la codirection d’une étudiante doctorante, Leduc L. (2007), nous avons réalisé une revue de la littérature qui a permis de dégager la synthèse suivante. Au cours du dernier siècle, à partir de la décennie ’30, cette première génération en évaluation s’est distinguée particulièrement par des tests mesurant la réussite, notamment dans le domaine de l’éducation. Nous retenons que l’objet d’évaluation est ici essentiellement centré sur la personne.

 

 

 

Ces travaux ont été réalisés dans le domaine de l’évaluation qui se devait de connaître et créer, au besoin, plusieurs instruments de mesure. En somme, la finalité poursuivie par cette génération s’intéresse, de manière plus spécifique, aux résultats et à la réussite des élèves.

 

 

 

La seconde génération s’est intéressée au système d’éducation et a proposé une approche plus descriptive. Ainsi, la compréhension de la façon dont le programme arrive à produire les résultats attendus devient primordiale.Selon Guba (1989), « la personne n’est plus un objet d’évaluation, les processus en présence sont examinés, les objectifs sont définis, et les modèles sous-jacents sont décrits ». Ainsi, nous sommes en mesure de vérifier la capacité d’un programme à produire les effets escomptés (Leroux & Levis, 1995). La notion de programme devient alors centrale et le demeure encore à ce jour.

 

 

 

La troisième génération poursuit le développement des connaissances sur les processus de conception et de déploiement des programmes. Elle se centre sur la théorie sous-jacente et explicite du programme. Cette génération d’évaluateurs a surtout permis, dans la démarche de conception et de planification de programme, le développement du modèle logique. Ce modèle a été développé par la Fondation W.K. Kellogg (voir référence Émond, A et A-M Charlevoix (2004).

 

 

 

Un tel outil permet d’organiser le concept de programme et de lui donner une structure, tout en y intégrant un processus d’auto-évaluation basée sur une vision commune de tous les acteurs concernés. Il existe divers modèles logiques allant d’un modèle de base à de plus complexes reposant sur une approche théorique, des objectifs de résultats ou encore sur la mise en œuvre du programme. J’y reviendrai à la dernière partie de ce texte.

 

 

 

La quatrième génération propose de reconstruire progressivement les programmes, afin de mieux y intégrer les différents acteurs qui y sont associés, générant, cette fois-ci, un savoir informel en plus d’une théorie implicite du programme (Guba & Lincoln, 1989; Baumard, 1996, Spender, 1996; Sanderson, 2000 : Nonaka, 2001).

 

 

 

Comme le souligne Contandriopoulos A. -P et al, 2000, le rôle de l’évaluateur devient davantage participatif. Il introduit un changement concerté. La relation traditionnelle entre l’évaluateur et le décideur est donc remise en question et contestée. Par conséquent, d’autres acteurs sont reconnus comme faisant partie intégrante de la démarche évaluative.

 

 

 

Ces derniers participent à la construction du programme par consensus (House, 1991; Guba & Lincoln, 1988; Patton, 1997). Ainsi, il n’est donc pas surprenant que Bouchard et Dumais (2001) mettent en évidence que la finalité de cette génération est davantage liée à la rencontre incontournable des objectifs poursuivis par les différents acteurs concernés.

 

 

 

D’une part, ces deux dernières générations ont permis d’inclure les acteurs concernés puis tous les autres acteurs associés et, d’autre part, de prendre en considération les théories explicites mais également celles implicites issues des intervenants eux-mêmes.

 

 

 

Terminons ce bref survol par la cinquième génération toujours en développement. Cette génération d’évaluateurs questionne fortement la simplification de la complexité des programmes qui, pour plusieurs d’entre eux, s’avère impossible. L’évaluateur a un rôle de juge, ce qui expose une certaine vulnérabilité politique : il aide les décideurs à la prise de décision en regard du maintien ou non du programme (Weiss, 2005, 2000; Chen, 2005, 1990; Rossi, 1999; Cook& Shadish, 1986). Mais, comme nous le verrons dans un instant, l’évaluation de programme est une des sources de connaissances parmi plusieurs autres qui sont susceptibles d’éclairer les décisions.

 

 

 

En ce sens, plusieurs auteurs tels que House, 2004; Henry and Mark, 2004, Allard, 2003; Tones & Tilford, 2001 et Stame, 2001 « croient que les acteurs associés au contexte du déploiement du programme le transforment dans le temps ».

 

 

 

Également, l’adaptation nécessaire à de nouveaux contextes de mise en œuvre transforme forcément le programme initial. Prenons acte de ce constat à la lumière même de l’évolution de nos C.T. respectives telle que rapportée par Yves Lecomte et Francis Maqueda (2013).

 

 

 

En résumé, l’orientation de cette 5^e génération semble non seulement inclure la collaboration des « parties prenantes internes (concepteurs et utilisateurs), mais aussi l’ensemble des acteurs faisant partie de la communauté (externes) intéressée par le programme » (House, 2004; Mark& Henry, 2004; Fetterman, 1996).

 

 

 

Examinons maintenant les divers types d’évaluation à notre portée pour les besoins d’un éventuel devis d’évaluation appliqué aux C.T.. Comme vous le savez, le domaine de l’évaluation offre diverses approches. De plus, il n’est pas toujours simple de s’y retrouver.

 

 

 

PERSPECTIVE DE DÉVELOPPEMENT CENTRALE DANS L’EXERCICE DE L’ÉVALUATION

 

 

 

Dans sa perspective d’ensemble, comme on peut le constater à la figure ci-après, l’exercice de l’évaluation de programmes a permis, progressivement, en conformité avec les générations successives d’évaluateurs, de définir selon les courants scientifiques et leurs construits théoriques, diverses phases qui sont interreliées.

 

 

 

À chacune de ces phases ou états de développement sont associés des types d’évaluation afin de répondre à des questions spécifiques ainsi que des approches et des méthodes privilégiées pour ce faire. Ces phases ne sont pas linéaires, mais permettent les rétroactions nécessaires selon l’état de l’avancement du programme concerné. Une démarche d’évaluation repose sur le passage obligé à travers diverses phases d’évolution ou de développement auxquels correspondent également des types d’évaluation spécifiques. Les principaux états de développement sont :

 

 

 

• Identification des problèmes à l’aide de l’évaluation des besoins;

• Formulation de la solution à partir de l’évaluation des possibilités d’action;

• Implantation du programme avec la contribution de l’évaluation de l’implantation;

• Mesure des effets du programme qui utilise l’évaluation des impacts;

• Appréciation du rendement du programme faisant appel à l’évaluation du rendement.

 

 

 

Ainsi, en ce qui concerne les C.T., les états de développement qui portent sur l’identification du problème et la formulation d’une solution ont été réalisés avec succès, ainsi que l’implantation. Tout cela, sans forcément avoir réalisé une démarche formelle d’évaluative, mais en faisant surtout appel à l’appropriation par les acteurs concernés ainsi qu’à leur auto-évaluation. Nous y reviendrons à la section suivante. À notre connaissance, les autres états du programme des C.T., c.-à-d. les effets de l’intervention ainsi que le rendement de celle-ci, ont été peu soumis à une évaluation formelle à l’exception de Soteria House et Soteria Berne, centres de crise.

 

 

 

Bien que les états de développement s’inscrivent dans une démarche progressive tout en étant systémique et en ayant un potentiel développemental, il demeure important de maintenir le caractère dynamique des types d’évaluation associés à ces états. En effet, un programme, comme tous les autres objets d’évaluation (plan, politique de santé, intervention, etc.), détient une vitalité qui lui est propre par le fait même de son contexte et des pratiques des acteurs concernés. À titre d’illustration, l’évaluation de l’implantation est une démarche qui se doit de remettre en question les possibilités d’action identifiée et d’en sélectionner d’autres au besoin.

 

 

 

De la même manière, on doit permettre au programme et à ses activités et interventions d’atteindre une certaine stabilité dans la durée afin qu’il puisse passer à l’évaluation des résultats recherchés par leur implantation. Cette phase est cruciale pour la survie du programme. Il est donc indiqué de s’assurer d’un plan d’implantation (cadre logique du programme, que nous verrons plus loin) et d’en suivre son évolution. Par ailleurs, à chacun des états mentionnés correspondent des types d’évaluation spécifiques. Les principales questions d’évaluation portent sur :

 

 

 

• La pertinence en ce qui concerne l’évaluation des besoins;

• La conception, notamment les éléments de cohérence et de vraisemblance qui sont liés à l’évaluation des possibilités d’action;

• Les écarts observés entre ce qui a été planifié puis réalisé et également le processus et les contextes pour l’évaluation de l’implantation;

• L’atteinte des objectifs intermédiaires (à court et moyen terme) et finaux à plus long terme et des résultats pour répondre à l’évaluation des impacts;

• Les bénéfices ou les coûts (moindre coût à efficacité semblable) qui sontévidemment reliés à l’évaluation du rendement.

 

 

 

Selon chacun des types d’évaluation, la figure présentée plus haut indique à la fois les questions centrales d’évaluation ainsi que les approches et méthodes privilégiées.Retenons que le parcours et l’évolution de nos C.T. auront permis, à notre point de vue, de générer des pratiques spécifiques au plan organisationnel qui, de notre point de vue, ont un caractère probant et qui sont prometteuses au plan clinique.

 

 

 

Prenons l’initiative de poursuivre le développement de cette culture d’évaluation afin de faire une certaine démonstration avant que l’on nous impose une façon de faire qui ne serait pas forcément adaptée à nos réalités.

 

 

 

PRINCIPES ET SOURCES DE CONNAISSANCES

 

 

 

La perspective développementale dans l’exercice de la fonction d’évaluation nous invite à comparer le programme prévu avec celui implanté à ce jour afin d’en apprécier les écarts. Ce type de démarche permet aussi de clarifier les liens entre les contextes d’implantation et les modifications apportées lors de la mise en œuvre de nos communautés thérapeutiques.

 

 

 

Premier principe

 

 

 

Ainsi, nous devrons prendre en considération le premier principe suivant : sans cette nécessaire appropriation qui implique, par rapport à sa version initiale, forcément des ajustements et des modifications du programme au cours de son implantation, le programme demeurera autre et étranger. Par contre, certaines appropriations peuvent également faire dévier radicalement les finalités poursuivies par le programme.

 

Ce principe implique que les programmes implantés sont généralement différents de ceux planifiés. Lors de leur mise en œuvre, leur appropriation a conduit adéquatement à des ajustements importants, mais a pu également remettre en question des objectifs poursuivis, notamment dans l’intensité de leur intervention.

 

 

 

Les caractéristiques retenues qui influencent l’efficacité de nos C.T. sont liées à l’intervention, au milieu d’intervention, aux intervenants et aux interactions entre les intervenants et résidents dans l’application du programme thérapeutique.

 

 

 

L’intervention fait à la fois référence au contenu (ex. : pertinence de l’intervention, fondement scientifique, degré de précision des objectifs, etc.) et au processus qui interpelle plusieurs aspects dont les stratégies et méthodes d’interventions multiples et complémentaires : continuité; souplesse, durée; accessibilité, absence d’effets négatifs, etc.).

 

 

 

L’évaluation de processus peut également s’intéresser à la qualité et à l’agencement des ressources investies selon les programmes. On peut ainsi se poser les questions suivantes : les installations et le matériel utilisés sont-ils adéquats? Le degré de formation et d’expérience des intervenants est-il suffisant? Le personnel est-il suffisamment disponible? Etc. L’évaluation de processus porte également sur les services ou les activités du programme.

 

 

 

Par exemple, on s’interrogera si ces services correspondent aux besoins des utilisateurs. Quelles sont les perceptions et opinions des autres équipes ou services locaux sur les activités offertes? C’est aussi lors d’une telle évaluation que l’on s’attardera à la relation entre les résidents des communautés thérapeutiques et les intervenants, ainsi qu’à la continuité dans les activités ou les services et à leur globalité.

 

 

 

En ce qui concerne le milieu d’intervention, on mentionne la participation des utilisateurs de la C.T. et l’organisme responsable. Dans le premier cas, on considère l’intégration à la vie quotidienne, la mise à profit des transitions, l’attrait pour les résidents, etc., tandis que pour l’organisme responsable, on considère l’utilisation optimale des ressources existantes et les modalités de soutien et d’accompagnement.

 

 

 

Pour les intervenants, on examine notamment leur compétence, leur engagement, leur capacité de travailler en équipe, etc.. Enfin, les caractéristiques liées aux interactions entre les intervenants et les résidents reposent sur les liens de confiance, sur les compétences et le pouvoir d’action, le respect des valeurs et des attitudes, etc.

 

 

 

Deuxième principe

 

 

 

Le second principe est le suivant :

 

 

 

La nécessité de prendre en considération la diversité des contextes et des pratiques des acteurs concernés par les communautés thérapeutiques, selon plusieurs sources de connaissances.

 

 

 

 

 

 

 

Ce principe permet également la triangulation des données. Il suppose que l’on reconnaisse que toutes les décisions ne reposent pas sur les mêmes types de connaissances.

 

En effet, puisqu’il agit pour les C.T. du choix des options thérapeutiques, il est donc particulièrement pertinent, selon Litvac, Éric (2013), de savoir que : « les connaissances scientifiques sont un des intrants, mais les décisions sont influencées par les connaissances expérimentales et le contexte du décideur ».

 

 

 

Ainsi, dans le domaine d’évaluation de programme selon le champ d’interventions qui est le nôtre, soit celui des C.T., nous devons tenir compte des connaissances scientifiques, mais exploiter également les connaissances expérientielles qui sont aussi importantes pour l’aide à l’amélioration de nos pratiques thérapeutiques que les connaissances scientifiques qui sont des intrants. Les décisions sont influencées surtout par les connaissances expérientielles et le contexte du décideur.

 

 

 

Troisième principe

 

 

 

En 2013, lors des journées annuelles de santé publique à Montréal ayant pour thème « Emprunter des voies convergentes », nous avons eu l’opportunité d’assister à une présentation d’un conférencier plénier passionné, le professeur Lawrence W. Green. Ce dernier a défendu le fait que le concept de « meilleures pratiques » devrait être vu comme un processus et non comme étant un ensemble figé d’interventions. Il nous interpellait précisément sur, et je cite « d’où vient l’idée des meilleures pratiques centrées sur les essais randomisés? ».

 

 

 

Tout au long de sa conférence, le professeur Green a suscité notre étonnement et réflexion sur la non reconnaissance faite a posteriori par les intervenants eux-mêmes des bonnes pratiques mises à jour dans leur domaine. Il nous soulignait ici plus qu’un simple enjeu lié à la traduction des résultats de la recherche sur les données probantes pour la pratique. À son avis, il existe plusieurs pratiques portant sur les données probantes qui ne correspondent pas forcément aux contextes de la pratique.

 

 

 

Nous devons comme acteurs ou intervenants retraduire les données probantes à notre pratique à défaut de quoi, nous ne pourrons pas nous y retrouver. Comme acteurs, sujets ou intervenants, il est parfois préférable de mieux connaître les contextes de nos pratiques pour les améliorer que de chercher à identifier les bonnes pratiques.

 

 

 

En fait, comme le mentionne Weinstock. D. (2007), philosophe et éthicien, « les données probantes ne constituent pas une idée exempte de valeurs, dans la mesure où ces données et leur production sont le fruit de décisions humaines (…) le danger de considérer l’activité scientifique comme neutre et exempte de toute valeur est de voir s’immiscer ces valeurs dans nos pratiques sans que nous nous en rendions compte ».

 

 

 

ÉVALUATION MULTI-SITES

 

 

 

Sur la base du choix du type d’évaluation approprié à la situation actuelle des C.T. et selon les principes mentionnés précédemment, nous devons considérer l’un des principaux objectifs poursuivis à savoir  penser l’avenir des C.T. dans un monde en changement. Une telle préoccupation soulève une question importante liée à la pérennité de nos programmes thérapeutiques en déploiement. Je vous esquisse donc les principaux éléments préalables à un éventuel devis d’évaluation multi-sites (dans le sens géographique du terme).

 

 

 

Mais tout d’abord, définissons ce qu’est l’évaluation multi-sites. Ce type d’évaluation repose sur l’étude de cas et il vise, comme son nom l’indique, à tirer des conclusions plus spécifiquement sur plusieurs cas. Pour ce faire, les spécialistes de ce type d’évaluation recommandent au moins quatre cas, mais pas plus de dix.

 

Les critères de sélection des C.T. seront à définir ensemble à une étape ultérieure. Cependant, un des critères importants à considérer, tout en maintenant notre souplesse d’adaptation, sera celui des caractéristiques convergentes qui sont des aspects relativement plus stables de nos programmes respectifs. En effet, un tel devis vise essentiellement à documenter plus particulièrement les convergences et par défaut les divergences des contextes dans lesquels se déroulent les événements et d’apporter un éclairage privilégié sur les comportements sociaux des acteurs en présence.

 

 

 

Selon Yves Lecomte et Francis Maqueda (2013) dans Actualité des communautés thérapeutiques, la convergence est passablement d’ores et déjà bien présente en ce qui concerne plusieurs aspects : l’approche psycho-dynamique, la structure sociale participative avec des règles, la localisation, etc.

 

 

 

Les principaux avantages à réaliser une telle évaluation reposent sur le potentiel de sa validité interne afin de bâtir ensemble et d’approfondir nos connaissances sur les éléments qui fonctionnent dans les différents sites : accroître notre connaissance des facteurs contextuels qui contribuent à améliorer ou à corriger les facteurs qui limitent l’efficacité des C.T. et fournir certaines données qui démontrent des retombées attribuables aux interventions réalisées au sein des C.T.En d’autres termes, des contextes et milieux divers qui montrent que nos programmes sont prometteurs et qu’ils ont une efficacité certaine.

 

 

 

Dans un autre ordre d’idées, une telle méthode offre également certains avantages tels que l’implication de tous les acteurs concernés, la mise en commun et le partage des ressources (ex. : un même devis d’évaluation et un seul rapport) ainsi que le partage sur les apprentissages réalisés en lien avec les solutions identifiées et les stratégies de mise en œuvre pour les actualiser.

 

 

 

De la même manière, ce type d’évaluation, comme nous l’avons mentionné précédemment, fait appel à de multiples sources d’information (ex. : observations, interviews individuels et de groupes, matériel audiovisuel, documents et rapports). Selon Yin (2009), ce type de devis est surtout utilisé lorsqu’un phénomène est susceptible de se produire dans une variété de cas. Par conséquent, il permettrait l’analyse de configurations propres à certaines caractéristiques ou variables récurrentes ou encore à des situations contrastantes d’intérêts communs, entre autres le programme thérapeutique ou encore certaines modalités organisationnelles de nos programmes.

 

 

 

OBJECTIFS POURSUIVIS PAR UNE TELLE ÉVALUATION

 

 

 

Les principaux objectifs de la démarche d’évaluation proposée sont les suivants :

 

 

 

• Offrir l’opportunité aux C.T. de participer à une évaluation participative et qualitative;

• Assurer une plus grande crédibilité aux pratiques prometteuses des C.T.;

• Contribuer à un meilleur positionnement stratégique des C.T. dans le contexte actuel de nos systèmes de santé respectifs.

 

 

 

ÉTAPES PRÉALABLES

 

1. État de situation sur le contexte, le programme C.T. et ses pratiques

 

 

 

Dans un premier temps, nous devrons identifier les principaux facteurs contextuels qui représentent un réel enjeu pour les C.T. Par enjeu, on fait référence à ce que l’on peut gagner ou perdre dans la réalisation de nos programmes des C.T. dans leurs conceptions actuelles. Avec mon collègue Christian Viens (2014), nous avons identifié que selon les critères mentionnés ci-dessous, un enjeu constitue un problème constaté :

 

 

 

• S’il soulève un risque dans la réalisation du programme;

• Lorsqu’il a besoin d’être mis en évidence afin de poursuivre efficacement les activités de ce dernier;

• Qu’il peut être résolu à l'aide des compétences et les ressources disponibles;

• Qu’il permet de résoudre les difficultés vécues.

 

 

 

Nos réponses aux questions soulevées ci-après sont préalables à une démarche d’évaluation qui nous inviterait à réviser ensemble l’état actuel de la mise en œuvre de nos C.T. Une telle évaluation de l’état de la mise en œuvre ou de l’implantation aurait un regard critique sur des éléments de contextes et leurs pratiques. Cette étape permettrait de dégager des convergences entre nous afin de procéder par la suite à la co-construction d’un devis d’évaluation multi-sites.

 

 

 

La question principale à laquelle nous pourrions répondre est la suivante : quels sont les facteurs contextuels susceptibles d’influencer le devenir de nos communautés thérapeutiques au cours des 3 à 5 prochaines années? Et une sous-question serait aussi requise : quelles seraient les solutions envisagées par rapport à chacun des principaux facteurs retenus?

 

 

 

En février dernier, l’équipe d’intervenants et de gestionnaires de la C.T. La Chrysalide a amorcé un tel exercice à l’aide de la méthode simplifiée d’application de la technique du groupe nominal ou groupe de discussion focalisée. Une technique éprouvée qui a été mise au point à l’Université du Wisconsin en 1968 et qui est utilisée à diverses fins, notamment pour l’identification des besoins ou problèmes et des solutions et priorités d’action. Une telle démarche de groupe a pour objectif de faire émerger les idées à prioriser et ordonnancer. Ce processus vise la participation de tous, l’expression démocratique des idées avec un minimum de débat. Au terme de cet exercice, selon leur ordre d’importance relative, les principaux facteurs contextuels retenus ont été les suivants :

 

 

 

• Redéfinition éventuelle du programme thérapeutique;

• Contexte du travail à temps partiel : manque de temps, etc.;

• Capacité de la ressource à se ressourcer : références et partenariat;

• Modalités de financement/autres sources de financement.

 

 

 

À titre d’illustration, le premier facteur contextuel retenu, soit la redéfinition éventuelle de notre programme, reposerait sur les différentes idées suivantes sans un ordre relatif d’importance au moment de leur expression :

 

 

 

• Un cadre théorique sur la communauté thérapeutique ou un foyer;

• Le départ des résidents et leurs difficultés à quitter;

• La durée de séjours illimités des résidents et leur cheminement thérapeutique;

• L’intervention en dyade ou en solo des intervenants; le réseautage à l’interne entre résidents et thérapeutes (synergie);

• Notre processus de sélection versus ceux des autres ressources;

• Les lieux d’intervention internes ou externes et la place réservée aux initiatives des résidents.

 

 

 

La démarche entreprise reste à poursuivre selon chacun de ces facteurs afin d’en dégager les enjeux et les pistes d’actions. Par la suite, un plan d’action apportera des solutions à certaines composantes de la C.T. La Chrysalide pour la poursuite de son actualisation, dans une version renouvelée.

 

 

 

 

 

 

 

 

 

 

 

2. Application du modèle logique aux C.T. et les améliorations requises aux pratiques

 

 

 

Dans un second temps, nous serons alors en mesure de mettre en application le modèle logique. Ce dernier est un outil pertinent afin d’initier entre les C.T. la planification d’une démarche d’évaluation de nos programmes.

 

 

 

Le modèle logique est en soi un puissant outil d’évaluation. En effet, il permet de mettre en évidence les principales composantes et les activités du programme des C.T. ainsi que leurs liens théoriques avec les résultats intermédiaires (à court et moyen terme) et finaux. Le travail de Yves Lecomte et Francis Maqueda (2013) sur l’actualité des communautés thérapeutiques, avec plusieurs collaborateurs qui y ont participé, rend compte à la fois des divers contextes de l’évolution des C.T. depuis 1940 et illustre surtout leurs interrogations et analyses à titre de professionnels très impliqués au sein de diverses C.T. pour psychotiques au Québec, en France, en Belgique et en Suisse.

 

 

 

Le contenu de cet ouvrage est riche d’enseignements et de repères pour initier ensemble une telle démarche d’évaluation multi-sites. La figure ci-après résume une formule type d’un modèle logique. Ce dernier est issu du Guide d’élaboration de modèles logiques de programme de la Fondation W.K. Kellogg, (2001) et s’inscrit dans une planification de l’évaluation proposée. Ce guide a été adapté par mes collègues de santé publique - Émond, A. et A-M. Charlebois (2004), d’une autre belle région du Québec, l’Estrie.

 

 

 

 

 

Le premier volet repose sur l’examen du contexte. Il permet de décrire divers éléments tels que ceux que nous avons abordés précédemment au sein de la C.T. La Chrysalide de Montréal à l’aide de la technique du groupe nominal. Également, nous explorerons prochainement les moyens d’action à notre disposition afin d’ajuster notre programme. Ces éléments du contexte, les facteurs d’influence et les ressources nous amènent à apporter des réponses à la question suivante : quelles sont les caractéristiques de nos C.T. qui ont le plus influencé notre capacité à accomplir le travail prévu?

 

 

 

Le second volet a une intention formative et soutien l’amélioration des pratiques. Il cible la mise en œuvre actuelle des C.T. à l’aide des questions suivantes : est-ce que les activités ont été réalisées selon ce qui était initialement prévu, en qualité et en quantité?

 

 

 

Une fois déterminées les composantes essentielles du programme, ses objectifs et ainsi que les activités correspondantes stabilisées, qu’est-ce qui s’est produit et pourquoi? En somme, la question à laquelle nous nous devons de répondre est la suivante : qu’est-ce qu’on a pu réaliser comme programme thérapeutique ou quels ont été les objectifs atteints et quels sont les résultats intermédiaires attendus à court terme et à moyen terme? Bien qu’en ce domaine, il ne soit pas forcément possible de faire la démonstration probante des effets, on peut toutefois tendre vers celle-ci.

 

 

 

Ainsi, le troisième et dernier volet a une visée sommative, soit celle de démontrer que les résultats et les retombées sont liés au programme et d’en faire la démonstration. Il porte donc sur l’efficacité, l’envergure et le degré de satisfaction dans l’atteinte des résultats intermédiaires (à court et moyen terme) et, à plus long terme, ils illustreront les retombées et effets de nos C.T. En d’autres termes, quelle est notre appréciation du résultat de notre travail auprès des résidents dans le contexte de nos systèmes de soins et de santé ? Et qu’avons-nous appris à propos de la réalisation de ce type de programme au sein de nos C.T. respectives?

 

 

 

EN CONCLUSION

 

 

 

Nous espérons que ces propos auront contribué à une certaine mise à niveau dans le domaine de l’évaluation de programme applicable à nos communautés thérapeutiques. Nous avons mis en évidence trois principes qui nous semblent essentiels afin de déterminer nos choix méthodologiques :

 

 

 

1. L’importance de l’appropriation du programme (activités et moyens) par les acteurs concernés. Sans cette nécessaire appropriation qui implique, par rapport à sa conception initiale, des ajustements et des modifications du programme en cours de son implantation, ce dernier demeurera autre et étranger. Par contre, certaines appropriations (ex. : l’intensité, la durée et la capacité des ressources, etc.) peuvent également faire dévier radicalement les finalités poursuivies.

 

 

 

2. La nécessité de prendre en considération la diversité des contextes et les pratiques d’acteurs dans l’application du programme tel que celui des C.T., et cela, selon plusieurs sources de connaissances.

 

 

 

3. À titre d’acteurs, de sujets ou d’intervenants, il est parfois préférable de mieux connaître les contextes de nos pratiques pour les améliorer plutôt que de chercher à identifier les bonnes pratiques.

 

 

 

Par la suite, nous proposons de réaliser des étapes préalables à l’aide des méthodes suivantes : groupe nominal ou groupe de discussion focalisée et l’application du modèle logique afin d’amorcer une réévaluation de l’implantation actuelle. Ces méthodes sont susceptibles de contribuer au développement d’un éventuel devis d’évaluation multi-sites ayant une portée qualitative et formative pour l’atteinte d’objectifs spécifiques aux C.T. Nous avons fait état d’une démarche initiée à la C.T. La Chrysalide de Montréal à l’aide de la technique du groupe nominal et de certains résultats préliminaires.

 

Nous avons également indiqué que, l’approche d’évaluation de nos programmes thérapeutiques dans leur mise en œuvre actuelle, permettrait un retour critique sur des composantes de nos C.T. mises en place lors de nos appropriations respectives selon leur contexte de mise en œuvre. Nous proposons par la suite d’utiliser le modèle logique afin de planifier ce type d’évaluation. Ainsi, de cette manière les ajustements apportés à leur conception seront susceptibles, non seulement d’améliorer nos pratiques prometteuses, mais aussi de les inscrire dans une démarche rigoureuse et crédible.

 

 

 

La méthode proposée fait surtout appel à l’évaluation de l’implantation et vise à cerner les facteurs contextuels et les processus qui sont en interaction avec les activités opérationnelles en lien avec les résultats intermédiaires (à court et moyen terme) et à plus long terme qui sont cohérents avec les impacts et effets attendus.

 

 

 

Pour ce faire, le modèle logique d’évaluation s’appuie sur l’engagement des acteurs concernés (concepteur, gestionnaires, intervenants, résidants, bénévoles et partenaires dans leur environnement) dans un processus d’évaluation dans l’action, tout en considérant certaines transformations ou développements de nos pratiques en C.T. en cours au sein de nos systèmes de soins et services destinés principalement aux adultes psychotiques et aux jeunes schizophrènes .

 

 

 

L’approche participative et la méthode privilégiées reposeraient alors sur l’engagement des acteurs impliqués. Celles-ci s’inscriraient dans le cadre d’un devis d’évaluation qui viserait à la fois la continuité et l’amélioration de nos pratiques. Ce développement permettrait possiblement un meilleur positionnement stratégique dans le contexte des changements en cours au sein de nos systèmes de soins et services destinés aux personnes psychotiques.

 

 

 

Dans ce texte, plusieurs réponses aux questions posées initialement ont été proposées. La C.T. La Chrysalide de Montréal est d’ores et déjà engagée dans cette démarche afin d’être proactive en prenant l’initiative d’appliquer des méthodes rigoureuses qui sont adaptées à nos contextes et pratiques. Nous croyons qu’il importe pour les décideurs et les utilisateurs que les C.T. aient un caractère probant au plan organisationnel et qu’elles soient prometteuses au plan clinique. L’approche participative et formative, basée sur les étapes et méthodes proposées, reposerait sur l’engagement des acteurs concernés. Un devis d’évaluation viserait à la fois la continuité et l’amélioration de nos actions.

 

 

 

Nous pouvons difficilement justifier la nécessité de procéder à des changements ou de maintenir des façons de faire si nous ne disposons pas de données découlant d’une analyse et d’un jugement sur nos pratiques. La fonction évaluation y trouve là toute son utilité.

 

Références

 

Alkin, M. (2004). Evaluation Roots. Tracing theorist’s views and influences.Sage Publications Ltd., 424 p.

 

Allard, D. et al. (2003). Évaluation du programme expérimental sur le jeu pathologique, Rapport 6, Monitorage évaluatif, entrevues initiales auprès des décideurs et des coordonnateurs : juillet-novembre 2001, Institut national de santé publique, Direction du développement et des programmes, Unité connaissance-surveillance, 2003, 129 p.

 

Baumard, P. ( 1996). Organizations in the Fog ; An Investigation into the Dynamics of Knowledge, in B. Moingeon and A. Edmonton (eds.) (1996) Organisational Learning and Competitive Advantage. London. Sage Publications Ltd.

 

Bouchard, M. Dumais, L. (2001). Rapport sur les enjeux méthodologiques. Projet Canada-Québec, texte disponible sur :

 

http://www.unites.uqam.ca/econos/Chercheurs-evaluation-Bouchard-Dumais.pdf.

 

Chen, H.T. (2005). Practical program evaluation. Assessing and improving planning, implementation and, effectiveness, Merce University, Sage Publications Ltd, 304 p.

 

Contandriopoulos, A.-P. et al. (2000). L’évaluation dans le domaine de la santé : concepts et méthodes, 48,6, 517-539.

 

Cook, T.D. and Shadish, W.R. (1986). Program evaluation : The wordly science. Annual Review of Psychology, 37,193-232.

 

Creswell, J.W. (2007). Qualitative inquiry and research design: Choosing among five approaches . 2e edition, Sage Publications Ltd.

 

Émond, A. et A-M. Charlebois (2004). Guide d’élaboration de modèles logiques. Document adapté par le service soutien méthodologique et évaluation de la DSPÉ de l’Agence de développement du RLSSSS de l’Estrie à partir de la parution : Logic Model Development Guide , révision, déc. 2001. W.K.Kellogg Foundation, One East Michigan, Avenue East Battle Creek, Michigan, USA 49017-4058. Québec, texte disponible sur : http://www.santeestrie.qc.ca/publication_documentation/documents/guide_elaboration_programmes.pdf

 

Fetterman, D. (1996). Empowerment evaluation: An introduction to theory and practice. In D.M. Fetterman, S. J. Kaftarian, & A. Wandersman (Eds.) Empowerment evaluation: Knowledge and tools for self-assessment and accountability. Thousand Oaks, CA: Sage Publications Ltd.

 

Guba, E.; & Lincoln, Y.S. (1989). Fourth Generation Evaluation. Newbury Park: Sage Publications Ltd.

 

Henry, G.T. & Mark, M.M. (2003). Beyond use: Understanding evaluation’s influence on attitudes and actions. American Journal of Evaluation, 24, 293-314.

 

House, E. (1991). Evaluation and social justice: Where are me? In M. W. McLaughlin & D. C. Phillips (Eds.) Evaluation and education: At quarter century (90^th yearbook of the National Society for the Study of Education, Part II), 233-247.

 

House, E. (2004). The role of the evaluator in a political world, Revue canadienne d’évaluation de programme, 19, 2, 1-10.

 

Lecomte, Y., Maqueda, F. (2013). Actualité des communautés thérapeutiques, Éditions Érès, Collection Empan, 258 p.

 

Leduc, L. (2007) Analyse stratégique et logique de deux approches d’évaluation de programmes appliquées en promotion de la santé. Protocole de recherche présenté à la Faculté de médecine en vue de l’obtention du Doctorat en Sciences Cliniques, Université de Sherbrooke.

 

Lehoux, P.; & Lévis, R. (1995). Conjuguer la modélisation systémique et l’évaluation de 4ième génération, Ruptures. Revue transdisciplinaire en santé, 2,1, 56-72.

 

Litvac, Éric (2013). Données de surveillance, données de services: deux poids, deux mesures. Présentation non publiée.

 

Nonaka, I.; & Nishiguchi, T. (2001). Knowledge and Emergenc: Social, Technical, and Evolutionary Dimensions of Knowledge Creation. New-York: Oxford University Press, 303 p.

 

Patton, M.Q. (1997). Utilization-Focused Evaluation: The New Century Text. 3^rd ed. Thousand Oaks, CA: Sage Publications Ltd., 431 p.

 

Pineault, R. et C. Daveluy (1986). La planification de la santé, concepts, méthodes, stratégies, Agence d’ARC Inc., Montréal, 480 p.

 

Rossi, P.H.; Freeman, H.E.; Lipsey, M.W. (1999). Evaluation a systematic approach. 6^th ed. Sage Publications Ltd., n.58, San Francisco, Jossey Bass.

 

Sanderson, I. (2000). Evaluation in Complex Policy Systems, Thousand Oaks and New Delhi: Sage Publications Ltd (London) Evaluation, 6,4, 433-454.

 

Spender, J. (1996). Competitive Advantage from Tacit Knowledge? Unpacking the Concept and its Strategic Implication. In, B. Moingeon, & A. Edmondson (Eds.), Organizational learning and competitive advantage. (pp. 56-74). London: Sage Publications Ltd.

 

Tones, K.; & Tilford, S. (2001). Health promotion: effectiveness, efficiency and equity.Nelson Thornes, Cheltenham.

 

Viens, C.; et Lebeau, A. (2014).Bilan factuel du projet travailleur de rang et points de vue des partenaires concernés. Étape finale. Évaluation des résultats (2009-2014), Longueuil, ASSS de la Montérégie, Direction de santé publique; Au cœur des familles agricoles(ACFA), 34 p. Québec, texte disponible sur : http://extranet.santemonteregie.qc.ca/depot/document/3590/Rapport-Travailleur-de-rang.pdf

 

Yin, Robert. K. (2009). Case Study Research : Design and Methods, Fourth Edition, Sage publications Ltd., 217 p.