Modélisation d’un programme

Modélisation d’un programme

 PROBLÉMATIQUE

Le deuxième chapitre a pour objectif d’exposer la problématique retenue. Celle-ci découle des lacunes observées dans la pratique en évaluation de programme dans la fonction publique gouvernementale, issues plus spécifiquement de la
pratique au niveau régional et de l’évaluation des services de santé et des services sociaux. C’est en superposant les connaissances du domaine de l’évaluation de programme avec la pratique sur le terrain (notamment dans le secteur de l’administration publique), qu’un certain nombre de lacunes sont apparues évidentes. C’est sous l’angle des quatre
champs de connaissances vus précédemment que les constats ont été faits : le programme comme objet d’évaluation, la pratique en évaluation, l’indicateur comme mesure d’appréciation et les stratégies pour identifier et développer des indicateurs.

Constats liés à l’objet d’évaluation : le programme

Dans les écrits gouvernementaux, la définition d’un programme est similaire à celle des auteurs dans le domaine avec quelques éléments de précision supplémentaires reliés au contexte des services publics et à la gestion par résultats privilégiée par le SCT du palier provincial.
« Le programme désigne un ensemble cohérent et structuré d’objectifs, d’activités et de ressources humaines, financières, matérielles et informationnelles, regroupés pour offrir des produits et des services particuliers qui satisfassent les besoins ciblés d’une population prédéterminée » (SCT, 2002b : 6).
« Un programme est défini comme un ensemble d’activités intégrées, destinées à une clientèle particulière, visant des résultats spécifiques (en fonction d’objectifs) pour lesquels sont consenties des ressources humaines, matérielles et financières » (MSSS, 1995 : 6).
Les composantes de base du programme sont également les ressources, les activités et les résultats (ASSS-Estrie, 2004; MSSS, 1995; SCT 2002b). Dans les écrits gouvernementaux, les composantes de base d’un programme sont définies de façon opérationnelle afin de permettre leur utilisation.
 Les ressources font référence à la quantité, à la qualité et à l’organisation des ressources humaines, matérielles et financières du programme. De plus, les ressources peuvent se présenter comme des facteurs favorisant l’efficacité du programme comme, par exemple, le financement, les organismes existants, les collaborateurs potentiels, les réseaux de contacts interorganisationnels ou interpersonnels, les intervenants et les bénévoles, le temps, les installations, l’équipement et les fournitures. Toutefois, ces mêmes facteurs peuvent parfois être contraignants s’ils ne sont pas présents ou suffisants.
 Les activités sont les moyens par lesquels les changements et les résultats attendus seront atteints. Il s’agit des processus, des outils, des techniques, des évènements, de la technologie et des moyens prévus dans le cadre de la mise en œuvre du programme. Les activités correspondent à la manière dont les ressources sont utilisées dans le cadre du programme. Ces activités peuvent comprendre l’élaboration de produits (ex. : documents de promotion et programmes de cours) et de services (ex. : formations, consultations, examens médicaux), et la mise en place d’infrastructures (ex. : structures, relations et capacité d’action utilisées pour obtenir les résultats attendus du programme).
 Les résultats attendus d’un programme se définissent généralement par :
• « des changements directement liés à la raison d’être du programme c’est-à-dire des changements liés aux problèmes visés par le programme et pour lesquels celui-ci a été élaboré; en d’autres mots, des changements dans l’état de santé. Alors que les résultats sont des changements directement liés aux objectifs du programme, l’impact inclut un grand nombre de changements directs et indirects, voulus ou non voulus, liés aux objectifs explicites du programme, tant sur la population visée que sur la population entière » (Champagne, 1985, cité dans MSSS, 1995 : 17).
De plus, quand on parle de résultats, il est important de mentionner que ceux-ci peuvent se diviser en trois types :
 les résultats de production sont « directement produits par les activités du programme et peuvent comprendre, en ce qui a trait aux services livrés par le programme, différents types, niveaux et destinataires. Ces résultats se réfèrent généralement à la quantité, à la qualité et à la portée des produits et services fournis ou créés par le programme. Ils indiquent si le programme a atteint la clientèle prévue avec l’intensité prévue, dans la mesure prévue » (ASSS-Estrie, 2004 : 7). Par exemple, on pourrait avoir comme résultats de production : le nombre de rencontres ou de réunions qui ont eu lieu, le nombre de documents produits et distribués, le taux de participation au programme ou les données sociodémographiques sur les participants;
 les effets du programme « se mesurent, la plupart du temps, en termes de changement dans les attitudes, les comportements, les connaissances, les habiletés, le statut ou le niveau de fonctionnement des usagers du programme » (ASSS-Estrie, 2004 : 7). Les effets peuvent être regardés selon un horizon temporel à court et moyen terme (de 1 à 3 ans) et à long terme (4 à 6 ans);
 les impacts du programme « correspondent à des changements attendus ou non attendus soit dans la population visée, soit sur l’organisation de façon plus globale. Ils peuvent comprendre des conditions de vie ou des moyens d’actions améliorés ou encore des changements de politiques » (ASSS-Estrie, 2004 : 8).
D’après le document du MSSS (1995), pour compléter ce modèle de base, il faut introduire la clientèle et ses besoins car l’identification des problèmes de santé et la détermination des besoins impliquent l’appréciation de l’étendue et de l’importance de l’écart existant entre l’état de santé actuel et l’état de santé désiré. D’après ce document, la gestion par résultats, s’appuyant uniquement sur les résultats de santé et de bien-être, n’est possible que si l’on a démontré un lien
causal direct et exclusif entre le système sociosanitaire et ses résultats, c’est-à-dire que l’on a réussi à contrôler tous les facteurs confondants. Par ailleurs, comme ces résultats n’apparaissent qu’à la fin de la chaîne causale, la possibilité de réagir ne serait possible qu’a posteriori.
Ce qui ressort également dans la pratique, c’est l’utilisation du modèle logique de programme comme un moyen d’organiser de façon systématique et de présenter visuellement les liens qui unissent les ressources disponibles pour faire fonctionner un programme, les activités planifiées et les résultats souhaités (ASSS-Estrie, 2004; http://www.tbs- sct.gc.ca/eval/tools_outils/rbm_gar_cour/Enh/module_02/glm_f.asp; http://www.msp.gouv.qc.ca/prevention/prevention. asp?txtSection=publicat&txtCategorie). Le modèle logique est un diagramme des éléments communs qui illustre le contenu (quoi?), les destinataires (qui?) et la raison d’être (pourquoi?) du programme (Santé Canada, 2003;
http://www.reddi.gov.on.ca/track_logicmodel_f.htm;http://www.tbssct.gc.ca/eval/tools_outils/rbm_gar_cour/Enh/module _02/glm_f.asp). Lorsqu’un programme évolue et se modifie, son modèle logique change également. Un modèle logique est un travail continu, une esquisse du projet qui doit être raffinée au fur et à mesure que le programme lui-même se développe. Un modèle logique simple s’oriente sur les résultats attendus et explicite les cinq composantes principales (ressources, activités, résultats de production, effets, impacts). La lecture d’un modèle logique demande de suivre l’enchaînement des raisonnements « si… alors » qui relie les différentes parties du programme (ASSS-Estrie, 2004) (Figure 3).
Figure 3 : Diagramme d’un modèle logique de base (Kellogs, 2003, cité dans ASSS-Estrie, 2004)
De plus, dans les écrits gouvernementaux, il est mentionné que pour bien comprendre le contexte du programme, il faut connaître l’univers et la zone de contribution de l’organisation ou de l’unité de travail dans lesquels le programme s’insère (SCT, 2002b). Il sera donc nécessaire de documenter :
 la mission, les mandats et le contexte externe de l’organisme ou de la direction ciblée;
 les clientèles et leurs attentes;
 les objectifs définis à tous les niveaux de l’organisation et même les objectifs de niveaux supérieurs (ministère, agence);
 les activités et les processus dont l’unité ou le groupe est responsable (délimiter sa zone de contribution);
 les ressources disponibles (humaines, financières, matérielles et informationnelles).
La détermination des objectifs ou de la finalité d’une organisation ou d’une unité de travail passe essentiellement par la recension des activités et des processus assumés par cette organisation ou l’unité de travail. Ces objectifs se traduiront en deux catégories de produits et services, soit ceux qui sont destinés aux clientèles externes et ceux qui soutiennent le fonctionnement interne de l’organisation. Cette précision, sur les contributions de l’organisation ou des unités de travail, peut s’avérer importante car les indicateurs de résultats privilégiés par les acteurs d’une organisation sont en lien direct avec la mission et les mandats de son organisation. Par exemple, des gestionnaires cadres d’une organisation utilisent souvent les indicateurs d’activités et de processus liés à un programme afin de vérifier si le programme est implanté comme il se doit, alors que les intervenants apprécient davantage d’avoir des indicateurs qui leur permettent de vérifier si les interventions réalisées, selon le programme, ont atteint les résultats attendus.
En conclusion, le programme comme objet d’évaluation est complexe et demande une description détaillée non seulement sous l’angle de ses composantes, mais en lien avec son contexte d’implantation et de mise en œuvre. Modéliser le programme, en prenant en compte les différentes perspectives des divers acteurs concernés, favorisera la compréhension de sa réalité complexe et de sa cohérence. Même si cet exercice peut s’avérer long et en apparence conflictuel, la valeur ajoutée que cela offre en termes de compréhension, de mobilisation et de soutien à la communication en vaut la peine.
De plus, malgré les documents de référence, la modélisation de programme et les nouvelles approches en évaluation pour rendre le travail de l’évaluateur plus utile et efficace dans son organisation, certains manques sont encore présents. Ceux-ci semblent surtout liés au fait que le programme dans sa réalité est beaucoup plus complexe que seulement une description de chacune de ses composantes. De plus, la compréhension des acteurs concernés par le programme peut s’avérer différente selon chacun, ce qui aura comme conséquence une compréhension du programme non partagée, et une variété possible des résultats attendus de celui-ci. La stratégie proposée permettra donc de soutenir l’évaluateur dans la modélisation d’un programme, en intégrant la compréhension des différents acteurs à sa compréhension du programme qu’il a documenté pour que celle-ci soit partagée par tous.

Constats liés à la pratique en évaluation de programme

Suivant l’évolution de l’évaluation de programme vers une professionnalisation et une utilisation dans la prise de décision, le gouvernement a apporté des changements dans ses orientations. Ainsi, depuis la Loi sur l’administration publique adoptée en 2000 et l’entrée en vigueur du nouveau cadre de gestion axée sur l’atteinte des résultats dans les organisations publiques, le SCT propose l’évaluation de programme comme moyen pour répondre aux questions de ce cadre de gestion axée sur les résultats (SCT, 2002b).
Étant donné son rôle de soutien et d’orientation gouvernementale auprès des ministères et organismes paragouvernementaux, le SCT a suggéré une définition de l’évaluation de programme qui correspond sensiblement aux définitions des auteurs cités dans la littérature tout en précisant les buts poursuivis par l’évaluation de programme dans la fonction publique.
L’évaluation de programme est une démarche rigoureuse (systématique) de collecte et d’analyse d’information qui vise à porter un jugement sur un programme, une politique ou un projet pour aider à la prise de décision. Elle permet d’apprécier à la fois la pertinence du programme, l’efficacité avec laquelle ses objectifs sont poursuivis, l’efficience des moyens mis en place ou sa rentabilité, ainsi que son impact. (SCT, 2002b : 6)
Le SCT a fait valoir que l’évaluation de programme, en matière d’aide à la prise de décision, présente de nombreux avantages tels que :
 de permettre aux décideurs et aux responsables de programme de se procurer une information pertinente, fiable et crédible sur un programme;
 de porter un jugement éclairé sur la pertinence d’un programme en vue de guider les dirigeants dans leurs prises de décision, à savoir s’ils maintiennent le programme, le développent, le modifient ou l’interrompent;
 de donner à un organisme une aide opérationnelle pour la planification, la mise en œuvre et l’administration des programmes en produisant l’information qui le guidera dans la gestion des programmes et lui permettra d’en mesurer l’efficacité et d’en accroître l’efficience. (SCT, 2002b : 10)
Ces avantages devraient donc permettre d’assurer une meilleure affectation des ressources de l’organisation (surtout en contexte de rareté des ressources) ainsi que de prendre du recul, d’évaluer et d’expliquer l’impact réel d’un programme par rapport à ce qui était souhaité lors de sa planification (Fédération de la réadaptation en déficience physique du Québec, 1996; SCT, 2002a). À cet égard, l’évaluation fournira de l’information sur le programme afin de mieux l’adapter ou le modifier en conséquence. L’évaluation de programme favorise également la reddition de comptes des gestionnaires en ajoutant de la crédibilité aux résultats atteints par le programme (SCT, 2002b). L’évaluation de programme comme outil d’aide à la décision est donc une stratégie qui se veut porteuse de sens pour les gestionnaires de programme à différents niveaux.
Pour faire vivre cette pratique, autant au gouvernement provincial qu’au fédéral, des documents de références sous forme de guides ont été diffusés (SCT, 2002a-b-c; SCT Canada, 2009). Dans ceux-ci, certaines conditions de succès ont été proposées et rejoignent également celles mentionnées par Roberts-Gray et Scheirer (1988) pour évaluer l’implantation d’une intervention. La présence d’une culture organisationnelle favorable à l’évaluation de programme dans la prise de décision est une des premières conditions de succès (Roberts-Gray et Scheirer, 1988; SCT, 2002a).
L’évaluation devra être une responsabilité acceptée et partagée par l’ensemble des acteurs d’une organisation dans un cycle de gestion (Audet, 1996; Roberts-Gray et Scheirer, 1988; SCT, 2002b) et dès sa planification, les acteurs devront s’interroger sur la manière dont seront reçus les résultats (SCT, 2002b). Plus loin, les lecteurs pourront voir l’utilité de cette vision dans la stratégie développée pour identifier des indicateurs de résultats pour un programme.
De plus, pour soutenir l’organisation qui veut mettre en œuvre des évaluations de programme axées sur la prise de décision, certains documents (Audet, 1996; Fortin, 2013; Roberts-Gray et Scheirer, 1988; SCT, 2002a) ont proposé des conditions de succès à mettre en place selon trois niveaux :
 au niveau décisionnel, il faut obtenir un appui ferme des dirigeants de l’organisation pour l’évaluation de programme et un arrimage entre celle-ci et la démarche de gestion axée sur les résultats; déterminer des ressources nécessaires à l’évaluation de programme dès l’affectation du budget et avoir un document officiel sur les orientations à donner à l’évaluation de programme dans l’organisation ainsi qu’une clarification des rôles de chacun des acteurs concernés;
 au niveau organisationnel, il faut avoir une équipe d’évaluation de programme avec un certain leadership à tous les niveaux de la chaîne hiérarchique; une compréhension partagée de la portée de l’évaluation entre les dirigeants, coordonnateurs, évaluateurs, professionnels et intervenants concernés dans l’élaboration et l’implantation d’un programme, dès l’acceptation du mandat d’évaluation; une circulation adéquate de l’information, autant sur les démarches d’évaluation en cours que sur les résultats de ces évaluations; un cadre et un système d’information adéquats qui assureront la qualité de l’évaluation et le fait d’avoir un porteur de dossier, autant au niveau de l’évaluation que du programme évalué, sont des conditions favorables à l’implantation d’une culture d’évaluation de programme dans une organisation;
 au niveau professionnel, certaines conditions favorables telles que du personnel en évaluation possédant l’habileté, les connaissances et l’expertise nécessaires pour réaliser les démarches d’évaluation; la participation active de tous les acteurs concernés; et en complémentarité, des formations ayant pour but de favoriser la formation continue des évaluateurs en place ou d’améliorer les connaissances et les habiletés des divers acteurs qui participent aux activités d’évaluation de programme, doivent être présentes.
Dans la pratique, étant donné les orientations du SCT, certains ministères, dont le MSSS, par leur direction de l’évaluation, ont produit des documents qui reprennent les mêmes concepts d’évaluation de programme et de gestion axée sur les résultats en les définissant par rapport à leur domaine d’activités (MSSS, 1995, 2012). On retrouve également une politique d’évaluation de programme qui permet d’expliciter les types d’évaluations qui sont faites à l’interne par cette direction (MSSS, 2003). De plus, des cadres de référence ou conceptuels pour apprécier la performance du système de santé ont été développés (Contandriopoulos, 2008; ICIS, 2013; MSSS, 2012) et diffusés, ce qui a permis le développement de listes d’indicateurs de performance du système de santé (ICIS, 2006, 2010, 2013; MSSS, 2012). Toutefois, ces cadres de référence et ces guides ne sont pas nécessairement repris par toutes les organisations publiques et parapubliques du réseau de la santé. L’orientation est donnée par le SCT et chacune des organisations doit se doter de modalités de pratiques pour s’y conformer. Cependant, on constate que même si des outils et des règles pour réaliser des évaluations de programme axées sur la gestion par résultats sont élaborés et proposés, ils ne sont pas suffisants si on se fie aux résultats dans la réalité (Éditeur officiel du Québec, 2014).
De plus, toujours dans la pratique, la responsabilité de maintenir ses connaissances en évaluation revient à l’évaluateur. Ainsi, celui-ci doit s’occuper de sa formation continue en évaluation et une des possibilités qui s’offrent à lui est de devenir membre de la Société québécoise d’évaluation de programme (SQEP) et de la Société canadienne d’évaluation (SCÉ). Ces deux associations regroupent des évaluateurs, des gestionnaires et toutes personnes intéressées par l’évaluation des programmes, des politiques, des activités et des services. Il s’agit d’un lieu d’échanges et de développement de la fonction de l’évaluation au Québec et au Canada; ce qui permet à l’évaluateur d’être au courant des tendances en évaluation et de partager avec d’autres évaluateurs. Ces associations permettent d’avoir accès à la littérature dans le domaine, en diffusant des articles sur tous les aspects théoriques et pratiques de l’évaluation et des notes sur la recherche et les méthodes dans le cadre d’une ou de plusieurs études d’évaluation ainsi que des comptes rendus des activités de la SQEP (http://www.sqep.ca/).
En conclusion, malgré l’avancement des connaissances et la mise en place de directives gouvernementales sur la gestion axée sur les résultats (MSSS, 1995; SCT, 2002a; http://www.tresor.gouv.qc.ca/) qui mettent en évidence l’utilisation de l’évaluation de programme comme moyen pour y arriver et qui veulent rendre l’évaluation de programme plus opérationnelle, on remarque qu’il y a un écart entre la théorie et la pratique de la profession d’évaluateur dans la fonction publique et parapublique. Ainsi, même si l’évaluation de programme est très valorisée, les résultats d’évaluation pour soutenir la prise de décision ne sont pas encore très utilisés (Éditeur officiel du Québec, 2014). De plus, on fait souvent un reproche aux évaluateurs, soit que les résultats d’évaluation arrivent trop tard dans le processus de décision (Patton et LaBossière, 2009). Pourtant, avec les démarches d’évaluation axée sur la participation des demandeurs, ceux-ci devraient avoir accès à l’information en cours de route donc, en temps opportun, pour les soutenir dans leur prise de décision. En optimisant la démarche d’évaluation de programme en fournissant un accompagnement aux différents acteurs concernés pour les soutenir dans l’identification des indicateurs pour apprécier leur programme, il est permis de penser que l’utilisation des résultats de l’évaluation sera plus facile à intégrer lors de la prise de décision. Toutefois, cette manière de travailler doit faire partie de la culture de l’organisation et de la pratique de l’évaluateur. D’où l’intérêt pour l’organisation de s’impliquer, et pour l’évaluateur, de participer à la formation continue en évaluation pour être au courant des tendances et s’outiller pour les mettre en pratique.

Le rapport de stage ou le pfe est un document d’analyse, de synthèse et d’évaluation de votre apprentissage, c’est pour cela rapport gratuit propose le téléchargement des modèles gratuits de projet de fin d’étude, rapport de stage, mémoire, pfe, thèse, pour connaître la méthodologie ?avoir et savoir comment construire les parties d’un projet de fin d’étude.

Table des matières

INTRODUCTION
CHAPITRE 1 – REVUE DE LITTÉRATURE
1.1 L’objet d’évaluation : le programme
1.1.1 Définitions et composante
1.1.2 Modélisation d’un programme
1.2 La pratique en évaluation de programme
1.2.1 Les paradigmes ou courants de pensée en évaluation de programme
1.2.2 Historique et définitions de l’évaluation de programme
1.3 L’indicateur : concept à la base de la mesure d’appréciation d’un programme
1.3.1 DÉFINITIONS
1.3.2 Différents types ou classifications d’indicateurs
1.3.3 Caractéristiques d’un indicateur de qualité
1.4 Stratégies pour identifier et développer des indicateurs
CHAPITRE 2 – PROBLÉMATIQUE
2.1 Constats liés à l’objet d’évaluation : le programme
2.2 Constats liés à la pratique en évaluation de programme
2.3 Constats liés à l’indicateur comme mesure d’appréciation d’un programme
2.4 Constats liés aux stratégies pour identifier et développer des indicateurs
CHAPITRE 3 – OBJET DE RECHERCHE
3.1 Une stratégie d’accompagnement pour identifier et sélectionner des indicateurs de résultats pour un programme
3.2 Questions de recherche
3.2.1 Critères d’appréciation de la stratégie
CHAPITRE 4 – MÉTHODOLOGIE
4.1 Protocole de recherche
4.2 Mise en place des conditions de succès pour expérimenter la stratégie d’accompagnement proposée
4.3 Procédure de sélection et de recrutement des participants
4.3.1 Recrutement des participants du groupe 1 pour expérimenter la stratégie d’accompagnement
4.3.2 Recrutement des participants du groupe 2 pour apprécier les indicateurs identifiés dans l’expérimentation (étape 4)
4.4 Procédure de collecte de données et outils de mesure
4.4.1 Groupe nominal modifié pour se rapprocher du groupe de discussion
4.4.2 Entrevues en groupe ou en individuel
4.4.3 Questionnaire autoadministré en ligne
4.4.3.1 Traitement et analyses des données du sondage en ligne
4.4.4 Journal de bord
CHAPITRE 5 – RÉSULTATS
5.1 Résultats de l’expérimentation de la stratégie proposée
5.1.1 La pertinence de chacun des 45 indicateurs identifiés
5.1.1.1 Indicateurs de ressources, d’activités et de processus du programme (32)
5.1.1.2 Indicateurs de résultats attendus du programme (13)
5.1.2 La faisabilité des 45 indicateurs identifiés
5.1.2.1 Indicateurs de ressources, d’activités et de processus du programme (32)
5.1.2.2 Indicateurs de résultats attendus du programme (13)
5.1.3 L’importance accordée aux 45 indicateurs identifiés
5.1.3.1 Indicateurs de ressources, d’activités et de processus du programme (32)
5.1.3.2 Indicateurs de résultats attendus du programme (13)
5.2 Validation des indicateurs identifiés par l’expérimentation
5.2.1 Comparaison des scores moyens de la pertinence des 45 indicateurs identifiés entre le groupe 1 et le groupe de validation (groupe 2)
5.2.1.1 Indicateurs de ressources, d’activités et de processus du programme (32)
5.2.1.2 Indicateurs de résultats attendus du programme (13)
5.2.2 Comparaison des scores moyens de la faisabilité des 45 indicateurs identifiés entre le groupe 1 et le groupe de validation (groupe 2)
5.2.2.1 Indicateurs de ressources, d’activités et de processus du programme (32)
5.2.2.2 Indicateurs de résultats attendus du programme (13)
5.2.3 Comparaison des scores moyens de l’importance accordée des aux 45 indicateurs identifiés entre le groupe 1 et le groupe de validation (groupe 2)
5.2.3.1 Indicateurs de ressources, d’activités et de processus du programme (32)
5.2.3.2 Indicateurs de résultats attendus du programme (13)
CHAPITRE 6 – DISCUSSION
6.1 La stratégie d’accompagnement est une plus-value mais nécessite des conditions favorables pour sa réalisation
6.2 L’utilisation du modèle logique de programme comme outil de synthèse et de classement mais également comme outil d’échanges et de communication efficace
6.3 La consultation des différents groupes d’acteurs est essentielle mais l’échange entre les différents groupes serait probablement plus efficace
6.4 L’appréciation des caractéristiques des indicateurs par les différents groupes d’acteurs est pertinente et nécessaire, mais leur utilisation doit l’être également
CHAPITRE 7 – RECHERCHES FUTURES
CHAPITRE 8 – FORCES ET LIMITES
8.1 Forces
8.2 Limites
CONCLUSION
BIBLIOGRAPHIE
ANNEXES

Rapport PFE, mémoire et thèse PDFTélécharger le rapport complet

Télécharger aussi :

Laisser un commentaire

Votre adresse e-mail ne sera pas publiée. Les champs obligatoires sont indiqués avec *