Cadres De Suivi Et Évaluation

Il est essentiel de disposer d’un cadre clairement énoncé pour guider les activités de suivi et évaluation. Ce cadre doit expliquer comment le programme doit fonctionner, en indiquant les composantes de l’initiative et l’ordre des activités à mener ou les étapes nécessaires pour obtenir les résultats voulus. Il permet de mieux comprendre les buts et les objectifs du programme, définit les relations entre les facteurs clés pour la mise en œuvre et précise les éléments internes et externes dont peut dépendre le succès du programme.

Pourquoi les cadres de suivi et évaluation sont-ils importants ?

Un cadre de suivi et évaluation soigneusement élaboré peut être d’une aide considérable pour examiner les stratégies, les objectifs et les activités prévues du programme et pour déterminer s’ils sont bien les mieux appropriés.

Les cadres de suivi et évaluation :

Aident à comprendre et à analyser les programmes;

Aide à élaborer et à mettre en œuvre des activités de suivi et évaluation rationnelles;

Énoncent les buts des programmes et leurs objectifs mesurables à court, moyen et long terme;

Définissent les relations entre les intrants, les activités, les effets et les impacts;

Précisent les relations entre les activités des programmes et les facteurs externes;

Indiquent comment les activités aboutiront aux effets et impacts souhaités, en particulier lorsqu’il n’y a pas de ressources pour procéder à des évaluations d’impact rigoureuse. Ils présentent souvent clairement les relations sous forme graphique.

Points à prendre en considération lors de l’élaboration d’un cadre de suivi et évaluation

Questions à poser :

Quels sont les objectifs des activités de suivi ?

Quelles sont les questions spécifiques qu’il faut poser pour évaluer les progrès de l’intervention ?

Quelles sont les informations nécessaires pour déterminer si les activités sont mises en œuvre comme prévu et qui peut fournir ces informations ?

Quels sont les objectifs de l’évaluation ?

Quelles sont les questions spécifiques qu’il faut poser pour évaluer les progrès de l’intervention ?

Quelles sont les informations nécessaires pour déterminer si les objectifs escomptés sont réalisés et les effets escomptés obtenus et qui peut fournir ces informations ?

Déterminer si les questions que l’on pose sont les bonnes questions pour comprendre à quel point l’intervention a « réussi » par rapport à ses objectifs et effets escomptés ?

Élaborer un plan de suivi et évaluation correspondant en tant qu’outil de suivi en définissant comme on procèdera pour surveiller l’information provenant du programme.

Élaborer le cadre et le plan avant la mise en œuvre des activités.

Déterminer quel cadre il est préférable d’utiliser. Les organisations et les bailleurs de fonds utilisent ou demandent que soient utilisés différents cadres. Certains bailleurs de fonds réunissent les aspects de divers cadres au sein d’une approche spécifiquement adaptée.  D’autres ne donnent pas de précisions concernant le choix d’un cadre.  Les programmes doivent choisir le type de cadre qui convient le mieux à leur stratégie et à leurs activités et qui est conforme aux exigences institutionnelles.

Il est également important de tenir compte des points suivants :

Il faut différents types de cadres, d’outils et d’indicateurs pour différents types d’interventions (changement de politique, campagnes de sensibilisation, mobilisation communautaire, amélioration des prestations de services et des ripostes).

On peut concevoir et utiliser un cadre de suivi et évaluation des activités approprié, même lorsque a) les programmes ne disposent pas de grandes ressources b) le personnel du programme et les agents d’exécution, les prestataires de services et les décisionnaires estiment qu’ils n’ont pas de temps supplémentaire à consacrer au suivi et évaluation.

De nombreux outils existants peuvent être adaptés aux spécificités du contexte et aux besoins du suivi et évaluation. Si l’on songe aux activités et aux outils de suivi et évaluation et que l’on les inclut dans les travaux ou la fourniture des services d’entrée de jeu, le fardeau des ressources et du temps est minimisé.

Il est important de définir clairement les objectifs, les informations qui seront les plus utiles pour les atteindre et les informations qui sont déjà facilement disponibles ou faciles à recueillir.

Tous les programmes doivent au minimum mener des activités de suivi qui leur permette de s’assurer qu’ils ne font pas courir de risques supplémentaires aux femmes.

Il existe des moyens créatifs de faire face aux limitations des ressources, par exemple :

>Inclure un poste budgétaire généreux pour le suivi et évaluation lors de la soumission des propositions aux bailleurs de fonds;

>Employer les ressources judicieusement en choisissant des méthodes faisables, fiables et susceptibles d’apporter des informations utiles pour améliorer le programme;

>Ne recueillir que la quantité de données qui pourront, en tout réalisme, être analysées ou utilisées;

>Trouver des moyens de mettre les ressources en commun et de coopérer avec d’autres organisations. Dans certaines situations, les étudiants universitaires peuvent apporter de l’aide en échange de l’acquisition d’expérience en matière de recherche.

(Bott et Guedes, Fédération internationale de la planification familiale, 2004)

Étapes de l’élaboration des cadres de suivi et évaluation

Les responsables de l’exécution des programmes (qui appartiennent souvent à divers secteurs) devraient agir conjointement pour élaborer le cadre de suivi et évaluation (Directives du HCR, 2003).

Tableau illustrant les divers besoins d’information des différentes parties prenantes

a)   Groupe bénéficiaire/population cible

>Impact sur le bien-être

>Problèmes d’accès aux services

>Aptitude à participer et à influer sur le processus décisionnel

b)   Personnel de terrain

>Résultats des activités

>Problèmes affectant les activités/performances du groupe

>Progrès par rapport au programme de travail

>Facteurs évalués de risques d’exposition à la violence sexuelle et sexiste

c)   Coordonnateurs/superviseurs

>Quels sont les résultats ?

>Quels sont les problèmes auxquels s’est heurté le personnel de terrain ?

>Quels sont les progrès accomplis par rapport au programme de travail ?

>Performance du personnel de terrain

d)   Direction du projet

>Efficacité et efficience des stratégies

>Les résultats escomptés ont-ils été obtenus ?

>Effets positifs et négatifs sur les hommes et les femmes

>État d’avancement de la mise en œuvre

>Facteurs externes influant sur les performances

>Faiblesses internes affectant les résultats

>Emploi efficient et efficace des ressources

e)   Organismes bailleurs de fonds/organisations partenaires

>Mesure dans laquelle les objectifs/buts ont été atteints

>Stratégies de projet

>Facteurs externes influant sur les performances du projet

>Durabilité des résultats du projet au niveau du groupe cible et institutionnel

1.  Ils devraient déterminer l’objet des mécanismes de suivi et suivi et ainsi que les besoins de chaque acteur.

2.  Veiller à ce que les interventions de prévention et de riposte aient des objectifs, extrants et indicateurs clairement définis;

3.  Établir des outils de fourniture de rapports communs et coordonnés;

4.  Déterminer les méthodes d’obtention des informations sur les indicateurs;

5.  Attribuer les responsabilités concernant le recueil de l’information, fixer le cadre temporel et la fréquence du recueil des données et allouer les ressources; et

6.  Mettre en place des mécanismes de partage de l’information et incorporer les résultats dans la planification de la prévention et de la riposte.

Bien qu’il n’y ait pas de cadre idéal et que le choix du cadre varie selon la situation, on peut néanmoins distinguer trois types de cadres communément utilisés, à savoir les cadres conceptuels, les cadres de résultats et les cadres/modèles logiques.

(USAID/MEASURE Evaluation, 2007)

i.     Cadres conceptuels

Les cadres conceptuels sont des diagrammes qui identifient et illustrent les relations existant entre les facteurs individuels, organisationnels et autres qui peuvent influer sur le programme et sur la réalisation de ses buts et objectifs. Ils aident à déterminer lesquels de ces facteurs influeront sur le programme et à préciser quels rapports ces facteurs (sous-jacents, culturels, économiques, sociopolitiques, etc.) peuvent avoir avec les effets et se répercuter sur ceux-ci. Ils ne constituent pas la base des activités de suivi et évaluation mais peuvent aider à expliquer les résultats du programme.

Au nombre des principales questions traitées dans les cadres conceptuels figurent :

Sur quelle théorie du changement l’intervention est-elle fondée ?

La théorie du changement reflète le processus sous-jacent et les modalités selon lesquels on s’attend à ce que se produise le changement espéré (en matière de connaissances, de comportements, d’attitudes ou de pratiques, au niveau individuel, institutionnel, communautaire ou autre).

Le modèle écologique est un large cadre conceptuel qui peut avoir son utilité pour comprendre les causes interreliées de la violence à l’égard des femmes au niveau de l’individu, des relations, des communautés et de la société.  Il peut aider à déterminer les divers processus et voies qu’il convient peut-être d’envisager lors de la planification et de la conception des programmes ou des interventions pour traiter le problème; il permet de comprendre comment différents contextes, interventions et types de violence peuvent exiger différentes méthodes d’évaluation.

On trouvera ci-dessous un exemple de théorie du changement, fondée sur le modèle écologique, retenue dans un projet de mobilisation communautaire visant à prévenir la violence domestique. Bien qu’il ne soit pas toujours inclure autant de détails lorsque l’on décrit les théories du changement, les cadres de suivi et évaluation doivent toujours comporter ce type d’analyse. On peut alors élaborer des activités et des indicateurs spécifiques appropriés pour exercer un suivi des moments clés du changement et pour évaluer le succès des actions visant à instaurer ce changement.

Mobilising Communities to Prevent Domestic Violence: A Resource Guide for Organisations in East and Southern Africa [Mobilisation des communautés pour prévenir la violence domestique : Guide de ressources pour les organisations d’Afrique de l’Est et d’Afrique australe] (Raising Voices, 2003)

Théorie du changement : La prévention de la violence domestique dans les foyers et les communautés exige que les individus identifient le problème de la violence domestique, en considèrent l’importance, évaluent leur propre comportement, puis comment à opérer des changements dans leur vie. Notre comportement est le résultat de nos expériences, de nos attitudes et de nos opinions, et il est donc intimement lié au système de croyances en vigueur dans la communauté. Les attitudes et les actions des voisins, amis, collègues de travail, dirigeants religieux, officiers de police, prestataires de soins de santé, etc. influent considérablement sur les choix comportementaux de l’individu et créent collectivement l’atmosphère de la communauté. Malgré l’unicité de l’individu et bien que tous abordent le problème de la violence domestique de différentes manières, le processus et les modalités du changement au niveau individuel présentent souvent des similitudes notables.

Changement de comportement individuel : La théorie des stades du changement explicite le processus selon lequel la personne peut modifier son comportement.

Stade 1 - Pré-contemplation : La personne n’est pas consciente du problème ni de ses conséquences pour elle.

Stade 2 – Contemplation : La personne commence à se demander si le problème a des relations avec son existence.

Stade 3 - Préparation à l’action : La personne s’informe et conçoit progressivement l’intention d’agir.

Stade 4 - Action : La personne commence à essayer de modifier ses façons de penser et ses comportements.

Stade 5 - Maintien : La personne reconnaît les avantages de son changement comportemental et s’attache à le maintenir.

Facilitation du changement social : Le Guide de ressources adapte cette théorie du changement de comportement individuel et l’amplifie pour le porter au niveau communautaire. Il considère que les communautés passent elles aussi par un processus de changement pour adopter un système de valeurs donné et que les projets qui reconnaissent ce processus et qui opèrent en harmonie avec lui ont plus de chances de faciliter l’instauration d’un changement durable.

Quelles sont les personnes qui seront exposées de diverses manières à l’intervention ?

En premier lieu, qui sera exposé directement à l’intervention ?  Par exemple, qui recevra les services ? Qui recevra une formation ? Qui recevra des matériels ? Qui entendra et verra la campagne ou y participera ?

En second lieu, qui pourra être exposé indirectement à l’intervention ?  Par exemple, qui, hors de l’audience cible, entendra sans doute parler de la campagne ? Qui apprendra sans doute que des services sont fournis dans une communauté voisine ?  Qui sera probablement exposé à certaines des idées diffusées lors de la formation bien qu’ils/elles n’y participent pas directement ?

En combien de temps est-il réaliste de prévoir qu’un changement comportemental se manifeste ?

Il faut se rappeler que si les changements se produisent facilement lorsqu’il s’agit des connaissances, les changements d’attitude et de comportement, en particulier ceux qui se situent au niveau des normes communautaires, sont des processus considérablement plus lents.

On peut s’attendre raisonnablement à ce que le personnel du secteur de la justice participant à une formation sur la législation relative à la violence domestique ou aux protocoles de traitement des cas de violence sexuelle acquière de meilleures connaissances de la législation ou des protocoles en une seule session. En revanche, il ne faut pas s’attendre à ce que les attitudes réprobatrices et la stigmatisation qui font obstacle à leur application changent du jour au lendemain.

Comment ce changement sera-t-il mesuré ?

Le cadre conceptuel doit identifier les façons de mesurer les types de changements escomptés.

Pour reprendre l’exemple ci-dessus, il serait approprié d’évaluer le changement des connaissances des participants du secteur de la justice en comparant l’état de ces connaissances avant et après la formation. Toutefois, pour déterminer si les changements des connaissances et des attitudes se sont répercutés progressivement dans la pratique, il faudra employer une autre méthode qui consistera, par exemple, à analyser les registres des tribunaux ou à interroger les plaignantes sur leur expérience du traitement de leur cas.

Autres exemples de cadres conceptuels

Le programme Rural AIDS Development Action Research (RADAR) et l’Intervention with Microfinance for AIDS and Gender Equity (IMAGE) en Afrique du Sud.

Le programme IMAGE cherche à influer sur les facteurs qui prédisposent les personnes à l’infection par le VIH et à la violence sexiste en ciblant l’environnement dans lequel ces phénomènes se produisent.  Les choix individuels, le bien-être des ménages, la communication et les relations de puissance, ainsi que les normes, les réseaux, les relations et les ripostes des communautés constituent l’environnement du cadre du programme IMAGE. Ce cadre vise à conceptualiser les facteurs et les relations qui, dans toute leur complexité, constituent l’environnement dans lequel se situent les comportements sexuels et la violence sexiste. Il a été élaboré pour guider les activités d’exécution et d’évaluation du programme IMAGE.

ii.       Cadres de résultats

Les cadres de résultats, parfois dits cadres stratégiques, illustrent les relations directes qui existent entre les résultats intermédiaires des activités, jusqu’à la réalisation des objectifs et buts généraux du programme.  Ils mettent en évidence les relations de cause à effet entre les objectifs du programme et indiquent comment chacun des résultats/extrants et effets intermédiaires est relié à chaque objectif et facilite sa réalisation, et comment les objectifs sont liés les uns aux autres ainsi qu’au but ultime. Les cadres de résultats forment, eux, la base des activités de suivi et évaluation au niveau des objectifs.

Source : PNUD, Guide de la planification, du suivi et de l’évaluation axés sur les résultats du développement (2009, p. 55)

Cadres logiques

Les cadres ou modèles logiques donnent une interprétation « logique », linéaire, des relations entre les intrants, les activités, les extrants, les effets et les impacts par rapport aux objectifs et aux buts.  Ils mettent en évidence les relations causales entre les intrants, les activités, les extrants, les effets et les impacts par rapport aux objectifs et aux buts. Les cadres logiques décrivent les intrants spécifiques nécessaires à l’exécution des activités/processus qui produiront des extrants spécifiques, lesquels produiront des effets et impacts spécifiques. Ils forment eux aussi la base des activités de suivi et évaluation pour tous les stades du programme.

Les cadres logiques sont particulièrement utiles pour :

a. La planification et l’élaboration des programmes : La structure du cadre logique aide à définir rationnellement la stratégie du programme et à préciser ce que le programme est et ce qu’il devrait être.

b. La gestion du programme : Du fait qu’il élucide les relations entre les ressources, les activités et les effets, le cadre logique peut constituer une base pour l’élaboration d’un plan de gestion détaillé. Le cadre logique permet, en se servant des données recueillies et d’un plan d’évaluation, de suivre et de surveiller les activités pour mieux gérer les résultats. Il peut servir de base à l’établissement de budgets et de programmes de travail.

c. La communication : Un cadre logique soigneusement conçu constitue un puissant outil de communication. Il peut montrer aux parties prenantes en un coup d’œil ce que le programme fait (activités) et ce à quoi il parvient (effets), en mettant l’accent entre ces deux éléments.

Les cadres logiques sont présentés sous forme de diagrammes reliant les intrants du programme aux processus, aux extrants, aux effets et aux impacts relatifs au problème ou à la situation considérés.  Ils indiquent les ressources dont le programme aura besoin pour atteindre ses buts, ce que le programme fera et ce qu’il espère réaliser, en soulignant les relations entre ces composantes.

Les composantes du cadre logique sont reliées par une série de relations « si… alors… » : si des ressources sont disponibles, alors les activités du programme peuvent être mises en œuvre; si les activités du programmes sont mises en œuvre efficacement, alors on peut s’attendre à l’obtention de certains extrants et effets.

Le cadre logique n’essaie pas de rendre compte de tous les facteurs susceptibles d’influer sur les opérations et les résultats du programme, contrairement au cadre conceptuel.  Au lieu de cela, il se concentre sur les intrants, les activités et les résultats du programme. Cette focalisation étroite aide les responsables du programme et les planificateurs du suivi et évaluation à préciser les relations directes qui unissent les éléments présentant un intérêt particulier au sein du programme.

(Adapté d’après le cours de S&E de MEASURE Evaluation, l’initiative de S&E de PATH et le Cours continental d’Addis sur le S&E.)

Exemple de cadre logique pour un programme de formation pour
prestataires de soins de santé

Ce cadre logique donne un aperçu clair d’un programme conçu pour améliorer les connaissances, les attitudes et les pratiques des prestataires de soins et pour sensibiliser ceux-ci à la violence à l’égard des femmes en tant que problème de santé publique et violation des droits de la personne.

Exemple de cadre logique pour comprendre l’impact des activités de communication, de plaidoyer et de formation sur la violence à l’égard des femmes et le VIH (PATH, 2007)