Le suivi est une forme d’évaluation, mais contrairement à l’évaluation d’effet ou à l’évaluation d’impact, il a lieu peu après le démarrage de l’intervention (évaluation formative), durant l’intervention (évaluation du processus) ou au milieu de l’intervention (évaluation à mi-parcours).
Le suivi n’est pas une fin en soi. Il permet aux responsables des programmes de déterminer ce qui marche et ce qui ne marche pas, de façon à procéder à des ajustements en cours d’exécution. Il permet de déterminer ce qui se passe en réalité par comparaison à ce qui était prévu.
Le suivi permet :
D’appliquer des mesures correctives pour remettre le programme sur le droit chemin et pour continuer de progresser de manière responsable en vue de l’obtention des résultats visés et escomptés.
De déterminer comment il convient de répartir les fonds entre les activités du programme.
De recueillir des informations qui peuvent être utilisées dans le processus d’évaluation.
Lorsque les activités de suivi ne sont pas effectuées par les responsables du programme eux-mêmes, il est essentiel que ces activités soient coordonnées et que les constats leur soient communiqués.
Les informations issues des activités de suivi peuvent également être communiquées à divers groupes hors de l’organisation; cela contribue à la transparence et offre l’occasion d’obtenir des retours d’information des principales parties prenantes.
Il n’existe pas d’outils ni de méthodes standard de suivi. Ceux-ci varient selon le type d’intervention et les objectifs visés. Parmi les méthodes de suivi figurent :
Les rapports d’activités de suivi
Les examens des dossiers/documents de prestations de services (tels que les rapports de police, dossiers d’affaires, formulaires d’admission dans les services de santé et autres)
Les entrevues de départ avec les client(e)s (survivantes)
Des techniques qualitatives pour apprécier les attitudes, connaissances théoriques et pratiques, comportements et expériences des survivantes, des fournisseurs de services, des auteurs des actes de violence et autres personnes ciblées dans l’intervention.
Des examens statistiques des bases de données administratives (par exemple dans les secteurs de la santé, de la justice, des affaires intérieures, des refuges, des bureaux d’assistance sociale et autres)
D’autres techniques quantitatives.
Évaluations des effets
Les évaluations des effets mesurent, comme leur nom l’indique, les effets, à savoir les résultats, des programmes, ces effets pouvant s’inscrire dans le court terme ainsi que dans le long terme.
Par exemple, un programme visant à renforcer les réponses du secteur de la santé face aux cas de violence à l’égard des femmes peut avoir pour effet à court terme l’emploi de procédures et de protocoles standardisés par les praticiens d’un établissement de santé.
Il peut avoir pour effet à long terme l’intégration de ces politiques dans tout le secteur.
Il est important de déterminer clairement dès le début de l’intervention quels seront les objectifs et les effets escomptés, et de préciser les changements spécifiques attendus pour le groupe de population spécifiquement visé.
Évaluations d’impact
Les évaluations de l’impact d’un programme mesurent la différence entre ce qui a eu lieu et ce qui aurait eu lieu en l’absence du programme. Elles répondent à la question de savoir quels changements observés au sein de la population cible sont attribuables au programme.
Ce type d’évaluation exige une conception rigoureuse en matière de recherche. C’est le type d’évaluation le plus complexe et le plus intensif, faisant appel à des méthodes telles que la sélection aléatoire, les groupes témoins et les groupes de comparaison. Ces méthodes ont pour objet :
De déterminer les relations causales existant entre les activités mises en œuvre et les effets souhaités;
De repérer et d’isoler les facteurs extérieurs susceptibles s’influer sur les effets souhaités.
Par exemple, l’évaluation d’impact d’une initiative visant à prévenir les agressions sexuelles contre les femmes et les filles dans une ville x par des améliorations d’infrastructure (éclairage, chemins piétons plus visibles, etc.) peut également examiner les données d’une communauté de comparaison (ville y) pour déterminer si la réduction du nombre d’agressions à la fin du programme sont attribuables à ces améliorations. Le but visé est d’isoler les autres facteurs, tels qu’une formation dispensée à la police ou l’adoption de nouvelles mesures législatives, susceptibles d’influer sur la réduction du nombre d’agressions.
Les évaluations d’impact peuvent sans doute être considérées comme le nec plus ultra du suivi et évaluation, mais elles présentent des difficultés certaines et ne sont pas toujours faisables pour diverses raisons telles que les suivantes :
Elles exigent une somme considérable de ressources et de temps, que beaucoup d’organisations ne possèdent pas.
Elles exigent également, pour être réalisées comme elles doivent l’être, le recueil de données selon des méthodes de statistique spécifique, sur une période déterminée, auprès de plusieurs groupes témoins et d’interventions, ce qui peut être difficile pour certains groupes.
Les évaluations d’impact ne sont pas toujours nécessaires, ni même appropriées, compte tenu des besoins de suivi et évaluation des activités des programmes et des interventions.
Pour mesurer les impacts d’un programme, on procède généralement à une évaluation au début des activités (évaluation de la situation de référence) puis à la fin des activités (évaluation finale). Des mesures sont également effectuées à des fins de comparaison auprès d’un groupe témoin présentant des caractéristiques analogues à celles de la population cible mais n’ayant pas bénéficié de l’intervention.
L’attribution des changements à une intervention donnée exige que l’on élimine tous les autres explications possibles et que l’on isole tous les facteurs extérieurs ou confusionnels pouvant influer sur les résultats. L’évaluation de l’impact d’une campagne de sensibilisation aux dispositions d’une loi récemment adoptée sur la violence à l’égard des femmes, par exemple, devra comprendre :
Les données de la situation de référence du groupe cible relatives à sa sensibilité aux dispositions de la loi avant la campagne
Les données de la situation finale du groupe cible relatives à sa sensibilité aux dispositions de la loi après la campagne
Les données de la situation de référence d’un groupe témoin correspondant de près au groupe cible mais pas exposé à la campagne relatives à sa sensibilité aux dispositions de la loi
Les données de la situation finale du groupe témoin relatives à sa sensibilité aux dispositions de la loi après la campagne, en particulier pour déterminer s’il est intervenu des facteurs extérieurs qui ont pu influer sur leur niveau de sensibilité.
S’il n’est pas prévu de groupe témoin aléatoire pour l’étude, il n’est pas possible de tirer des conclusions solides concernant les différences d’effets entre les régions où le programme a été exécuté et celles où il ne l’a pas été..
Toutefois, si les circonstances ne permettent pas de mener des études de la situation de référence présentant la rigueur statistique voulue, avec des groupes témoins à sélection aléatoire, on peut cependant recueillir des données très utiles et très valables sur la situation de référence et sur la situation finale.
La réalisation des évaluations exige une formation et des connaissances techniques spécialisées. Si le programme ne possède pas les capacités requises au sein de son personnel, il conviendra qu’il recrute des évaluateurs extérieurs. Voir à ce sujet :
Guidance Note on Developing Terms of Reference (ToR) for Evaluations [Note d’orientation sur l’élaboration des termes de référence (TdR) pour les évaluations] (UNIFEM, 2009). Disponible en anglais.
Une fois l’évaluation terminée, un rapport complet doit être établi pour documenter les résultats du programme et les constats de l’évaluation. Voir à ce sujet :
Guidance: Quality Criteria for Evaluation Reports [Orientations : Critères de qualité pour les rapports d’évaluation] (UNIFEM, 2009). Disponible en anglais.
Le rapport d’évaluation, ou un résumé selon qu’il est approprié, doit être communiqué au personnel, aux bailleurs de fonds et aux autres parties prenantes. Voir à ce sujet :
Guidance Note on Developing an Evaluation Dissemination Strategy [Note d’orientation sur l’élaboration d’une stratégie de diffusion des évaluations] (UNIFEM, 2009). Disponible en anglais.
Exemples de rapports de suivi et évaluation :
Pour d’autres exemples de rapports de suivi et évaluation par secteur, voir :
Ressources supplémentaires :
M&E Fundamentals: A Self-Guided Minicourse [Notions fondamentales du suivi et évaluation : minicours autoguidé] (Frankel and Gage/MEASURE Evaluation, 2007). Disponible en anglais.
Monitoring and Evaluating Gender-based Violence Prevention and Mitigation Programs [Suivi et évaluation des programme de prévention et d’atténuation de la violence sexiste] (USAID, MEASURE Evaluation et Interagency Gender Working Group). La présentation PowerPoint et les matériels à distribuer sont disponibles en anglais.
Monitoring and Evaluating Gender-Based Violence: A Technical Seminar Recognizing the 2008 '16 Days of Activism' [Suivi et évaluation de la violence sexiste : séminaire technique reconnaissant les « 16 jours d’activisme » de 2008] (Interagency Gender Working Group/USAID, 2008). Présentations disponibles en anglais.
Sexual and Intimate Partner Violence Prevention Programmes Evaluation Guide [Guide de l’évaluation des programmes de prévention de la violence sexuelle et entre partenaires intimes] (Centers for Disease Control and Prevention). Ce guide contient des informations sur la planification et la réalisation des évaluations, sur l’établissement de liens entre les buts, objectifs, activités et effets des programmes et sur les stratégies d’évaluation; il donne des indications sur les sources et les techniques de recueil des données, et des conseils sur l’analyse et l’interprétation de données recueillies ainsi que sur le partage des résultats. Il est disponible à l’achat en anglais.
Building Data Systems for Monitoring and Responding to Violence Against Women [Établissement de systèmes de données pour le suivi et les interventions dans le domaine de la violence à l’égard des femmes] (Centers for Disease Control and Prevention, 2000). Disponible en anglais.
Sexual Violence Surveillance: Uniform Definitions and Recommended Data Elements [Surveillance de la violence sexuelle : définitions uniformes et éléments de données recommandés] (Centers for Disease Control and Prevention, 2002). Disponible en anglais.
Using Mystery Clients: A Guide to Using Mystery Clients for Evaluation Input [Utilisation de clients mystérieux : Guide de l’utilisation de clients mystérieux pour informer les évaluations] (Pathfinder, 2006). Disponible en anglais.
A Place to Start: A Resource Kit for Preventing Sexual Violence [Point de départ : Dossier de ressources pour la prévention de la violence sexuelle] (Sexual Violence Prevention Program of the Minnesota Department of Health). Outils d’évaluation disponibles : Community Assessment Planning Tool; Evaluation Planning Tool; Opinions About Sexual Assault; Client Satisfaction Survey; Participant Feedback Form; Teacher/Staff Evaluation of School Presentation; Program Dropout Form
National Online Resource Center on Violence Against Women [Centre national de ressources en ligne sur la violence l’égard des femmes]. Page Evaluation.
Gender Equality and Human Rights Responsive Evaluation (UN Women, 2010). Disponsible en anglais. Voir aussi UN Women online guide to gender equality and human rights responsive evaluation en anglais, française et espagnol.
Putting the IPPF Monitoring and Evaluation Policy into Practice: A Handbook on Collecting, Analyzing and Utilizing Data for Improved Performance [Mise en application de la politique de suivi et évaluation de la FIPF : Guide du recueil, de l’analyse et de l’utilisation des données pour améliorer les performances] (Fédération internationale pour la planification familiale, 2009). Disponible en anglais.