L’évaluation d’un programme, d’une activité, d’une initiative ou d’un projet de ville sûre pour les femmes se fait après un certain temps de fonctionnement. Elle a pour objectif de faire le point sur les actions entreprises et d’en faire ressortir les aspects positifs et négatifs. Il y a trois sortes d’évaluation : évaluation de la méthodologie employée, évaluation des résultats obtenus et évaluation des effets produits. Dans le premier type d’évaluation, on détermine si la méthodologie d’élaboration et de mise en œuvre du programme ou de l’initiative en question est satisfaisante. La méthodologie est normalement évaluée sur une certaine période – avant, pendant et après la mise en œuvre du programme ou de l’initiative. En revanche, les évaluations des résultats et des incidences permettent de préciser si le programme ou l’initiative ont atteint leurs objectifs ou buts fixés. Pour bien faire, les programmes de villes sûres pour les femmes devraient faire l’objet des deux types d’évaluation, l’évaluation de la méthodologie utilisée et l’évaluation de fin d’exercice (résultats ou incidences).
Pour de plus amples renseignements sur le suivi et l’évaluation, les termes et les sortes d’évaluation, voir Suivi et évaluation dans la section Éléments de base de la programmation [Programming Essentials] du site.
L’évaluation est importante pour trois raisons principales. Premièrement, elle permet au public et aux partenaires des programmes de décider si une stratégie ou un programme ont réussi à atteindre leurs objectifs. Deuxièmement, elle aide les partenaires des programmes à tirer des leçons de leurs expériences et à améliorer la qualité de leur travail à partir des réalisations précédentes. Troisièmement, elle encourage les partenaires des programmes à partager avec les participants d’autres programmes de villes sûres pour les femmes les leçons à retenir sur les pratiques et les formules prometteuses et les difficultés rencontrées. Ce type de partage facilite la reproduction et l’adaptation des bonnes pratiques, et l’élimination ou la modification des mauvaises pratiques. L’information obtenue lors du suivi du programme sert de base pour l’évaluation. Les partenaires des programmes devront prévoir l’évaluation d’un projet dès sa mise en chantier, ce type d’exercice nécessitant des compétences spéciales et l’allocation de ressources financières et humaines.
Réunissez des informations sur la situation de référence avant le lancement du programme de villes sûres pour les femmes.
Les données de référence donnent un aperçu de la situation sur le terrain telle qu’elle se présente avant l’intervention. Elles sont importantes car elles permettent aux partenaires des programmes d’établir des comparaisons entre la situation sur le terrain avant le lancement du programme et une fois le programme achevé. C’est ainsi qu’un programme de villes sûres pour les femmes dont l’objectif est de renforcer les sentiments de sécurité d’un nombre accru de femmes dans un lieu public donné devra disposer de données de référence indiquant le taux de fréquentation féminine de cet endroit, les activités qu’elles y mènent, et la nature de leurs sentiments vis-à-vis de cet endroit avant le lancement du programme. Ces mêmes données devront être recueillies à nouveau à l’issue du programme. La comparaison des données de référence et des nouvelles données permet aux partenaires des programmes de déterminer si leurs activités ont été efficaces ou non, en fonction d’une fréquentation accrue de ce lieu par les femmes, d’une utilisation différente de l’espace ou d’un sentiment de sécurité renforcé dans cet endroit.
Exemple : Survivors Speak: A Snapshot Survey on Violence against Women in Nairobi [Les survivantes parlent : Enquête instantanée sur la violence envers les femmes à Nairobi] (2002).
Cette publication est produite par ONU-HABITAT dans le cadre de son programme Villes sûres pour les femmes. Survivors Speak [Les survivantes parlent] présente des données numériques sur la fréquence et les formes des actes de violence subis par les femmes en milieu urbain, à partir des résultats d’une enquête de victimisation. La méthodologie de l’enquête y est examinée, de même que les éléments d’information tirés de l’enquête, tels que le degré d’exploitation économique et psychologique, et de violence physique et sexuelle, les profils des auteurs et des victimes des mauvais traitements, les impacts des mauvais traitements, les services urbains à la disposition des femmes maltraitées et les sentiments de sécurité dans divers cadres de vie communautaire (foyer, travail, lieux publics). Le formulaire du questionnaire utilisé par l’enquête de victimisation y est inclus également. Disponible en anglais.
Ressources :
Summary Information on Policies and Initiatives Promoting Women’s Safety [Informations sommaires sur les politiques et les initiatives en faveur de la sécurité des femmes] (Gender Inclusive Cities Programme [Programme de villes inclusives des femmes], 2009). Cet instrument a été développé pour aider les partenaires des programmes à identifier les mesures législatives, les politiques et les initiatives qui ont des effets positifs ou négatifs sur la sécurité des femmes. Il propose aux partenaires des programmes une matrice d’évaluation des politiques à remplir pour consigner des informations sur le degré d’intégration de la dimension sexospécifique dans les budgets locaux, régionaux et nationaux et sur le nombre d’initiatives policières contre la violence à l’égard des femmes. Disponible en anglais.
Survey for Youth [Enquête pour les jeunes] (2010). Ce questionnaire d’enquête, établi par METRAC et le Youth Alliance Project, a pour objet d’obtenir de plus amples informations sur l’expérience des jeunes femmes face à la police lorsqu’elles déclarent la survenue d’agressions sexuelles, d’agressions physiques et de harcèlement criminel. L’enquête est conçue à l’intention des jeunes femmes dans le contexte canadien urbain. Disponible en anglais.
Évaluation des projets de prévention du crime par le développement social : Manuel pour les organismes communautaires (Sécurité publique et sécurité civile (Canada) 2006) [Evaluating Crime Prevention through Social Development Projects: Handbook for Community Groups (Public Safety and Emergency Preparedness (Canada) 2006)]. Ce manuel exhaustif vise à orienter le processus d’évaluation des projets de prévention de la criminalité entrepris par les groupes locaux. Il donne un aperçu de ce qu’est l’évaluation et des types d’évaluation que les groupes communautaires devraient envisager de mener. Il examine également la préparation d’un modèle logique, l’élaboration d’un plan d’évaluation, la collecte des données et les différents moyens de concevoir une évaluation et d’analyser les données. Le manuel décrit en outre les difficultés inhérentes à ce genre d’exercice, propose des solutions et présente des études de cas. Des tableaux d’activités d’évaluation et des outils pour la poursuite des recherches sont également proposés. Disponible en français et en anglais.
Researching Violence against Women : A Practical Guide for Researchers and Activists [Recherche sur la violence envers les femmes: Guide pratique à l’usage des chercheurs et des activistes]. (PATH et Organisation mondiale de la santé, 2005). Ce guide et trousse d’outils se propose d’aider les activistes et autres chercheurs à déterminer l’ampleur et le type des actes de violence subis par les femmes afin de leur permettre d’élaborer des politiques et des programmes pour lutter contre les formes de violence sexiste au niveau local et régional. Le guide s’intéresse essentiellement à la question de la violence exercée par un partenaire intime. Les méthodes employées pour la collecte des données peuvent toutefois être utilisées pour d’autres formes de violence envers les femmes, notamment la violence à l’égard des femmes dans les lieux publics. Les approches de recherche quantitative et qualitative y sont également examinées, notamment les études transversales, les études de contrôle des cas, les études qualitatives approfondies et autres. Le guide fournit des outils pour plusieurs étapes de la recherche, notamment la formulation des questions et la collecte de récits libres. Des études de cas sont également présentées tout au long du guide. Disponible en anglais.
How Do We Measure the Prevention of Violence against Women? [Comment mesurer la prévention de la violence à l’égard des femmes ?] (Prevention Connection: The Violence against Women Prevention Partnership, 2008) California Coalition Against Sexual Assault, USA. Cette brève présentation annotée de diapositives examine les méthodologies de mesure des niveaux de violence envers les femmes dans une communauté donnée. Elle illustre les difficultés d’un tel exercice et propose plusieurs méthodes fondées sur l’unité de l’analyse, le climat social, les normes, le capital communautaire et autres facteurs. La présentation se concentre sur l’analyse des faits scientifiques. En outre, la présentation propose trois études de cas d’approches organisationnelles pour mesurer la violence envers les femmes. Les informations fournies seront particulièrement utiles aux organismes gouvernementaux et aux chercheurs universitaires. Disponible en anglais : 12 :11 minutes.
Veillez à ce que les méthodes d’évaluation correspondent aux activités qu’elles évaluent.
Il y a plusieurs moyens d’évaluer le travail des partenaires des programmes : les enquêtes, l’analyse des changements statistiques de la criminalité, la surveillance des modes d’utilisation des lieux ou services publics et l’étude des notes des réunions en sont quelques-uns. Certaines méthodologies qui exigent des connaissances techniques (comme l’analyse des données statistiques) peuvent ne convenir qu’aux projets de grande envergure et exigent la participation de plusieurs acteurs. Pour les projets plus modestes, les formulaires d’évaluation remplis et renvoyés par les participant(e)s peut être plus adaptée.
Ressource :
Capturing Change in Women's Realities: A Critical Overview of Current Monitoring and Evaluation Frameworks and Approaches [Capturer le changement des réalités des femmes : Aperçu critique des cadres et approches de suivi et évaluation] (2010). Ce document traite des limitations inhérentes aux approches traditionnelles du suivi et évaluation, telles qu’elles s’appliquent aux organisations de femmes. Il expose en détails les raison qui font que certains modèles de suivi et évaluation ne rendent capturent par les informations sur le changement social en rapport avec les relations entre les deux sexes. Il donne également une analyse d’un point de vue féministe de différents cadres de S&E, en indiquant leurs forces et leurs faiblesses. Disponible en anglais.
« Evaluation Form: CAC Workshop 1: Understanding Domestic Violence » in Mobilising Communities to Prevent Domestic Violence: A Resource Guide for Organizations in East and Southern Africa [Formulaire d’évaluation: Atelier CAC 1: Comprendre la violence domestique dans Mobiliser les communautés locales pour la prévention de la violence domestique : Guide de ressources destiné aux organisations de l’Afrique de l’Est et australe]. Raising Voices. Kampala, Ouganda : Annexe, p. 296. Ce formulaire d’évaluation a été développé par l’organisation Raising Voices à l’usage des participant(e)s aux ateliers sur la violence domestique. Les partenaires des programmes de villes sûres pour les femmes pourront néanmoins s’en servir pour évaluer les résultats de leurs ateliers en modifiant la section des activités compte tenu des sujets traités dans leurs propres ateliers. Le questionnaire vise à mesurer le degré de satisfaction des participant(e)s à l’égard du lieu où l’atelier s’est déroulé, des activités qu’il a proposées et de la qualité des animateurs. Disponible en anglais.
Songez aux possibilités de l’évaluation participative.
L’évaluation participative est une méthodologie particulièrement adaptée aux programmes de villes sûres pour les femmes car elle permet aux femmes des communautés locales et aux partenaires des programmes de s’impliquer dans le processus d’évaluation. Elle peut être utilisée séparément ou avec d’autres méthodologies. L’évaluation participative est importante car elle repose sur les points de vue des personnes ciblées par le programme, et qui, par conséquence, savent ce qui marche et ce qui ne marche pas. En règle générale, l’évaluation participative suppose le développement d’un plan de travail d’évaluation (qui sert d’outil pour décider quelle information collecter et comment : par exemple, par le biais d’entretiens, d’enquêtes), la tenue de réunions pour examiner les résultats, la préparation d’un rapport et l’examen et la finalisation commune du rapport. Au cas où les partenaires des programmes décident de choisir ce type de méthodologie d’évaluation de leurs programmes, projets, initiatives ou activités, il faudra sélectionner les participants en fonction du centre d’intérêt de leurs travaux. A titre d’exemple, un projet de sensibilisation au harcèlement sexuel dans le métro devra prévoir la participation au processus d’évaluation des hommes, des garçons, des femmes, des jeunes filles et des agents des transports publics. On trouvera ci-dessous des conseils sur la manière de rendre le processus d’évaluation participatif concernant tout particulièrement les femmes et les filles :
- Offrez aux filles une formation attrayante et interactive susceptible d’élargir et d’approfondir leur compréhension des éléments de base et des modes d’utilisation de l’évaluation.
- Encouragez la participation des filles au processus de développement de l’évaluation et aux prises de décisions sur l’orientation de l’évaluation, les méthodologies à utiliser, la manière d’utiliser les données, les questions de confidentialité et l’établissement des rapports.
- Soyez conscients des problèmes d’alphabétisation et de langue dans le choix des méthodologies de formation et des instruments de collecte des données.
- Fixez des buts et des objectifs réalistes pour la participation des filles au processus d’évaluation; convenez à l’avance des besoins et des niveaux de soutien et de ressources et des mécanismes de responsabilisation.
- Fixez des buts et des objectifs réalistes pour les activités de programme et pour l’évaluation, en établissant notamment un calendrier réaliste correspondant à la durée de la participation des filles au programme.
- Gérez l’ingérence des partenaires locaux ou institutionnels qui risquent d’empêcher les filles de mener à bien les activités d’évaluation.
- Faites connaître les résultats de l’évaluation de manière à impliquer les familles et les communautés locales et à justifier la participation et l’appropriation du processus de la part des filles.
D’après C. Fullwood (2005). Working with Girls as Evaluators [Travailler avec les filles comme évaluatrices]. Disponible en anglais.
Ressource :
Tools of the Trade: A CWIT Guide to Participatory Evaluation [Instruments du métier : Guide CWIT d’évaluation participative) (Center for Research on Women and Gender, sans date). Université de l’Illinois à Chicago (États-Unis). Ce guide et trousse d’outils propose des orientations générales sur les méthodologies d’évaluation participative, l’accent étant mis sur l’implication des femmes. Il décompose le processus d’évaluation en trois étapes : élaboration du plan d’évaluation, choix des méthodologies d’évaluation des données et présentation du rapport d’évaluation. Le guide fournit des directives progressives pour chaque étape, ainsi que des feuilles de travail et des exercices du type questions-réponses. Disponible en anglais.
Envisagez le recrutement d’un évaluateur externe.
Le recrutement d’un expert chargé d’évaluer le programme de villes sûres pour les femmes pourrait se révéler bénéfique aux groupes qui ont les moyens d’assumer une telle dépense. Les évaluateurs externes sont embauchés dès la conception du programme ou du projet. Leur capacité à offrir un point de vue objectif (leur jugement n’étant influencé ni par des préjugés ni par des attaches personnelles) sur l’ensemble des activités du programme est particulièrement utile. Les évaluateurs sont par ailleurs capables de détecter certains aspects du programme qui ont échappé à d’autres personnes. De surcroît, l’avis de l’expert extérieur contribue à renforcer la légitimité des résultats du programme (aux yeux des décideurs politiques, des donateurs, des experts, des autres parties intéressées), ces derniers ayant l’assurance que les réalisations et les bonnes pratiques du programme ont reçu un aval professionnel et objectif (Whitzman, 2008b, 96). Il va sans dire que les évaluateurs extérieurs des programmes de villes sûres devront justifier d’une expérience appropriée dans les domaines de la sécurité collective et du genre.
Prévoyez l’évaluation interne continue du programme, de l’activité, de l’initiative ou du projet en cours d’exécution ou à sa conclusion.
Les partenaires des programmes devront se demander, tout au long de l’exécution ou à l’achèvement du programme ou de l’initiative, quelles leçons ils en ont tirées et quelles réalisations ont été accomplies. Les réponses obtenues en cours d’exécution du programme leur permettront d’améliorer son fonctionnement. Tous les partenaires, notamment les décideurs locaux, les organisations locales et, naturellement, les groupes locaux de femmes et de filles devraient participer à ce processus. On trouvera ci-dessous des exemples de questions pouvant être utiles à l’évaluation des activités des partenaires des programmes :
- Pourquoi cette action (programme, activité, initiative ou projet) a-t-elle été lancée ? Les raisons invoquées à l’origine demeurent-elles valables ?
- Quels ont été les résultats (positifs et négatifs) de ces actions ?
- Les buts et les objectifs de départ ont-ils été atteints?
- Les résultats obtenus justifient-ils les efforts déployés et les dépenses consenties ?
- Avec le recul, y a-t-il d’autres actions et stratégies qui auraient été plus utiles ?
- Quelles sont les mesures que l’évaluation propose pour l’avenir ?
Ressources :
« Program Planning and Evaluation » Guide in Leading Community Change: A Workshop Guide to Build Women’s Volunteer Leadership Skills [Guide « Planification et évaluation du programme » dans Animer les changements dans les communautés locales : Guide pour les ateliers sur le renforcement des compétences volontaires de leadership des femmes] (Status of Women Council of the Northwest Territories (Canada) et Women’s Voices in Leadership, sans date). Le guide propose des activités d’atelier destinées aux animateurs qui dispensent une formation aux volontaires femmes aux méthodes de planification et d’évaluation des programmes communautaires. Les partenaires des programmes peuvent utiliser ce guide pour revoir leurs points forts et leurs besoins, développer un cadre d’évaluation et organiser des séances pratiques de planification et d’évaluation. Le guide présente également des tableaux d’activité (pages 79 - 100) et des tableaux d’évaluation (pages 9 - 18). Disponible en anglais.
Activité : « Élaboration d’un plan d’évaluation » dans La cartographie des incidences: Intégrer l’apprentissage et la réflexion dans les programmes de développement (S. Earl, F. Carden et T.Smuytlo, 2001). Centre de recherches pour le développement international (Canada) : page 115. L’activité de cette trousse d’outils est destinée aux programmes et organisations qui souhaitent mesurer leurs réalisations d’après les changements d’attitudes et de comportements (par opposition aux incidences statistiques). Cette approche est particulièrement adaptée aux programmes de villes sûres pour les femmes car leur objectif n’est pas seulement de prévenir la violence envers les femmes dans les villes et les communautés, mais de renforcer les sentiments de sécurité des femmes dans les lieux publics. L’activité « Élaboration d’un plan d’évaluation » propose à l’usage des partenaires des programmes un schéma et un tableau de définition des questions d’évaluation et d’audience, des responsabilités et d’autres sujets. Disponible en anglais, en espagnol, en français, en portugais et en thaïlandais.
N’oubliez pas que certaines réalisations mettent du temps à se concrétiser.
Les partenaires des programmess ne doivent pas se décourager si les premiers résultats de leurs actions ne sont pas suivis d’effets, puisqu’il faut parfois des années pour que des changements positifs se produisent au niveau communautaire. À titre d’exemple, supposons que les partenaires des programmes, après avoir mené un audit sur la sécurité des femmes, recommandent aux autorités locales, à partir des conclusions de l’audit, de renforcer la coopération de leurs services de police et des affaires féminines. L’adoption et l’application de cette recommandation risquent toutefois de prendre cinq ans; de même, un changement dans l’administration peut contraindre les partenaires des programmes à présenter la même recommandation lors d’une campagne d’élection municipale ou à son issue, pour inciter les autorités à reprendre l’examen du dossier.
Partagez les résultats.
La raison du suivi et de l’évaluation des programmes est de tirer des enseignements des succès enregistrés et des erreurs commises. Le partage des connaissances sur ces points permet aux partenaires des programmes de villes sûres pour les femmes et aux autres groupes (organisations locales, administrations locales, groupes de femmes, et autres parties actives dans le domaine de la sécurité des femmes) de découvrir ce qui facilite le bon fonctionnement de leurs projets ou ce qui freine leur réalisation (Michau et Naker, 225). Le partage des résultats contribue en outre à sensibiliser l’opinion aux programmes de villes sûres pour les femmes et à la question de la sécurité des femmes en général. La publication des résultats peut se faire sous forme de rapport, de communiqué de presse, sur Internet (sur les sites Web, dans des courriels ou affichés dans les groupes de discussion), dans des revues savantes (en particulier lorsqu’ils s’accompagnent d’évaluations externes rigoureuses), dans les communautés locales, dans des dépliants, des productions théâtrales, suivant les audiences, les objectifs de la diffusion des résultats (autonomisation des membres de la communauté locale, mobilisation pour la poursuite du programme et de la contribution financière, autre objectif) et les décisions des participants et des partenaires des programmes.
Guidance Note on Developing an Evaluation Dissemination Strategy (UNIFEM, 2009). Available in English.
N’hésitez pas à admettre que certains éléments de votre programme ont été moins efficaces que d’autres.
Il arrive parfois que les partenaires des programmes se montrent déçus que leur projet n’a pas été un succès total ou qu’ils sont incapables de montrer des résultats concrets. Il ne faut pas perdre de vue toutefois que le but de l’évaluation est de donner une meilleure idée de ce qui aurait pu être fait différemment et de ce qui pourrait être amélioré aux étapes suivantes. Ces connaissances sont utiles à tous les participants au projet, car une meilleure compréhension de ce qui contribue ou ne contribue pas à la réalisation du programme est un succès en soi.
Ressource :
Women’s Safety Audits: What Works and Where? [Audits sur la sécurité des femmes : Qu’est-ce qui marche et où ?] (2008). Ce rapport produit par Villes et Femmes international, ONU-HABITAT et l’ASDI est un exemple de récapitulatif des évaluations effectuées à ce jour du processus de l’audit sur la sécurité des femmes. La première partie du rapport est consacrée à l’analyse documentaire de l’évaluation des audits sur la sécurité des femmes. Cette analyse porte sur les pratiques encourageantes et les résultats positifs enregistrés dans ce domaine, ainsi que sur les mauvaises pratiques et les résultats négatifs; elle aborde également les questions d’évaluation, et les recommandations publiées en matière d’audits de sécurité des femmes. Le rapport présente en outre les résultats d’enquêtes approfondies avec des groupes ayant participé à ce type d’audit. Les conclusions des enquêtes fournissent des éléments d’évaluation supplémentaires sur les succès enregistrés et les difficultés rencontrées dans la mise en application et l’adaptation de cet outil. Dans l’ensemble, le rapport fournit des éléments d’information sur l’utilisation faite à ce jour de l’audit sur la sécurité des femmes et sur les possibilités d’utilisation qu’il offre à l’avenir. Il s’adresse à tous les groupes et à toutes les entités gouvernementales qui souhaitent réaliser un audit sur la question dans leur communauté. Le rapport est disponible en anglais.
Prévoyez les principales étapes et les difficultés susceptibles de se manifester au cours de l’évaluation et de l’examen de l’élaboration et de la mise en œuvre de politiques publiques.
On se gardera de perdre de vue, lors de l’évaluation d’une politique publique, la raison pour laquelle cette politique a été élaborée et les objectifs qu’elle se propose d’atteindre. En conséquence, il faudra examiner et évaluer toutes les étapes précédentes de la formulation et de la mise en œuvre de la politique afin de mieux prévoir les difficultés qui risquent de se présenter au cours de l’évaluation. Ces difficultés peuvent provenir de l’évolution constante de la situation sociale et culturelle dans laquelle cette politique est appliquée, évolution qui peut se répercuter sur les objectifs originaux. Des difficultés risquent également de se manifester si les acteurs intervenant dans l’évaluation tentent d’influencer ses résultats, par exemple dans le cas où certains évaluateurs se montreraient partiaux dans l’analyse des données d’évaluation pour servir leurs intérêts (Burijovich; 2005).