En règle générale, l’évaluation efficace de programme ira bien au-delà de la simple satisfaction des besoins en subventions. Une évaluation doit clarifier le processus de mise en oeuvre du programme et ses effets sur les participants et les bénéficiaires. L’évaluation peut:
- contribuer aux améliorations des programmes de sorte qu’ils produisent de meilleurs résultats pour les femmes et les filles
- documenter les connaissances des programmes aux fins de leur diffusion et applicabilité à d’autres situations - comment ltirer des enseignements des expériences des programmes et appliquer ces modèles aux problèmes locaux?
- encourager la responsabilisation - est-ce que les ressources ont été réparties comme prévu et contribué à la réalisation des objectifs des programmes? Pourquoi ou pourquoi pas?
- Fournir des renseignements sur les résultats obtenus aux bailleurs de fonds et à d’autres publics
Le Guide sur la planification, le suivi et l’évaluation axés sur les résultats du développment du Programme des Nations Unies pour le développement donne une description détaillée des considérations générales qui interviennent dans une méthodologie d’évaluation.
L’évaluation repose sur les données recueillies pendant l’activité de suivi et collectera des données définitives se rapportant à beaucoup des mêmes indicateurs. Comme indiqué plus haut, l’évaluation peut comparer des situations d’activité “avec ou sans” dans des lieux différents, ou d’activité “avant ou après” menées dans un même lieu. Il est impératif d’examiner la planification de l’évaluation avec des experts d’autres organisations, des universitaires, ou des groupes d’asssistance technique fournie par les bailleurs de fonds au stade du projet, de sorte que l’évaluation puisse s’intégrer harmonieusement dans les activités programmatiques (OCDE/Banque mondiale, 2004).
Les méthodes de collecte des données utilisées dans les évaluations sont variées et peuvent comprendre beaucoup des modèles étudiés dans la Section Planification et Conception des programmes:
- Analyse des parties prenantes
Un aperçu des avantages et des inconvénients de chacune de ces méthodes d’évaluation équitable envers les femmes est disponible auprès d’O NU-Femmes.
Kenya: évaluation des formations à la loi sur les délits sexuels
L’Association kényenne des femmes juges (KWJA) a effectué une évaluation des formations qu’elle dispense localement aux parties prenantes, connues comme les Court Users (Usagers des tribunaux) sur la Loi sur les délits sexuels (Sexual Offences Act) et La loi sur l’enfance (Children Act). L’évaluation a utilisé un modèle relativement simple, post-hoc. Les participants aux formations venus de six districts ont été réunis dans le cadre d’un atelier pour expliquer comment cette formation leur avait permis ou pas d’améliorer leur performance sur le terrain. L’atelier d’évaluation a consisté en une enquête administrée aux participants et en des discussions de groupe sur l’incidence des formations sur la pratique. L’évaluation a néanmoins fourni des renseignements utiles sur les travaux de l’Association des femmes juristes. L’enquête d’évaluation administrée aux participants stagiaires a comporté les questions suivantes:
Nom:
- Veuillez indiquer si vous êtes participant, observateur ou autre?
- Si vous êtes participant, veuillez indiquer votre profession, par exemple, magistrat, juriste, médecin, procureur, enquêteur, agent de police, chef, spécialiste des questions relatives à l’égalité des sexes, agent de probation, agent spécialisé dans l’enfance.
- Veuillez indiquer votre lieu de travail, le service auquel vous appartenez et votre rang.
- Comment avez-vous été recruté pour venir participer à la formation à titre de participant, d’observateur, ou à un autre titre?
- Avant de participer à l’atelier, avi
- ez-vous entendu parler de la loi sur les délits sexuels (dénommée ci-après la Loi)?
a. J’en ai beaucoup entendu parler
b. J’en ai entendu parler
- Je n’en ai jamais entendu parler
- Avez-vous lu la Loi avant de participer aux réunions du Comité des usagers des tribunaux?
- Oui
- En partie
- Non
- Comment ces connaissances vous ont-elles facilité la compréhension de la Loi?
- Quelle est la prévalence de la violence sexuelle sexiste dans votre domaine d’activités?
- Quel est le nombre d’affaires ou d’incidents portés à votre connaissance et quelle en a été l’issue?
- Quelles difficultés avez-vous rencontrées dans votre domaine d’activités et comment la formation vous a-t-elle permis de les surmonter? Expliquez.
- Dans quelle mesure la formation vous a-t-elle aidé à surmonter les difficultés rencontreés?
- Très utile
- Utile
- Pas tout à fait utile
- Pas du tout utile
- Expliquez la raison ou les raisons de la réponse donnée ci-dessus.
- Dans quelle mesure la formation reçue vous a-t-elle permis d’améliorer ou d’augmenter vos connaissances sur la loi sur les délits sexuels et la violence sexuelle sexiste?
- Dans quelle mesure la formation reçue vous a-t-elle permis de mieux apprécier et de mieux comprendre le sens du travail que vous effectuez sur la loi sur les délits sexuels et la violence sexuelle sexiste?
- Comment la formation reçue a-t-elle contribué à renforcer vos compétences et capacités de traiter les affaires relatives à la violence sexuelle sexiste?
- Est-ce que le Comité des usagers des tribunaux a-t-il renforcé la coordination des activités des parties prenantes en matière de violence sexuelle sexiste?
- Pensez-vous que le Comité des usagers des tribunaux est utile pour le traitement des affaires cas de violence sexuelle sexiste?
a. Oui
- Non
- Expliquez la ou les raisons de la réponse ci-dessus.
- Quels ont été les résultats positifs de la mise en pratique des connaissances, des compétences et des capacités acquises pendant la formation à la loi sur les délits sexuels et la violence sexuelle sexiste? Expliquez.
- Si vous avez traité un tel cas à titre de magistrat, juriste, médecin, procureur, enquêteur, agent de police, chef, spécialiste des questions relatives à l’égalité des sexes, agent de probation, agent spécialisé dans l’enfance, voulez-vous en faire part à l’Association?
- Dans l’affirmative, transmettez à l’adresse ci-après: [text omitted]
- Dans la négative, veuillez en donner les raisons.
←Est-ce que les éléments ci-dessous vous ont donné satisfaction?
a. Facilitateurs a). Oui b). Non
b. Lieu de rencontre a). Oui b). Non
- Interactions a). Oui b). Non
- Matériel utilisé a). Oui b). Non
- L’approche utilisée pendant la formation a). Oui b). Non
- Dans la négative, veuillez en donner la raison ou les raisons.
- Veuillez nous faire part de vos commentaires sur la manière d’améliorer les programmes à l’avenir.
- Avant la formation reçue, aviez-vous entendu parler de l’Association kényenne des femmes juges?
- Autres commentaires.
L’équipe d’évaluation a ensuite compilé dans des tableaux les données tirées des réponses à ces questions. Vous trouverez les conclusions de l’évaluation de l’Association dans son rapport d’analyse. En outre, les réactions recueillies à l’issue des discussions de groupe ont permis de se faire une idée des aspects de la formation les plus appréciés par les participants et de la manière dont ils utilisaient le savoir acquis. Le tableau ci-dessous fournit des renseignements tirés des discussions dans chacune des régions d’accueil des formations:
|
Site |
Commentaires |
|
Molo |
· Coordination, mise en réseau et interaction avec autres parties prenantes. · Meilleure collecte et préservation des preuves, meilleure connaissance des affaires relevant de la loi sur les délits sexuels et la violence sexuelle sexiste.
|
|
Maralal |
· Prise de conscience des difficultés éprouvées par d’autres utilisateurs des tribunaux. · Amélioration des méthodes de résolution des affaires. · Capacité accrue d’obtenir des informations auprès des personnes touchées et d’offrir des conseils aux conjoints et leurs enfants concernant leurs droits. · Capacité accrue de traiter ces affaires du fait de la mise en place d’un cadre juridique.
|
|
Naivasha |
· Création de bureaux des affaires féminines et formation du personnel pour les gérer. · Traitement séparé et rapide des délits sexuels. Les victimes apportent leurs témoignages le jour du plaidoyer. · Placement des enfants dans des cellules différentes de celles des adultes. · Chefs de services et administrateurs plus efficaces. · Police mieux informée. Éléments de preuve mieux préservés. · Capacité de conseiller les victimes et les emmener dans des foyers protégés. · Enquêtes plus efficaces.
|
|
Narok |
· Sensibilisation et compétences accrues au niveau local. · Augmentation du nombre des affaires rapportées et diminution des tentatives de dissimulation. · Meilleure collaboration entre parties prenantes. · Sensibilisation accrue aux droits des victimes. · Capacité accrue de recueillir et conserver les éléments de preuve comme l’ADN · Prise de conscience de la sévérité de la sanction comme moyen de dissuasion · Imposition de conditions strictes de libération sous caution et meilleure circulation de l’information entre parties prenantes. · Préférence au procès pour préserver les éléments de preuve et décourager les règlements extrajudiciaires.
|
|
Nakuru |
· Capacité accrue pour conseiller les parents et les victimes sur la préservation des éléments de preuve. · Sensibilisation au traitement des affaires quant aux voies à suivre et règles juridiques à observer dans ce type de délits. |
|
Site |
Commentaires |
|
Nyahururu |
. Prise de conscience des besoins spéciaux des victimes. . Meilleure connaissance du traitement des preuves médico- légales dans le cadre de la loi sur les délits sexuels. . Compétences partagées et meilleure connaissance de la loi. . Mise en réseau avec d’autres parties prenantes. . Identification des lacunes des dossiers. . Transmission des connaissances sur les méthodes de traitement des victimes. . Surveillance plus efficace des personnes et des prévenus libérés sous caution. . Couverture médiatique équilibrée pour ne pas nuire à l’affaire avant sa conclusion. . Responsables habilités à former leurs subalternes à mieux instruire et poursuivre les affaires de violence sexuelle sexiste. |
Source: Entrevue avec le personnel de l’Association kényenne des femmes juristes (KWJA), Nairobi, mars 2011; Association kényenne des femmes juristes, (2010) (Kenya Women Judges Association, 2010). Report on the Sexual Offences Act, Sexual Gender Based Violence and Children’s Act Training Assessment, décembre 2010.
Le choix des méthodes d’évaluation doit se faire en fonction des critères suivants:
- Choisissez des méthodes appropriées et pertinentes: Choisissez des instruments de collecte de données en fonction de leur pertinence pour les différents types d’actions. Les meilleures méthodologies sont souples et adaptables, faciles à gérer, conçues pour produire des résultats concrets et appropriées et pertinentes pour l’usage et les utilisateurs prévus de l’évaluation.
- Choisissez des méthodes participatives: Les méthodes participatives permettent à tous les usagers et aux parties prenantes définis de présenter des données et de l’information. Réfléchissez aux répondants visés et au contexte où ils évoluent pour décider des méthodes à utiliser. Ainsi, les enquêtes en ligne, quoiqu’économiques et rapides, ne conviennent pas aux situations où les répondants n’ont pas accès régulier à l’internet. Assurez-vous que les instruments utilisés sont accessibles à l’ensemble des répondants.
- Assurez la collecte de données ventilées: cela est indispensable à toute évaluation en matière de sexospécificité et de respect des droits de l’homme. Toutes les données recueillies doivent préciser le sexe du répondant et autres données de base le concernant susceptibles de faciliter l’évaluation, comme l’âge, l’origine ethnique, la nationalité, l’état civil, la profession.
- Comprenez les contraintes et difficultés des informateurs: Les évaluations doivent s’efforcer de faire ressortir les expériences et l’apport des répondantes et des parties prenantes, et des autres populations marginalisées. Assurez-vous que les méthodes choisies n’imposent aucun obstacle occulte à la participation de ces groupes. Par exemple, le choix du lieu de rencontre, du calendrier et du langage utilisé par l’évaluateur peut avoir une incidence sur la capacité de participation de certains répondants. Certains groupes risquent de ne pas pouvoir s’exprimer librement en raison de la pression sociale dont ils sont l’objet ou parce qu’ils ne sont pas autorisés à parler ou à être représentés dans les réunions publiques ou les consultations communautaires. Les femmes risquent d’avoir moins de temps libre en raison de leurs responsabilités reproductives et domestiques.
- Réfléchissez sur les rôles dévolus aux hommes et aux femmes: Les instruments utilisés doivent porter sur les aspects sexospécifiques du programme ou du projet, et analyser en profondeur des enjeux sexospécifiques plus vastes. Par exemple, l’évaluation de l’impact d’une activité de formation ICT ne doit pas porter seulement sur ce qu’ont appris les stagiaires, mais aussi sur la manière dont ils appliquent ces connaissances dans leur travail ou organisation. Il convient pour cela d’examiner en profondeur les rôles dévolus aux femmes et aux hommes au sein des organisations où travaillent les stagiaires et de voir comment ils sont capables (ou incapables) d’utiliser leurs nouvelles compétences.
- Tenez compte des circonstances et différences culturelles: Les dynamiques de groupe, les thèmes de discussion, l’appartenance sexuelle, la classe sociale, la caste, l’âge, la race, la langue, la culture, les problèmes ruraux et urbains, etc., ont une influence considérable sur la collecte effective et inclusive des données. Les évaluations doivent être entreprises en tenant compte des différences culturelles pour bien comprendre leurs implications pour le respect des droits de l’homme et l’égalité des sexes. Les cultures peuvent être considérées comme des facteurs contextuels affectant la mise en oeuvre des politiques en matière de droits de l’homme. Néanmoins, d’un point de vue des droits humains, le droit des femmes et des filles de vivre à l’abri de la discrimination et de jouir du meilleur niveau de vie possible est universel. Aucune revendication culturelle ne peut être invoquée pour porter atteinte à ces droits.
- Soulignez l’importance de l’utilisation des méthodes mixtes: Utilisez diverses méthodes pour aider à tester, rectifier et établir des liens entre messages et données de différentes sources. En tout état de cause, les méthodologies doivent porter sur l’évaluation du produit et des processus: ce qui a été accompli, la manière dont cela s’est fait et l’évolution constante des méthodes employées. Les informations obtenues dans ces deux domaines en disent long sur les évolutions sociales des sociétés.
- Les chiffres et les statistiques ne suffisent pas pour se faire une idée complète des questions liées à la transformation sociale et à l’égalité des sexes dans un projet ou un programme. Des récits, des perceptions, des observations et des opinions sont des atouts précieux. Ils confèrent une dimension humaine aux statistiques, ce qui est fondamental pour interpréter les données recueillies.
Gender Equality and Human Rights Responsive Evaluation (ONU Femmes, 2010). Disponible en anglais. Voir aussi le Manuel en ligne de l’évaluation sensible à l’égalité des sexes et aux droits de l’homme de l’ONU Femmes en anglais, français et espagnol.
États-Unis: Enquête d’évaluation d’un programme sur la violence familiale
Un rapport publié à l’issue d’une enquête d’évaluation menée par l’État américain du Colorado prouve que les enquêtes, même celles réalisées auprès d’un petit nombre de personnes, peuvent contribuer à fournir d’importantes données d’évaluation des éléments des programmes. Le rapport intitulé Survey Analysis of the Domestic Violence Case Monitor Position a révélé les points suivants:
- Les représentants de tous les groupes de répondants ont rapporté des changements positifs dans leurs méthodes de travail grâce au programme susmentionné.
- Tous les groupes de répondants considèrent la durabilité du programme comme très importante, le terme “essentielle” revenant souvent.
- Les magistrats, les agents de probation et les fournisseurs de traitement ont fait état de changements positifs dans de nombreux domaines depuis la mise en oeuvre du programme (cette question n’a pas été posée aux procureurs de district; voir la section Procureurs de district).
- Bien qu’invités à se prononcer sur le programme, pas sur une personne en particulier, l’ensemble des répondants ont exprimé leur vif soutien au responsable du programme. “Misty Young doit rester et vieillir à ce poste”, ont-ils dit.
- Les magistrats se disent beaucoup plus convaincus que la surveillance des délinquants est mieux assurée.
- Les magistrats affirment qu’il est plus fréquent de disposer d’une information appropriée et opportune aux audiences de révocation qu’avant la mise en oeuvre du programme.
- Les services de probation attachent une grande importance à la durabilité du programme, dans la mesure où une meilleure communication et une meilleure supervision assurées par le programmes permettront de réduire le nombre d’affaires qui se retrouvent en probation.
- Les fournisseurs de traitement qui ont répondu à l’enquête affirment à l’unanimité que le programme a des effets positifs. Les deux exemples les plus fréquemment cités ont été la responsabilisation accrue des délinquants et une meilleure communication entre tribunaux et fournisseurs de traitement.
- 91% des fournisseurs de traitement affirment que le programme a eu un effet positif sur leurs méthodes de travail.
Source: Schwartz. 2006. Domestic Violence Case Monitor Position Survey Results.
Exemple d’évaluation d’un projet de coordination des affaires de violence domestique
Évaluation finale après enquête
Objectifs: recueillir des données et faire des recommandations sur:
- Le partage de l’information concernant les affaires pénales et civiles en instance et les ordonnances relatives à la violence domestique et l’échange de l’information entre les partenaires communautaires;
- La gestion coordonnée des affaires pénales et civiles et des ordonnances en matière de violence conjugale;
- L’examen systématique du respect des décisions de justice et des jugements portant condamnation par les délinquants; et
- Le fait de savoir si ces pratiques et protocoles contribuent à améliorer la sécurité des victimes et à renforcer la responsabilisation des délinquants.
Considérations générales
1. Quel est votre rôle dans ce projet pilote et depuis combien de temps travaillez-vous dans votre domaine?
Réponse communautaire coordonnée
2. Comment interagissez-vous et comment partagez-vous l’information avec les autres partenaires qui participent aux affaires de violence domestique?
Partage de l’information
3. Est-ce que vous recevez l’information nécessaire pour prendre des décisions éclairées ou fournir des services propres à assurer la sécurité des victimes et la responsabilisation des délinquants? Dans la négative, quelle information supplémentaire souhaiteriez-vous obtenir?
Efficacité des protocoles
4A. Est-ce que les protocoles de ce projet pilote (par exemple en fournissant de l’information sur des affaires relatives à la violence domestique, les rapports établis dans les réunions des comités consultatifs, les audiences de contrôle judiciaire présidées par le même juge, la participation des services de probation et des programmes d’intervention contre les conjoints violents aux audiences de contrôle judiciaire, etc.) ont permis d’améliorer votre capacité de servir, d’intervenir et de prendre des décisions concernant les victimes et les délinquants dans les affaires de violence domestique ?
4B. Ont-ils apporté des améliorations au niveau de la sécurité des victimes et de la responsabilisation des délinquants?
4C. Pouvez-vous donner des exemples concrets d’impact positif des protocoles?
Impact de la formation
5. Avez-vous participé à la formation du 20 janvier avec l’Institut Vera? Dans l’affirmative, est-ce que vous avez appliqué ou observé des changements dans les méthodes et protocoles après la formation? Quel en est l’impact ressenti ou noté?
Propositions d’amélioration
6. Y a-t-il moyen d’améliorer (davantage) le fonctionnement des tribunaux en matière de violence conjugale? Dans l’affirmative, quel type de changements recommandez-vous?
Méthodes et protocoles clés
7. Quels sont à votre avis les meilleurs protocoles et pratiques en matière de violence conjugale dont les autres tribunaux du Maine pourraient s’inspirer? (Rapportez-vous au document “Projet de protocole uniforme” dans la mesure du temps disponible, en vous concentrant sur les sections s”adressant aux parties prenantes. Une autre possibilité est de fournir ou d’envoyer des protocoles uniformes par courrier électronique et d’inviter les parties prenantes à renvoyer leurs commentaires de la même manière).
Conséquences imprévues
8. Y a-t-il eu des conséquences imprévues, positives ou négatives, comme suite aux activités des tribunaux en matière de violence conjugale ou à la mise en oeuvre des protocoles dans le cadre du projet pilote?
Une évaluation d’un programme de coordination des affaires de violence conjugale dans l’État américain du Maine a utilisé le modèle d’entrevue suivant.
Instruments supplémentaires de suivi et d’évaluation:
A Compendium of Monitoring and Evaluation Indicators (MEASURE Evaluation, 2008). Disponible en anglais.
Gender Justice Observatory (Des femmes dans le monde Lien). Disponible en anglais et espagnol.
Researching Violence Against Women: A Practical Guide (PATH/OMS, 2005). Disponible en anglais.
Rule of Law Tools for Post-Conflict States - Monitoring Legal Systems (Haut Commissariat des Nations Unies aux droits de l’homme, 2006). Disponible en anglais.
The Comprehensive Assessment Protocol: A Systemwide Review of Adult and Juvenile Sex Offender Management Strategies. (Center of Sex Offender Management, 2011). Le document comprend une série de questions pour évaluer les méthodes de poursuites utilisées dans les affaires de délinquance sexuelle. Disponible en anglais.
Women’s Initiatives for Gender Justice a publié quatre rapports sur le genre (Gender Report Cards) qui mesurent l’efficacité de la mise en pratique des principes relatives à la justice pour les femmes par la CPI. Disponible en anglais.
Exemples de rapports de suivi et d’évaluation dans le secteur de la justice:
Different Systems, Similar Outcomes? Tracking Attrition in Reported Rape Cases in 11 European Countries (Lovett and Kelly, 2009). Disponible en anglais.
Responding to sexual violence: Attrition in the New Zeland Criminal Justice System (Triggs et Mossman, Jordan et Kingi, 2009). Disponible en anglais.
Implementation of the Bulgarian Law on Protection against Domestic Violence (The Bulgarian Gender Research Foundation and the Advocates for Human Rights, 2008). Disponible en anglais.
Judicial System Monitoring Programme (Women’s Justice Unit, Timor-Leste). Rapports (Reports) disponibles en anglais, bahasa et portugais.
Tracking Rape Case Attrition in Gauteng: The Police Investigation Stage (Sigsworth, Vetten, Jewkes et Christofides/Centre d’étude de la violence et de la réconciliation, 2009). Disponible en anglais.
Tracking Justice: The Attrition of Rape Cases through the Criminal Justice System in Guateng (Sigsworth, Vetten, Jewkes, Loots, Dunsieth et Christofides/Centre d’étude de la violence et de la réconciliation, 2008). Disponible en anglais.