Penser aux grandes questions de base avant de planifier l’évaluation
Les réponses aux questions suivantes devraient permettre de déterminer la base du programme et de son évaluation :
- Quels sont les facteurs de risque connus concernant la violence à l’égard des femmes et des filles?
- Comment le programme prévoit-il de prévenir ou de modifier ces schémas de violence?
- En quoi le programme reflète-t-il la connaissance des facteurs de risque et des facteurs de protection associés à la violence (Valle et al. 2007)?
Intégrer d’entrée de jeu la composante de suivi et évaluation dans le programme
Il convient de souligner d'entrée de jeu que, les cadres et le personnel du programme doivent travailler en étroite collaboration avec les responsables de l’évaluation pour intégrer la composante de suivi et évaluation du programme dans celui-ci.
Choisir des résultats réalistes et à la mesure de la portée du programme
Les résultats devant être mesurés lors de l’évaluation doivent être fondés sur la théorie du programme concernant les facteurs de risque et de protection relatifs à la violence, et sur les objectifs, la maturité et les activités du programme, tout en tenant compte des ressources disponibles pour l’évaluation. Il est sans doute peu réaliste, par exemple, d’attendre d’une campagne dans les médias qu’elle produise des changements comportementaux durables si elle ne s’inscrit pas dans le cadre d’un effort de prévention plus large (Valle et al. 2007).
Respecter des principes stricts d’éthique et de confidentialité lors du recueil des données
Les questions d’éthique doivent faire l’objet d’une attention toute particulière lors du recueil des données pour établir la situation de référence ainsi que pour l’évaluation dans le domaine de la prévention de la violence sexuelle ou à l’égard des partenaires intimes. Plusieurs documents traitent des questions d’éthique concernant la recherche sur la violence à l’égard des femmes et bien qu’ils ne portent pas spécifiquement sur les programmes de prévention, ils contiennent des indications qui ont leur utilité dans ce contexte. (Voir la section Outils ci-dessous).
Veiller à ce que l’évaluation soit conforme aux principes éthiques exige que l’on informe toute personne à qui l’on demande des informations au cours du processus soit informée des aspects clés suivants de celui-ci:
- Du but de l’évaluation;
- Du fait que la participation est volontaire et que l’on peut y mettre fin à tout moment;
- De ce que la personne interrogée est tenue de faire;
- Des informations qu’il lui sera demandé de fournir;
- Des risques éventuels que la fourniture de l’information peut présenter pour elle;
- De la façon dont l’information sera recueillie;
- Du moment où l’information sera recueillie, notamment des contacts prévus pour l’information de suivi;
- Des personnes qui auront accès à l’information fournie;
- Des mesures prises pour assurer le respect de sa vie privée et la confidentialité et des limites éventuelles de la confidentialité; dans certains contextes, par exemple, s’il y a des raisons de penser que la personne interrogée peut se nuire à elle-même ou nuire à autrui, il est obligatoire d’en informer les autorités compétentes; il est important de connaître les lois et règlements susceptibles de limiter la confidentialité et de s’y conformer;
- De la façon dont l’information recueillie pour l’évaluation sera utilisée;
- De la personne à contacter pour toute question ou préoccupation.
Connaître les limitations de certaines données auto-déclarées
Étant donné que l’auto-déclaration des répondants est affectée par la dénégation et la minimisation, les informations fournies par les partenaires constituent la mesure la plus valide et la plus fiable aux fins de l’évaluation de l’intervention, en particulier lorsqu’il s’agit de programmes pour les auteurs de violences. Il conviendra donc, chaque fois qu’il sera possible et sans danger de le faire, de prendre contact avec les partenaires (Mullender and Burton, 2000).
Prévoir une dotation budgétaire appropriée pour les activités de suivi et évaluation
Malgré leur insistance sur la nécessité de veiller à ce que les programmes « donnent des résultats », les responsables des programmes et les bailleurs de fonds allouent souvent à l’évaluation des ressources budgétaires insuffisantes. Les responsables des programmes devraient veiller à ce que l’évaluation soit intégrée dans le programme d’entrée de jeu et dotée de ressources budgétaires appropriées.
Procéder au recueil des données de référence
Le recueil de données pour établir la situation de référence est essentiel pour mesurer les changements résultant des programmes. Il se peut que les ressources disponibles ne permettent de procéder qu’à un post-test, mais à l’évidence, cette option exclut les comparaisons.
Quand faut-il évaluer un programme ?
- On peut évaluer les nouveaux programmes ou les programmes existants.
- Selon la conception prévue pour l’évaluation, il y aura peut-être lieu de recueillir des données pour établir la situation de référence avant l’intervention.
- Une évaluation en continu peut aider le programme à réagir à l’évolution des caractéristiques et des besoins de la communauté (Valle et al., 2007).
Quels sont les différents types d’évaluations ?
L’évaluation formative s’articule en deux temps :
- La formulation du programme ou de l’approche, qui se situe au tout début de la planification du programme, pour en déterminer la conception;
- Le pré-test, qui est mis en œuvre pour détermine si les matériels, les messages, l’approche, etc. sont compris, applicables/réalisables et prometteurs, et s’ils risquent d’avoir des effets imprévus (Valle et al., 2007).
L’évaluation formative peut aider à déterminer la prévalence de la violence dans la communauté, les facteurs contributifs et les facteurs protecteurs, le contexte communautaire dans lequel l’activité de prévention sera menée (y inclus les normes en matière de genre acceptées dans la communauté) et les façons d’adapter l’approche pour en accroître la pertinence et pour augmenter la probabilité d’obtention des résultats recherchés (Valle et al. 2007).
L’évaluation des processus décrit le programme et détermine si celui-ci est exécuté conformément aux prévisions. Cette évaluation peut porter sur la dotation en personnel, le contenu et la mise en œuvre du programme, et le nombre et les caractéristiques des participants (Valle et al. 2007).
- Le programme a-t-il été exécuté comme prévu ? Combien d’activités ont été menées (par exemple, formations, campagnes, ateliers, etc.) ?
- Le programme a-t-il connu des difficultés logistiques ou pratiques ?
- Quelles sont les modifications qui ont été effectuées en cours d’exécution et pourquoi ?
- Le programme a-t-il atteint le nombre d’hommes et de garçons prévu ?
- Comment les participants perçoivent-ils le programme et en sont-ils satisfaits ?
L’évaluation des effets détermine si le programme atteint ou est en passe d’atteindre son objectif de prévention de la violence. Elle doit être menée une fois que le programme est établi et a atteint son régime de croisière (Valle et al. 2007).
- Le programme a-t-il l’effet voulu ? Par exemple, a-t-il induit des changements de comportements et de normes ?
- Quelle est la stratégie précise appliquée et quelles sont la fréquence et la durée des activités requises pour atteindre le résultat ?
L’évaluation économique comprend une analyse des coûts, un analyse coût-efficacité et une analyse coûts-avantages (Valle et al. 2007).
- Quelles sont les ressources nécessaires pour exécuter, reproduire ou étendre le programme ?
- Quels sont les coûts et les avantages des différentes approches ?
- Les avantages du programme sont-ils supérieurs aux coûts ?