Quelles sont les étapes pratiques de la planification de l’évaluation qui conviennent au programme et à l’organisation ?

Impliquer les parties prenantes – Au nombre des parties prenantes figurent les personnes et entités qui ont un intérêt légitime dans le programme de prévention, notamment le personne, les organismes bailleurs de fonds, les membres du conseil d’administration, les décideurs politiques, les membres de la communauté, les organisations partenaires, les contrôleurs de diverses sources d’information et les personnes qui bénéficient du programme ou qui y participent.  Elles peuvent aider à sérier les questions à poser, à élaborer un modèle logique, à décider des méthodes à employer et des informations à recueillir, à interpréter les résultats et à veiller à ce que l’évaluation soit culturellement sensible et acceptable pour la communauté (Valle et al., 2007). 

Décrire le programme – Convenir d’une description claire du programme aide à déterminer les points et les activités à évaluer.  L’élaboration d’un modèle logique peut aider à capturer les éléments essentiels et les activités d’évaluation du programme.  (Pour une bonne description de l’élaboration d’un modèle logique, voir Valle et al. 2007).

Songer à la conception de l’évaluation – Il convient de prendre en considération les éléments suivants lors de la conception de l’évaluation du programme (CDC, 1999):

• But – Quelle est l’intention visée par cette évaluation ?  Recueillir des renseignements pour concevoir un programme ? Améliorer les pratiques ou les services ?
• Utilisateurs – Qui sont spécifiquement les personnes qui recevront l’évaluation ou qui en bénéficieront ?
• Utilisation – Comment les résultats de l’évaluation seront-ils utilisés ?
• Questions – Quelles sont les questions les plus importantes auxquelles l’évaluation doit répondre ?
• Méthodes – Quelles sont les méthodes qui fourniront l’information requise pour répondre aux questions ?
• Accords – Comment le plan d’évaluation sera-t-il appliqué au moyen des ressources disponibles ? Quelles sont les précautions qui sont en place pour veiller à la prise en considération de toutes les préoccupations éthiques et au respect des normes éthiques ?

Recueillir des données factuelles crédibles – Compte tenu des données de référence recueillies et du plan d’évaluation élaboré lors de la conception du programme, on déterminera quelles données il faut recueillir, qui les fournira, quand les activités d’évaluation auront lieu, où les données seront recueillies et quelles seront les méthodes de recueil des données.

Analyser les résultats – En décidant à l’avance comment les constats de l’évaluation seront analysés, on pourra veiller à ce que l’application du plan de recueil des données apporte les informations nécessaires et déterminer quelles seront l’expertise et les ressources nécessaires pour analyser les données.

Appliquer les leçons à retenir et les partager – Il conviendra d’établir un plan pour identifier les publics auxquels les leçons dégagées seront communiquées (tels que les médias, les décideurs politiques, les organisations), pour déterminer comment les résultats seront communiqués et quels seront les formats de rapports  les plus appropriés pour les divers publics (tels que télévision, radio, internet, médias imprimés, témoignages).

Sur quels facteurs faut-il se fonder pour déterminer le choix de l’évaluation?

Le choix du type d’évaluation qui sera nécessaire repose sur un certain nombre de facteurs, et notamment :

• La maturité du programme;
• La durée de l’intervention (résultats raisonnables escomptés);
• Les buts de l’évaluation;
• Les ressources humaines et financières disponibles;
• Le temps disponible pour l’évaluation;
• La présence ou l’absence d’une situation de référence.

Combien d’évaluation faut-il ?*

• Si les ressources sont limitées :

  • Une certaine recherche formative;

  • Des indicateurs de processus;

  • Des focus groups de post-intervention seulement.

• Si des ressources modestes sont disponibles pour l’évaluation :

  • Une recherche formative;

  • Des indicateurs de processus;

  • Le recueil de données quantitatives simples en pré-intervention et en post-intervention sans groupe témoin.

• Si des ressources plus substantielles sont disponibles :

  • Une importante recherche formative;

  • Un recueil de données sur de multiples sites, avec notamment un groupe témoin (ou un groupe à intervention retardée);

  • Une triangulation avec les partenaires/femmes;

  • Un recueil de données qualitatives et quantitatives tout au long du programme.

*Ces informations ont été adaptées de la présentation de Gary Barker « Evaluating Work with Boys and Men » [Évaluation du travail avec les garçons et les hommes].  Pour accéder à la présentation intégrale, cliquer ici.

Quelles sont les options disponibles pour la conception des évaluations des effets / résultats ?

Source : Valle et al. 2007

Essayer sur le terrain les nouveaux outils et les nouvelles interventions

Il est essentiel de suivre et d’évaluer tout nouvel outil et toute nouvelle intervention. Même lorsqu’une intervention a été efficace dans un contexte donné, cela ne garantit pas qu’elle le soit dans un autre pays, une autre région ou un autre contexte linguistique.

Pré-tester les nouveaux matériels ou les matériels adaptés

Le pré-test accroît la probabilité d’une réception des messages conforme aux intentions du programme.  Le public doit être capable de comprendre les matériels de prévention et d’y réagir positivement.  Le pré-test peut être effectué selon les approches suivantes :

• Mise à l’essai – Cette approche consiste à effectuer un essai de certaines portions ou de l’ensemble du programme envisagé à petite échelle avec un groupe comparable à celui ciblé par le programme.  Ceci permet aux responsables du programme de déterminer si le message voulu est communiqué au moyen des activités prévues et si certains aspects des programmes sont offensants, néfastes ou inefficaces (Valle et al. 2007).

• Test de lisibilité – Des analyses et des retours d’information fournis par des gens comparables aux membres du public visé permettent aux responsables du programme de produire des matériels conviviaux et adaptés à des publics de différents niveaux d’éducation.  Divers programmes de traitement de texte, tels que WordPerfect ou Microsoft Word fournissent des estimations du niveau de lisibilité et/ou indiquer quel doit être le niveau d’éducation/l’âge du lecteur pour qu’il puisse lire les textes. L’indice Gunning-Fog est un autre outil qui offre les mêmes possibilités (Valle et al. 2007). Pour de plus amples informations sur l’indice Gunning-Fog et sur la façon de le calculer voir le site web.

Choisir des résultats/effets réalistes lors de la conception de l’évaluation

Bien que les programmes de prévention de la violence s’efforcent de modifier, à terme, les comportements associés à la commission d’actes de violence, il faut souvent longtemps pour que ces changements se manifestent, et les programmes doivent donc recueillir des données sur les résultats sur de longues périodes.  En conséquence, de nombreux programmes de prévention pourront choisir de manière plus réaliste de modifier les facteurs proximaux qui contribuent à la violence dans le but, à longue échéance, de prévenir les comportements violents.

Quels sont certains des résultats/effets proximaux qui peuvent être utilisés pour remplacer les changements de comportement s’inscrivant dans le long terme ?

Au niveau individuel du cadre écologique, ces résultats/effets proximaux peuvent comprendre la documentation des changements des connaissances, attitudes, aptitudes et intentions comportementales.  Il convient toutefois de se rappeler que les relations entre ces résultats/effets proximaux et les comportements effectifs varient (Valle et al. 2007).

• On entend par connaissance la compréhension du concept considéré et aux informations objectives que possèdent les gens sur ce concept.  La mesure de la connaissance est importante, mais il convient de noter qu’il est peu probable qu’une simple modification des connaissances sur la violence à l’égard des femmes ou sur le comportement approprié puisse prévenir cette violence, de la même façon que la modification des connaissances sur les effets négatifs de l’a cigarette n’amène pas automatiquement les gens à cesser de fumer (Valle et al., 2007).
• On entend par attitudes ce que les gens pensent, ressentent ou croient subjectivement, comme par exemple l’option chez certains hommes que la violence est acceptable.  Bien que les attitudes semblent avoir un rapport avec le comportement, il n’est pas établi clairement qu’un changement d’attitude se traduit par un changement de comportement (Valle et al., 2007).
• On entend par aptitudes la capacité des gens de se comporter ou d’agir d’une certaine manière.  L’enseignement des aptitudes peut accroître la probabilité d’acquisition par les gens des capacités nécessaires pour agir, mais  n’assure pas nécessairement qu’ils feront usage de ces capacités (Valle et al., 2007).
• On entend par intentions comportementales l’évaluation subjective faire par une personne de leur comportement futur dans une situation donnée.  Ce sont ces intentions que visent, par exemple, les stratégies qui encouragent les spectateurs à intervenir pour prévenir la violence à l’égard des femmes ou pour décourager les propos avilissants pour les femmes (Valle et al., 2007).

Savoir que l’évaluation de programmes de prévention comportant une seule session ou de spots média ponctuels n’est sans doute pas très utile

Bien que ces brèves interventions puissent avoir leur importance en tant que complément de programmes complets, il est peu probable, si elles ne s’inscrivent pas dans le cadre d’efforts menés sur plusieurs fronts, qu’elles aboutiront à elles seules à une prévention durable de la violence sexuelle ou de la violence envers les partenaires intimes.  Leur évaluation peut également être difficile étant donné que les gens sont bombardés chaque jour de nombreux et qu’un message particulier n’aura sans doute qu’un impact minime (Valle et al. 2007).

Reconnaître à la fois la complexité et l’importance de l’évaluation des changements comportementaux

L’évaluation des programmes dans le domaine de la prévention de la violence à l’égard des femmes présente des difficultés pour diverses raisons, notamment les suivantes :

• La prévention de la violence exige l’application de multiples stratégies dans de multiples secteurs, ce qui rend difficile l’attribution de résultats/d’effets à une intervention particulière;
• La définition et la mesure des niveaux de la violence à l’égard des femmes posent des problèmes méthodologiques;
• La modification des normes peut exiger un investissement dans le long terme;
• Certains changements obtenus peuvent avoir des effets contre-intuitifs; il est possible, par exemple, qu’une intervention provoque une augmentation du nombre de déclarations d’actes de violence, ce qui, si l’on mesure la violence au nombre de cas déclarés, pourra donner l’impression d’un accroissement de la violence.

Savoir que les évaluations qualitatives ne sont pas nécessairement moins complexes ou moins coûteuses

Bien que le recueil de données qualitatives aux fins des évaluations puisse sembler moins coûteux que la réalisation d’un sondage dans la communauté, il est important de noter que le recueil et l’analyse de données (telles que celles qui proviennent de focus groupes) sont des tâches complexes et exigent des aptitudes et une expérience solides de la part des évaluateurs. Ce n’est donc pas là une option nécessairement plus simple ou moins coûteuse.   Certaines organisations possèdent les compétences voulues pour recueillir des données quantitatives mais pas des données qualitatives (et inversement).  C’est ainsi, par exemple, que la méthode d’évaluation la moins coûteuse et la plus simple pour les interventions du type atelier consiste en l’administration de questionnaires en pré-test et post-test aux participants.  Toutefois, cette technique aussi ses limites; elle ne permet pas, par exemple, de déterminer si les changements se pérennisent ou si le succès du programme est dû, en fait, à une sensibilisation en phase de pré-test et du fait que les participants ont appris à donner les bonnes réponses aux questions.

Documenter les choses à faire et les choses à ne pas faire

La plupart des programmes tendent à documenter les changements obtenus et pas le processus d’obtention des changements.  Il convient d’examiner de plus près le processus selon lequel les programmes parviennent à induire des changements attitudinaux et comportementaux et, en sus de l’analyse des réussites, celle des échecs pourrait apporter des connaissances utiles dans le domaine.  Toutefois, peu de programmes sont disposés à rendre compte de ceux-ci.

Exemples d’interventions auprès d’hommes et de garçons qui ont inclus des évaluations robustes dans leur programme

Outils à utiliser pour le suivi et évaluation d’interventions auprès des hommes et des garçons

Evaluating Work with Boys and Men [Évaluation du travail avec les garçons et les hommes] (Instituto Promundo). Cette présentation PowerPoint de Gary Barker donne un aperçu des raisons et des façons d’évaluer les initiatives transformatives relatives au genre entreprises auprès des hommes et des garçons (cliquer ici).

Measuring the Impact of Gender-Focused Interventions [Mesure de l’impact des interventions axées sur le genre] (Julie Pulerwitz). Cette présentation PowerPoint passe en revue l’élaboration d’échelles pour mesurer les dynamiques relatives au genre et décrit leur application dans l’évaluation de l’impact de trois initiatives : Stepping Stones, le Programme H et Sexto Sentido. Disponible en anglais. Voir le ppt.

Échelle Gender-Equitable Men (GEM) (Instituto Promundo, Population Council). Cette échelle est utilisée pour évaluer les changements d’attitude, ceux-ci étant reconnus comme un pas important en direction de changements comportementaux (que l’on mesure ensuite). L’échelle GEM, dont la validité psychométrique a été établie, a été utilisée en tant qu’outil d’évaluation d’interventions auprès des hommes dans de multiples pays très divers, tels que le Brésil, l’Éthiopie et l’Inde.

On cherche, au moyen de cette échelle, à évaluer à quel point un groupe d’hommes, adultes ou jeunes, adhère à une conception rigide, non équitable et violente de la masculinité ou croit en la validité d’une telle conception.  La réaction des hommes à l’échelle est fortement associée à l’usage auto-déclaré qu’ils font de la violence à l’égard des femmes.  Au Brésil, les jeunes hommes classé selon l’échelle GEM dans le tiers le moins équitable de la population étaient quatre fois plus susceptibles de déclarer faire usage de violence envers une partenaire que les hommes classés dans les catégories plus équitables (Pulerwitz et al. 2006).

Voir l'enquête en anglais, espagnol et portugais.  Une brève description de l’échelle GEM est disponible en anglais.

Arizona Rape Prevention and Education Project [Projet de prévention du viol et d’éducation de l’Arizona] (Université de l’Arizona, États-Unis). La page web des Mesures d’évaluation contient des références et des informations sur les mesures utilisées pour étudier les attitudes et les comportements relatifs au viol, qui servent également lors de l’évaluation des programmes de prévention du viol et d’éducation.  Pour de plus amples informations, voir le site web.

Sexual and Intimate Partner Violence Prevention Programmes Evaluation Guide [Guide de l’évaluation des programmes de prévention de la violence sexuelle et envers les partenaires intimes], (Centers for Disease Control, États-Unis), par Valle et al. 2007. Ce guide note l’importance de l’évaluation et présente diverses approches et stratégies de l’évaluation applicables aux programmes de lutte contre la violence sexuelle et la violence envers les partenaires intimes. Les chapitres donnent des orientations pratiques sur la planification et la conduite des évaluations, ainsi que des informations sur les liens à établir entre les buts, les objectifs, les activités, les résultats et les stratégies d’évaluation; ils indiquent également les sources et les techniques de recueil des données et fournissent des conseils sur l’analyse et l’interprétation des données recueillies et sur le partage des résultats. Le guide traite de l’évaluation formative, de l’évaluation des processus, de l’évaluation des résultats/effets et de l’évaluation économique. Pour commander des exemplaires imprimés de ce guide, voir le site web.

Measuring Violence-Related Attitudes, Behaviours, and Influences Among Youths: A Compendium of Assessment Tools (2^nd edition) [Mesure des attitudes, comportements et influences relatives à la violence chez les jeunes : compendium d’outils d’évaluation] (Centers for Disease Control, États-Unis).
Ce compendium offre aux chercheurs et aux spécialistes de la prévention un jeu d’outils pour évaluer les croyances, les comportements et les influences en rapport avec la violence, ainsi que les programmes de prévention de la violence chez les jeunes.  Il peut être d’une utilité particulière pour les nouveaux intervenants dans le domaine de la violence chez les jeunes et, pour les chercheurs plus expérimentés, peut servir de ressource pour identifier des mesures supplémentaires afin d’évaluer les facteurs associés à la violence chez les jeunes.  Il est disponible en anglais.

Measuring Intimate Partner Violence Victimization and Perpetration: A Compendium of Assessment Tools [Mesure de la victimisation et de la commission d’actes de violence envers la partenaire intime : compendium d’outils d’évaluation] (Centers for Disease Control, États-Unis). Cet ouvrage propose aux chercheurs et aux spécialistes de la prévention une compilation d’outils destinés à mesurer la victimisation par les partenaires intimes et la commission d’actes de violence envers les partenaires intimes.  Il comprend plus de 20 échelles.  Il est disponible en anglais.

Violence against Women and Girls: a Compendium of Monitoring and Evaluation Indicators [La violence à l’égard des femmes et des filles : compendium d’indicateurs de suivi et évaluation] (Measure Evaluation, USAID), par Shelah Bloom (2008). Cette publication contient toute une gamme d’indicateurs utilisés pour le suivi et évaluation des programmes concernant la violence à l’égard des femmes programmes.  La Section 7.3, qui commence à la page 228, décrit divers indicateurs utilisés pour suivre et évaluer les programmes menés auprès des garçons et des hommes. Disponible en anglais.

Measures for the assessment of dimensions of violence against women. A compendium [Mesures pour l’évaluation des dimensions de la violence à l’égard des femmes. Compendium] (Michael Flood). Inédit. Melbourne: Australian Research Centre in Sex, Health & Society, La Trobe University. Cet ouvrage est un compendium de mesures pour l’évaluation des connaissances, des attitudes et des comportements en rapport avec la violence à l’égard des femmes. Il comprend également des mesures portant sur les normes de genre et les normes sexuelles, mais pas sur la maltraitance des enfants, les abus sexuels des enfants ni le harcèlement sexuel. Disponible en anglais.

Priorité aux femmes : Principes d’éthique et de sécurité recommandés pour les recherches sur les actes de violence familiale à l’égard des femmes (OMS)
Ces principes recommandés sont issus des débats préparatoires de l’étude multipays conduite par l’Organisation mondiale de la Santé sur la santé des femmes et les violences familiales à l’égard des femmes. Ils sont axés tout particulièrement sur les considérations relatives à l’éthique et à la sûreté dans la conduite des sondages de population relatifs à la violence domestique à l’égard des femmes. Toutefois, nombre de ces principes sont également applicables aux autres formes de recherche quantitative et qualitative dans ce domaine. Disponible en anglais, français et espagnol.

Principes d’éthique et de sécurité recommandés par l’OMS pour la recherche, la documentation et le suivi de la violence sexuelle dans les situations d’urgence (2007)
Ce document traite de toutes les formes d’enquête concernant la violence sexuelle en situation de crise. Il contient au total huit recommandations qui, collectivement, visent à ce que les précautions garantissant la sécurité et l’éthique nécessaires soient en place avant le début de toute enquête (voir Partie III). Dans chaque cas, un texte précise les principaux problèmes de sécurité et d’éthique à envisager et les questions qu’il convient de se poser lorsqu’on prévoit une collecte d’informations sur ce sujet. Celles-ci doivent aussi permettre de décider si l’activité prévue est opportune. Chaque fois que cela est possible, la présentation des recommandations se double d’encadrés donnant des exemples de bonne pratique tirés de l’expérience acquise sur le terrain aussi bien dans les situations d’urgence que dans les autres. Pour plus d’informations sur toute une gamme de points, le lecteur est renvoyé à l’annexe, où figure une liste de documents dont la lecture est recommandée. Disponible en anglais et français.