Les évaluations des effets vont un cran plus loin que les activités de suivi et d’évaluation de programme courantes, et mesurent à quel point une intervention ou un programme est responsable d'un changement survenu au sein d'une population cible. La principale question que pose ainsi l’évaluation des effets, c’est : « Dans quelle mesure le programme ou l’intervention a-t-il entraîné le changement survenu ? ». Pour mesurer les effets d'un programme, on procède généralement à une évaluation au début du programme, laquelle servira de référence, puis à la fin du programme, qui constitue le bilan. Pour attribuer la paternité d'un changement à un programme, il faut d’abord écarter toutes les autres explications possibles. Il faut donc que les mesures de référence et de bilan soient également prises chez les groupes de référence, qui ne sont pas concernés par l'intervention ou le programme, afin qu'une éventuelle différence entre les deux groupes puisse être mise sur le compte de cette intervention ou ce programme. Normalement, un groupe de référence est similaire au groupe d'intervention, exception faite de l'intervention ou du programme.
S'il est important d’établir un lien de cause à effet entre le programme et le changement, le mesurer peut être difficile, car ce changement pourrait aussi se produire en l’absence du programme. Pour déterminer s'il y a causalité, il faut prendre en compte tous les facteurs extérieurs ou de confusion susceptibles d’expliquer les résultats, généralement en décidant de manière aléatoire que telle personne ou communauté fera l'objet d'une intervention ou non. Pour cela, une connaissance parfaite de l’échantillonnage et de l’analyse statistique est indispensable. Par exemple, si le modèle d’étude ne prévoit pas un groupe de référence attribué de manière aléatoire (on parle de groupe témoin), l’évaluation de la différence entre les résultats du groupe témoin et de celui faisant l’objet de l'intervention ou du programme relève de l’analyse, et non plus d’une mesure directe. Bien que les évaluations des effets soient la référence absolue en matière d’évaluation des changements induits par une intervention ou un programme, il faut prêter attention aux contraintes pratiques que sont le temps, les ressources ou le budget, car ces contraintes sont souvent exacerbées dans les situations de conflit et d’après-conflit. Dans ce genre de situation, une évaluation des effets n’est pas forcément le meilleur modèle d’évaluation.
Lors de la mise en œuvre d’une évaluation des effets sur les VEFF dans de tels contextes, il est crucial, là encore, de garder à l’esprit les implications éthiques de cette entreprise. Le recours à la forme d’évaluation la plus rigoureuse (un essai contrôlé randomisé, ECR) ne se justifie que si nous jugeons acceptable de ne pas faire bénéficier certains groupes de l’intervention. Cette approche est donc inadaptée à bon nombre de programmes fondamentaux de réponse aux VEFF. En général, les évaluations se concentrent sur la qualité des services de réponse fournis, et suivent les personnes qui bénéficient de services sans qu'il y ait de groupe de référence/témoin. Le recours aux modèles d’évaluation les plus rigoureux peut se justifier pour les programmes de prévention des VEFF, notamment dans les situations de crise prolongée ou d’après-conflit où la population concernée est plus stable.
Encadré 3 : Exemple d’étude d'impact pour les VEFF L’essai contrôlé randomisé par grappes du programme SASA!, à Kampala, n’a certes pas été réalisé dans une communauté victime d'un conflit, mais il n’en reste pas moins riche en enseignements pour la réalisation d’évaluations auprès de réfugié-es et dans les situations de conflit. Le choix d'un essai randomisé, le modèle d’évaluation le plus rigoureux, a eu un impact considérable sur les travailleur-euses humanitaires et influencé la conception et la mise en œuvre du programme dans ce contexte. Le CEDOVIP, l’agence ayant mis en œuvre le projet SASA!, a particulièrement veillé à trouver le juste équilibre entre l’aspect « mobilisation de la communauté » de ce projet et le risque de « contamination ». En recherche, on parle de contamination lorsque des membres du groupe témoin (qui ne sont pas censés être évalués) sont, d'une façon ou d'une autre, exposés à l’intervention, et se mettent à changer en même temps que le groupe d’intervention. Le risque était réel dans le cas du projet SASA!, car l’approche adoptée par le programme consistait à faire en sorte que les membres de la communauté se parlent et diffusent des messages pour induire des changements de comportement. L’évaluation du projet SASA! a donc tout mis en œuvre pour limiter le risque de contamination. Des zones tampons ont été créées entre les communautés témoin et d'intervention, les militant-es de la communauté étaient supervisé-es de près pour s’assurer qu'ils et elles ne travaillaient que dans les communautés d’intervention, etc. Au bout du compte, la contamination a pu être contenue et les chercheur-euses ont constaté une baisse drastique des comportements négatifs chez les communautés d’intervention par rapport à la communauté témoin.
Pour en savoir plus sur l’étude : https://jech.bmj.com/content/70/8/818 |