On entend par impact les « effets à long terme, positifs et négatifs, primaires et secondaires, induits par une action de développement, directement ou non, intentionnellement ou non » (OCDE CAD, 2002). Il s’agit donc, lorsque l’on parle d’impact d’effets s’inscrivant dans le long terme et durables. Il y a sur ce point une source de confusion qui provient de ce que l’on emploie aussi ce terme pour désigner les effets à court terme, par exemple les réactions immédiates (notamment par des visites à un site Web et des appels téléphoniques) d’un public cible à certains outils de communication spécifiques. De telles données constituent des jalons utiles, mais le terme d’impact devrait être réservé aux effets à plus long terme.
Étant donné la multiplicité et la complexité des facteurs contribuant à la violence à l’égard des femmes et à son élimination, la mesure de l’impact des campagnes peut être difficile. En fait, certains praticiens du développement la considèrent même comme impossible. Elle présente des difficultés particulières dans les campagnes qui visent à induire des changements dans des valeurs et des comportements qui sont profondément ancrés dans la société et dans sa culture. Ces changements peuvent être incrémentiels et, dans une certaine mesure, invisibles pour les observateurs de l’extérieur et il faut parfois plusieurs années avant qu’une transformation de la société se manifeste de manière observable. Dans de telles campagnes, une évaluation ponctuelle et brève ne peut déterminer que les effets auxquels les activités ont contribué, ce qui est en tout état de cause un bon indicateur de succès.
Méthodes de recherche avancées pour l’évaluation de l’impact
On peut employer, pour établir des liens robustes entre l’exposition à la campagne et l’impact en termes de changement d’attitude et de comportement, les méthodes suivantes qui permettent d’effectuer des comparaisons fiables entre les membres du public cible qui ont été exposés à la campagne et ceux qui ne l’ont pas été :
L’étude expérimentale est largement considérée comme le moyen le plus exact d’évaluer l’impact, par exemple d’une intervention de communication. Fréquemment dite ECR (étude contrôlée randomisée) parmi les techniciens de l’évaluation et très utilisée dans la recherche scientifique, cette méthode détermine la différence qui existe entre ce qu’une campagne a réalisé et ce qui aurait été réalisé sans cette campagne.
Exemple : Il est possible, par exemple, pour évaluer une campagne média visant à la réduction de la violence sexuelle dans les lycées, d’appliquer une méthode d’évaluation d’impact consistant en une étude expérimentale structurée comprenant un groupe témoin et un groupe expérimental. Cette évaluation peut être menée dans deux villes distinctes présentant des caractéristiques socioéconomiques analogues. Dans chaque lycée, on peut effectuer un sondage initial (pré-test) sur les connaissances, attitudes et pratiques (CAP) sur le sujet auprès des garçons et des filles en avant-dernière année d’études. Après exposition à la campagne durant une période prédéterminée au lycée « expérimental » (les lycéens/lycéennes de l’établissement témoin n’y étant pas exposés), on procède de nouveau au même sondage (posttest). La comparaison des résultats pré-test et posttest dans les deux établissements permet de tirer certaines conclusions sur l’efficacité de la campagne, tout en tenant compte du fait que d’autres facteurs non considérés dans la recherche peuvent, eux aussi, avoir exercé une influence.
Source : Potter, S. (2008): Incorporating Evaluation into Media Campaign Design [Intégration de l’évaluation dans la conception des campagnes médias], Harrisburg, PA, sur le VAWnet, projet du National Resource Center on Domestic Violence et de la Pennsylvania Coalition Against Domestic Violence.
Les études expérimentales peuvent produire des résultats fiables à condition qu’elles soient menées à une échelle suffisante et avec une rigueur scientifique appropriée, ce qui exige des ressources – temps, capacités et argent – substantielles. Il faut également tenir compte des questions éthiques et le groupe témoin doit, par définition, être exclu des activités de la campagne, et donc privé des bénéfices susceptibles d’en découler.
Il existe toute une gamme d’autres méthodes que l’ECR dont il est accepté qu’elles produisent des résultats aussi valables, tout en exigeant moins de temps et en offrant une flexibilité plus grande :
- Mesures répétées : Les mêmes outils, le même questionnaire par exemple, peuvent être employés avec les mêmes personnes ou groupes à intervalles successifs, tous les six mois par exemple, pour déterminer si leur réponse évolue à différents stades depuis le début de la campagne.
- Exécution par phases successives : Si l’on exécute la campagne en plusieurs phases suffisamment éloignées dans le temps, on pourra comparer dans l’évaluation les zones ayant déjà été exposées aux premiers stades de la campagne à celles qui ne l’ont pas encore été.
- Variations naturelles de traitement : Dans les campagnes de grande envergure, il est inévitable que l’exécution se heurte dans certaines régions à des difficultés ou ne se déroule pas exactement comme prévu. Si l’on peut suivre et mesurer ces variations de manière appropriées, on pourra effectuer des comparaisons utiles pour l’évaluation de l’impact.
- Auto-détermination de l’exposition : Dans une zone ciblée donnée, certaines personnes peuvent ne pas être exposées à la campagne, par exemple parce qu’elles n’ont pas la télévision, n’écoutent pas la radio ou ne lisent pas le journal. Ces personnes peuvent être invitées à faire fonction de groupe témoin, par exemple en répondant au même questionnaire d’enquête que les personnes exposées à la campagne. (Adapté d’après Coffman, J., Harvard Family Research Project, 2002. Public Communication Campaign Evaluation [Leçons en évaluation des campagnes de communication].)
Attribution ou contribution
Il est difficile de mesurer avec précision comment et dans quelle mesure une campagne a eu un impact sur le public cible. On peut déterminer le comment par inférence, au moyen d’enquêtes qualitatives supplémentaires et déterminer la portée de la campagne par des études contrôlées randomisées (ECR) (voir ci-dessus). En général, toutefois, il est extrêmement difficile dans les évaluations, voire impossible, d’attribuer le changement spécifiquement à la campagne ou à des activités spécifiques de celle-ci. Dans la plupart des cas, il est préférence de se concentrer sur la contribution que la campagne a apporté à la réalisation de son objectif par les effets qu’elle a produits, en reconnaissant la multiplicité de facteurs qui contribuent aux changements ou s’y opposent.
Les variables cognitives telles que les connaissances et les attitudes du public cible peuvent être mesurées, jusqu’à un certain point, dans l’étude de la situation de référence puis, de nouveau, lors d’une évaluation ultérieure à des fins de comparaison. Si l’on observe des changements de ces variables, il est légitime d’assumer que la campagne a contribué à ces effets, même s’il est impossible de quantifier l’impact. En l’absence de changement, ou si le changement est négatif, une analyse du contexte pour déterminer les facteurs extérieurs à la campagne qui ont pu s’opposer à la réalisation de l’objectif pourra aider à déterminer si l’échec est attribuable principalement à des éléments de la campagne ou à des facteurs extérieurs, par exemple à une contre-campagne vigoureuse menée par un mouvement social opposé à l’égalité des sexes.
Dans certains cas, les responsables des évaluations de la campagne n’ont pas accès aux données de référence et doivent donc se fier à l’auto-évaluation rétrospective du changement effectuée par les personnes interrogées - par exemple par la technique du changement le plus significatif - pour déterminer si la campagne a eu un impact sur le public cible. Ceci peut, en l’absence d’autres méthodes disponibles, être une approche efficace pour évaluer l’efficacité de la campagne.
« En dernière analyse, quels sont les buts de la campagne, quel est l’impact qu’elle cherche à avoir en modifiant les relations et les structures du pouvoir qui mènent à la violence sexiste ? Les changements recherchés se produisent dans des contextes hétérogènes, ne sont pas définis temporellement et dépendent des actions et des décisions d’un grand nombre d’acteurs autres que les membres de l’équipe de la campagne. Dans ces conditions, lorsque l’on observe un changement représentant un impact, qui peut en revendiquer le mérite ? Qui est responsable du changement (et de l’absence de changement) ? À qui doit-il/doit-elle rendre des comptes et comment ? Ces problèmes d’attribution et d’agrégation indiquent que la campagne, en mettant les choses au mieux, contribue indirectement et partiellement à l’impact. »
(Source : Ricardo Wilson-Grau, communication personnelle.)