Indicateurs

Qu’est-ce qu’un indicateur ?

• Un indicateur est une grandeur spécifique observable et mesurable qui peut servir à montrer les changements obtenus ou les progrès accomplis par un programme en vue de la réalisation d’un effet spécifique.
• Il faut retenir au moins un indicateur par effet. L’indicateur doit être focalisé, clair et spécifique. Le changement mesuré par l’indicateur doit représenter les progrès escomptés du programme.
• L’indicateur doit être défini en termes précis et sans ambigüité décrivant clairement et exactement ce qui est mesuré. Lorsqu’il est possible, il doit donner une relativement bonne idée des données nécessaires et de la population au sein de la quelle la mesure est effectuée.
• Les indicateurs ne spécifient pas un niveau particulier de réalisation et, en conséquence, les termes « amélioré », « accru » ou « réduit » n’ont pas de place dans leur description.

Caractéristiques des bons indicateurs

• Valide : mesure exacte d’un comportement, d’une pratique ou d’une tâche qui sont l’extrant ou l’effet attendus de l’intervention
• Fiable : mesurable de manière constante dans le temps et de la même façon par différents observateurs
• Précis : défini en termes clairs du point de vue opérationnel
• Mesurable : quantifiable au moyen des outils et méthodes disponibles
• Opportun : fournir une mesure à des intervalles temporels pertinents et appropriés compte tenu des buts et activités du programme
• Important pour le programme : lié au programme ou à la réalisation des objectifs du programme

Défis et points à considérer pour le choix des indicateurs

• Dans un monde idéal, les indicateurs choisis aux fins du suivi et évaluation des activités du programme sont ceux qui sont considérés comme étant de la plus haute qualité et les plus utiles.

• Toutefois, dans la réalité, de nombreux autres facteurs peuvent entrer en ligne de compte. Les liens avec les activités du programme, tels qu’ils sont décrits dans le cadre de suivi et évaluation, sont importants; le sont également les besoins du programme relatifs aux prises de décisions.

• Beaucoup d’indicateurs communément utilisés ne sont pas définis en termes clairs ou pourraient être définis avec plus de précision. Par exemple, « connaissance de la violence dans les fréquentations », « attitude envers la violence à l’égard des femmes », « comportement de demande d’appui des victimes de la violence » ou « qualité des services » ont tous un sens différent et des implications différentes dans des circonstances différentes.

• Plus l’indicateur est défini, moins il laisse de possibilités de confusion ou de complications ultérieurement.  Par exemple, « pourcentage de femmes ayant recours aux services de santé de l’établissement X durant la période de A à B qui déclarent avoir reçu une aide et des soins appropriés » ou « pourcentage d’hommes qui déclarent qu’il n’est acceptable en aucun cas de frapper ou de gifler sa femme ou de l’agresser avec divers objets ».

• Les indicateurs idéaux peuvent ne pas être pratiques : l’emploi de certains indicateurs peut être limité par la disponibilité des données et des ressources financières et  humaines. Il peut également falloir donner la priorité aux exigences et aux besoins des bailleurs de fonds, des instances gouvernementales, du siège de l’organisation ou d’autres.

Exemples de points à considérer :

• Disponibilité des données : Certaines données peuvent être considérées comme confidentielles par divers organismes, projets ou instances gouvernementales.

• Les données peuvent n’être disponibles qu’à des niveaux agrégés ou avoir déjà été incluses dans des indicateurs qui ne sont peut-être pas idéaux pour le programme ou les activités considérés.

• Ressources : Les indicateurs idéaux peuvent exiger que l’on recueille des données pour calculer un dénominateur inconnu, ou des données nationales pour les comparer aux données pour la zone du projet, ou des statistiques sur toute la durée de vie pour un groupe de population affecté ou un groupe témoin, etc.

• Le recueil de données appropriées pour les indicateurs idéaux est d’un coût prohibitif.

• Les ressources humaines et les aptitudes techniques peuvent également constituer des contraintes.

• Exigences programmatiques et externes : Certains indicateurs peuvent être imposés par des responsables de niveau supérieur qui ne sont pas formés aux techniques du suivi et évaluation.

• Les calendriers de fourniture de rapports risquent de ne pas être synchronisés (par exemple, l’année sur laquelle porte le rapport peut ne pas être l’année financière).

• Les diverses parties prenantes peuvent avoir des priorités divergentes.

• Il convient d’utiliser des indicateurs standardisés s’ils sont disponibles.

• En général, on évitera dans les programmes les indicateurs sur lesquels les activités ne peuvent pas se répercuter, qui sont trop vagues, qui n’existent pas actuellement et ne peuvent pas, en tout réalisme, être recueillis, ou qui ne représentent pas avec exactitude l’effet souhaité.

• Si l’on ne peut pas trouver d’indicateurs quantitatifs de succès, les méthodes qualitatives offrent une alternative intéressante. Lorsqu’il est difficile ou impossible de mesurer les « avantages » ou les « risques » en termes quantitatifs simples, il est presque toujours possible de recueillir des données qualitatives, telles que des informations sur les points de vue des prestataires de soins de santé et des femmes qui ont recours aux services. Dans de nombreux cas, les indicateurs qualitatifs fournissent des informations plus pertinentes sur le succès et l’efficacité de l’intervention. Voir la section sur les approches qualitatives.

• Il est essentiel de disposer d’informations sur les perspectives des femmes et des filles (titulaires des droits) et des prestataires de services (débiteurs d’obligations gouvernementaux ou d’ONG). Il convient d’inclure dans les efforts d’évaluation et les indicateurs les perspectives des client(e)s ainsi que celles des fournisseurs. Les informations provenant de femmes qui accèdent ou essaient d’accéder aux services sont indispensables pour évaluer l’efficacité de l’intervention.

• Il est impératif de choisir un ensemble d’indicateurs ayant trait aux objectifs retenus pour le programme. Si l’intervention vise les fournisseurs de services de formation, on choisira des indicateurs en rapport avec eux, tels que leurs connaissances, leurs attitudes, leurs pratiques, leur capacité à fournir des soins, leur capacité à aiguiller les client(e)s vers d’autres services, ou autres, compte tenu de l’objectif spécifique visé.

Combien d’indicateurs faut-il retenir ?

Quelques recommandations concernant le nombre d’indicateurs à choisir :

• Au moins un ou deux indicateurs par résultat (pour bien faire de différentes sources)
• Au moins un indicateur pour chaque activité principale (par exemple, formation, changement de comportement, communications)
• Pas plus de 8 à 10 indicateurs par grand domaine de concentration du programme
• Employer un ensemble de stratégies de recueil et de sources distinctes.

Indicateurs de processus contre indicateurs de résultats/d’impact : Il est important de se rappeler la différence entre ces deux types d’indicateurs.

• Les indicateurs de processus servent à suivre le nombre et les types d’activités mises en œuvre. Ce sont par exemple les indicateurs suivants :

A.  Nombre et types de services fournis

B.  Nombre de personnes formées

C.  Nombre et types de matériels produits et diffusés

D.  Nombre et pourcentage de femmes clientes examinées

• Les indicateurs de résultats servent à déterminer si l’activité a ou non atteint les objectifs visés ou produit les résultats voulus. Ce sont par exemple les indicateurs suivants :

A.  Indicateurs choisis de connaissances, d’attitudes et de pratiques mesurés par une enquête

B.  Perceptions des survivantes concernant la qualité et les bienfaits des services fournis par une organisation ou une institution telles que mesurées lors d’entrevues individuelles.

On peut élaborer des indicateurs de résultats au niveau des extrants, des effets et des impacts.

Les indicateurs d’extrants illustrent les changements ayant un rapport direct avec les activités du programme (par exemple, le pourcentage de chefs traditionnels de la communauté considérée ayant suivi la formation sur les normes des droits de la personne relatives à la violence à l’égard des femmes et des filles dont les connaissances se sont accrues.)

Les indicateurs d’effets ont trait aux changements qui apparaissent du fait des interventions du programme dans le moyen ou le long terme (par exemple, le nombre de décisions du système de justice informelle de la communauté considérée en matière de violence à l’égard des femmes qui reflètent une approche axée sur les droits de la personne.)

Les indicateurs d’impacts mesurent l’effet à long terme des interventions du programme (par exemple l’évolution de la prévalence de violence à l’égard des femmes et des filles dans la communauté considérée.)

Un point important à résoudre pour suivre les progrès des projets est celui de la définition du succès.  Généralement, les organisations sont capables de dire combien d’événements elles ont organisé et combien de gens y ont participé (extrants), mais par combien de gens ont changé d’attitude ou de comportement (effets), en particulier au fil du temps.

Le principal indicateur d’impact devrait être la réduction de la prévalence et de l’incidence de la violence, mais il faut généralement des années pour que cette réduction se manifeste de façon mesurable. Il faut donc retenir d’autres indicateurs supplémentaires pour déterminer si les programmes progressent ou non dans la bonne direction.

Les cadres et les plans de suivi et évaluation devraient inclure des indicateurs de processus ainsi que des indicateurs de résultats.

Exemples d’indicateurs au niveau des pays et des programmes

Violence Against Women and Girls: A Compendium of Monitoring and Evaluation Indicators [La violence à l’égard des femmes et des filles : Compendium d’indicateurs de suivi et évaluation] (MEASURE Evaluation/USAID, 2008). Disponible en anglais.

Measures for the Assessment of Dimensions of Violence against Women: A Compendium [Mesures pour l’évaluation des dimensions de la violence à l’égard des femmes : Compendium] (Flood, 2008). Disponible en anglais.

Towards a common European Framework to monitor progress in combating Violence against Women [Pour un cadre européen commun de suivi des progrès de la lutte contre la violence à l’égard des femmes] (European Women’s Lobby, 2001).  Disponible en anglais et en espagnol.

Women, Peace & Security – Report of the Secretary General on UN Security Council Resolution 1325 Indicators for Monitoring Resolution Implementation (United Nations Security Council, 2010).  Disponible en anglais.

Proposal of New Indicators to Measure the Effects of Gender Violence [Proposition de nouveaux indicateurs pour mesurer les effets de la violence sexospécifique] (Gender Violence Effects Indicators, 2009).  Disponible en anglais et en espagnol.

Handbook on Performance Indicators for Counter-Trafficking Projects [Manuel sur les indicateurs de performance pour les projets de lutte contre le trafic des être humains] (OIM, 2009). Disponible en anglais.

Guidelines for the Collection of Data on Trafficking in Human Beings Including Comparable Indicators (International Organization for Migration (IOM) and Federal Ministry of the Interior of Austria, 2009). Disponible en anglais.

Indicadores sobre violencia contra las mujeres: Sistematización y evaluación crítica [Indicateurs sur la violence à l’égard des femmes : systématisation et évaluation critique] (Instituto Interamericano de Derechos Humanos, 2008).  Disponible en espagnol.

CEDAW Indicators for South Asia: An Initiative [Indicateurs de la CEDAW pour l’Asie du Sud : une initiative] (CENWOR/UNIFEM, 2004).  Disponible en anglais.

Voir aussi les exemples d’indicateurs pour certains domaines de travail particuliers :

Santé

Justice

Mobilisation communautaire

Urgences/Situations de conflit/de post-conflit

Indicateurs internationalement comparables relatifs à la violence à l’égard des femmes et des filles

Des indicateurs peuvent être élaborés pour suivre un programme ou une intervention spécifiques, pour suivre les progrès nationaux dans les différents secteurs ou pour suivre les progrès dans l’ensemble du pays.

À ce sujet, les décisionnaires et les activistes ont appelé à l’établissement d’un ensemble global d’indicateurs internationaux sur la violence à l’égard des femmes de manière à suivre les progrès des États dans la lutte contre cette violence.

L’Assemblée générale des Nations Unies a demandé à la Commission de statistique d’élaborer et de proposer, en consultation avec la Commission de la condition de la femme, un ensemble d’indicateurs possibles sur la violence à l’égard des femmes afin d’aider les États à évaluer l’ampleur, la prévalence et l’incidence de cette violence.

En réponse à la demande de l’Assemblée générale, la Commission de statistique a formé un Groupe des Amis du Président de la Commission pour faire fond sur les travaux entrepris antérieurement par la Division de statistique des Nations Unies, les Commissions de statistique régionales, la Division de la promotion de la femme (2007), et le Rapporteur spécial sur la violence contre les femmes, ses causes et ses conséquences, en vue d’établir une liste d’indicateurs proposés.

Un ensemble de six indicateurs intermédiaires a été initialement proposée et adoptée lors de la 40e session de la Commission de statistique (2009) et élargi par le Groupe des Amis du Président à neuf indicateurs en Décembre 2009. Les neuf indicateurs actuels provisoires, qui ont été acceptées par la Commission de statistique en Février 2011, s'établissent comme suit:

• Taux (total et par âge) de femmes soumises à la violence physique au cours des 12 derniers mois, selon la gravité, la relation à l’auteur, et la fréquence;
• Taux (total et par âge) de femmes soumises à la violence physique au cours de leur vie selon la gravité, la relation à l’auteur, et la fréquence;
• Taux (total et par âge) de femmes soumises à la violence sexuelle au cours des 12 derniers mois, selon la gravité, la relation à l’auteur, et la fréquence;
• Taux (total et par âge) de femmes soumises à la violence sexuelle au cours de leur vie, selon la gravité, la relation à l’auteur, et la fréquence;
• Taux (total et par âge) de femmes ayant eu un partenaire soumises à la violence sexuelle ou physique par leur partenaire intime actuel ou antérieur au cours des 12 derniers mois, selon la fréquence;
• Taux (total et par âge) de femmes ayant eu un partenaire soumises à la violence sexuelle ou physique par leur partenaire intime actuel ou antérieur au cours de leur vie, selon la fréquence.
• Taux (total et par âge) de femmes soumises à la violence psychologique au cours des 12 derniers mois par leur partenaire intime.
• Taux (total et par âge) de femmes soumises à la violence économique au cours des 12 derniers mois par leur partenaire intime.
• Taux (total et par âge) de femmes soumises à les mutilations génitales féminines

Pour plus d'informations sur le processus d'élaboration des indicateurs, voir : Indicators to measure Violence against Women: In the context of efforts by the Friends of the Chair group on Statistical Indicators on Violence against Women and by the United Nations Economic Commission for Europe (Jansen, H., 2010)

Un groupe d’experts s’est réuni en septembre 2009 à la demande de la Conférence des statisticiens européens de la Commission économique pour l’Europe des Nations Unies, pour débattre de l’élaboration et de la mise à l’essai d’un module et d’une méthode d’enquête pour mesurer la série intérimaire d’indicateurs de la violence à l’égard des femmes. Son rapport est disponible en anglais et les mises à jour, ainsi que le module d'enquête et des outils complémentaires sont disponibles sur le site web.