On se rappellera que les évaluations doivent reposer sur les cadres opérationnels et théoriques des interventions et qu’elles doivent être intégrées dans celles-ci dès le stade de la planification. La détermination de la situation de référence et l’analyse de situation, qui sont essentielles pour les efforts de suivi et évaluation, restent toutefois rares. On se reportera à la section d’introduction pour des informations supplémentaires sur l’élaboration d’un cadre approprié et pour le recueil des données de référence.
Définir un but clair pour le programme
Le but reflète la visée conceptuelle fondamentale très large du projet et l’effet à long terme recherché. Exemples de buts possibles :
- Améliorer la qualité des soins dispensés aux survivantes de la violence sexiste dans les établissements de santé.
- Renforcer la capacité du secteur de la santé à prévenir la violence sexiste.
Avec ce but général en tête, définir clairement les objectifs et les résultats escomptés. On se rappellera de tenir compte de la différence entre les activités, extrants et effets proposés, entre ce qui sera entrepris, ce qui sera produit et ce à quoi l’on s’attend comme résultat. Par exemple :
- Les activités peuvent comprendre la formation des prestataires de soins de santé ou l’élaboration de protocoles standardisés pour traiter les cas de violences sexuelles.
- Les extrants peuvent comprendre le nombre ou le pourcentage de prestataires de soins d’une zone cible qui ont été formés ou le nombre d’établissements de santé ayant adopté des protocoles standardisés pour traiter les cas de violences sexuelles.
- Les effets peuvent comprendre le renforcement de la capacité des prestataires de soins de santé à faire face à la violence à l’égard des femmes de manière efficace et appropriée ou la mise en œuvre d’une réponse intégrée par l’établissement de soins conformément aux protocoles standardisés
Élaborer des indicateurs pour mesurer chacun de ces objectifs
- Se rappeler de distinguer entre indicateurs de processus et indicateurs de résultats. Les programmes de santé recueillent généralement des données sur les processus plutôt que sur les résultats ou les effets et ne se concentrent pas nécessairement sur la question de savoir si leurs activités ont été bénéfiques ou efficaces. Cela ne signifie toutefois pas que les cadres de suivi et évaluation doivent exclure les indicateurs de processus.
- Les indicateurs de processus sont utilisés pour suivre le nombre et les types d’activités exécutées, tels que le nombre et les types de services fournis, le nombre de personnes formées, le nombre de matériels produits et diffusés, ou le nombre et le pourcentage de clientes testées.
- Les indicateurs de résultats sont utilisés pour évaluer si l’activité a ou non atteint les objectifs voulus. On peut citer à titre d’exemples les indicateurs du niveau de connaissances, de l’attitude et des pratiques des prestataires telles qu’elles ont été mesurées par une enquête, les perceptions des femmes concernant la qualité et les avantages des services fournis par une organisation ou institution telles qu’elles ont été mesurée par des entretiens individuels, les expériences des femmes auxquelles sont dispensés les soins, et la capacité, le caractère approprié et l’état de préparation du service de santé et de son infrastructure.
Exemples de stratégies, d’objectifs et d’indicateurs pour le suivi et évaluation des initiatives du secteur de la santé
|
Stratégie/Intervention |
Exemples d’objectifs possibles |
Exemples d’indicateurs |
|
1) Diffusion de matériels/ d’information |
Sensibilisation des prestataires de soins à la violence sexiste et amélioration de leur compréhension du phénomène, en particulier : a) De la violence sexiste en tant que grave problème des droits de la personne et de santé publique b) Des obstacles auxquels font face les femmes vivant dans des situations de violence ou les survivantes de la violence lors de l’accès aux services c) Des liens entre violence sexiste et VIH/sida d) Des lois relatives à la violence sexiste et des responsabilités des prestataires de services |
|
|
2) Formation de prestataires de services |
Renforcement des capacités des prestataires de soins à traiter les cas de violence sexiste, et en particulier : a) À se conformer aux protocoles de dépistage systématique b) À traiter les cas de viol et de violences sexuelles c) À traiter globalement la violence sexiste et le VIH/sida d) À établir et à utiliser des réseaux d’aiguillage à base communautaire formés de prestataires de soins et de services sociaux e) À améliorer la documentation médico-légale des cas f) À modifier les normes et les attitudes de stigmatisation g) À fournir des soins d’urgence et en situation de crise Renforcement des capacités des prestataires de soins à prévenir la violence sexiste possible : a) Par la modification des normes et des attitudes de stigmatisation b) Par le renforcement des capacités de dépistage de violence possible, de prestations de soins appropriés et d’aiguillage vers d’autres services selon qu’il y a lieu |
|
|
3) Élaboration de protocoles et de normes pour la prise en charge des cas de violence sexiste |
|
|
|
4) Dépistage systématique |
|
|
|
5) Campagnes d’autonomisation des femmes |
|
Source: PATH, 2010
Exemples d’approches du suivi et évaluation pour le secteur de la santé
|
Approche |
Exemples de méthodes utilisées |
|
Évaluations formelles par des consultants extérieurs au démarrage, à mi-parcours et à l’achèvement
|
Enquêtes avec questionnaires structurés Groupes de discussion avec les prestataires de soins et les client(e)s Examen des registres au hasard Observations cliniques Entrevues en profondeur avec les informateurs clés |
|
Études de cas de petite envergure pour évaluer les nouvelles politiques et les nouveaux outils |
Statistiques ordinaires de services Focus groups avec le personnel Focus groups avec les client(e)s |
|
Systèmes d’information pour recueillir les données de service systématiques |
Statistiques ordinaires de services pour les indicateurs clés |
|
Réunions périodiques avec le personnel pour débattre des nouvelles politiques et des nouveaux outils |
Discussions et dialogues informels entre le personnel de première ligne et les cadres |
|
Efforts individuels des cadres pour suivre les progrès des réformes nécessaires dans l’organisation |
Check-listes Plans stratégiques Observation personnelle |
|
Efforts individuels des cadres pour surveiller le moral et les performances du personnel |
Statistiques ordinaires de services Examen informel des dossiers médicaux Discussions informelles avec des membres du personnel |
|
Vérification pré-formation et post-formation des connaissances théoriques et pratiques des prestataires |
Questionnaires Jeux de rôle Discussions informelles de groupe |
Source : Bott, Guedes and Claramunt, 2004.
Étude de cas : Évaluation de la Fédération internationale pour la planification familiale / Région de l’hémisphère occidental pour l’amélioration de la réponse à la violence sexiste
Cette évaluation s’articulait en quatre composantes :
1. Une évaluation de la situation de référence comprenant :
Une enquête sur les connaissances, attitudes et pratiques des prestataires de services menant des entrevues personnelles. La FIPF/RHO a conçu un questionnaire d’enquête pour recueillir des informations sur les connaissances, attitudes et pratiques des prestataires de soins en rapport avec la violence sexiste. Ce questionnaire compte environ 80 questions, seules quelques-unes étant des questions ouvertes, ce qui facilite la tabulation et l’analyse des résultats. Il couvre toute une gamme de sujets, notamment : modalités et fréquence des conversations sur la violence entre prestataires de soins et clientes; quels sont, selon les prestataires, les obstacles s’opposant au dépistage; ce que font les prestataires quand ils découvrent qu’une cliente a été victime de violences; attitudes envers les femmes victimes de violences; connaissances relatives aux conséquences de la violence sexiste; types de formations dispensées aux prestataires dans le passé. Ce questionnaire peut également être adapté pour évaluer une session de formation, en l’employant dans son intégralité ou en partie avant l’atelier et en en employant une partie après l’atelier. S’il est utilisé immédiatement avant et après une seule session de formation, il ne permet de mesurer que les changements en matière de connaissances, car les changements d’attitudes et de pratiques mettent bien plus longtemps à se manifester.
Un Guide d’observation/d’entrevue clinique. Ce guide a pour objet de recueillir des informations sur les ressources humaines, matérielles et écrites dont dispose l’établissement de soins. La première partie du guide consiste en une entrevue avec un petit groupe de prestataires (le directeur de l’établissement, un médecin et un conseiller, par exemple). Cette section contient des questions sur les ressources humaines de l’établissement, les protocoles écrits relatifs au dépistage de la violence sexiste, aux soins et aux systèmes d’orientation, et sur les autres ressources, par exemple la disponibilité de moyens contraceptifs d’urgence. Le guide recommande à l’intervieweur de demander, dans toute la mesure du possible, à voir une copie ou un exemple de l’article en question pour s’assurer de son existence et de sa disponibilité dans l’établissement. La seconde partie du guide porte sur l’observation de l’infrastructure physique et des activités de l’établissement, notamment sur la confidentialité des consultations (question de savoir, par exemple, si l’on peut voir ou entendre les clientes en consultation de l’extérieur), ainsi que sur la disponibilité de matériels d’information sur la violence sexiste.
2. Des statistiques de service sur les taux de détection et les services fournis, recueillies en se servant de questions de dépistage et d’indicateurs standardisés :
Tableaux modèles pour le recueil de données de dépistage. Pour s’assurer que les trois associations participantes recueillent des données de dépistage comparables, la FIPF/RHO a établi une série de tableaux modèles, que chaque association a remplis tous les six mois. Ces tableaux peuvent avoir leur utilité pour d’autres programmes de santé, mais pas nécessairement, car cela dépend de la décision du programme de procéder ou non à un dépistage systématique, du type de politique adoptée, du type de questions posées et du type de système d’information dont le programme dispose. En tout état de cause, ces tableaux illustrent les types de données qui peuvent être recueillies et analysées systématiquement.
3. Une évaluation à mi-parcours, essentiellement qualitative, comprenant :
a. Des discussions de focus groups et interviews détaillées avec des prestataires, des survivantes et des parties prenantes/informateurs clés : Un protocole sommaire pour le recueil de données qualitatives décrit ces méthodes, notamment celles des interviews détaillées et des discussions de groupe, et donne également une idée des types de prestataires, clientes et autres parties prenantes auxquels il a été demandé de participer.
b. Des enquêtes sur la satisfaction des clientes : Le questionnaire d’enquête à la sortie est un instrument standard de recueil d’information sur les opinions qu’ont les clients des services qu’ils ont reçus. Ces enquêtes visent principalement les services de santé qui ont adopté une politique de dépistage systématique. Il est important de noter que les enquêtes à la sortie présentent une limitation significative, en ce que de nombreux clients hésitent à exprimer une opinion négative des services reçus. Il en est ainsi en particulier lorsque l’entrevue a lieu sur les lieux de prestation des services. La FIPF/RHO n’a pas pu interroger les clientes hors des centres de soins, mais elle a veillé à ce que les intervieweurs n’appartiennent pas au personnel du centre, ce qui leur a permis de rassurer les femmes participantes sur le respect de la confidentialité de leurs réponses. Ce questionnaire contient surtout des questions fermées sur les services. Il demande aux femmes si on leur a posé des questions sur la violence sexiste et sur leurs réactions au fait qu’on leur ait posé ces questions, mais il ne demande pas aux femmes de révéler si elles ont ou non été elles-mêmes victimes de violences.
c. Des études de cas de stratégies pilotes visant à faire face à divers aspects de la violence sexiste.
4. Une évaluation finale pour faire pendant à l’évaluation de la situation de référence, comprenant notamment :
a. Une enquête sur les connaissances, attitudes et pratiques des prestataires menant des interviews personnelles.
b. Un guide de l’observation clinique / des interviews.
c. Des examens de dossiers choisis au hasard et l’élaboration d’un protocole :
Tout au long de la mise en œuvre de l’initiative régionale de la FIPF/RHO, les associations participantes ont recueilli des statistiques de service ordinaires, y inclus les nombres et les pourcentages de clientes ayant répondu affirmativement aux questions de dépistage. Toutefois, la qualité de ces statistiques dépend de la fiabilité des systèmes d’information et de la volonté des prestataires de soins de santé de se conformer aux politiques de l’établissement de soins, ces deux facteurs pouvant varier d’un établissement à l’autre. La FIPF/RHO a donc élaboré un protocole pour mesurer le niveau de dépistage et de documentation faisant appel à un examen des registres sur des bases aléatoires. Le manuel contient une brève description du protocole ainsi qu’une fiche de tabulation.
Principales publications téléchargeables concernant cette initiative :
Basta! The Health Sector Addresses Gender-Based Violence / ¡Basta! El Sector Salud Combate la Violencia Contra la Mujer [Assez ! Le secteur de la santé fait face à la violence sexiste]. Disponible en anglais et en espagnol.
Improving the Health Sector Response to Gender-Based Violence [Amélioration de la réponse du secteur de la santé à la violence sexiste]. Disponible en anglais et en espagnol.