Une fois les composantes du cadre définies, le personnel peut examiner les données à collecter pour mesurer les indicateurs de programme. Ce processus devrait consister à indiquer où consigner les données qui doivent être collectées et les questions auxquelles ils souhaitent que le projet apporte des réponses. Lors de l’examen de chaque question, il conviendra de réfléchir aux données qui s’y rapportent. Les questions peuvent figurer sous le format de table de matières aux côtés de certaines variables suivies pour que les données ne présentent aucune lacune. Après avoir relié toutes les questions et tous les indicateurs de cette façon, le personnel et/ou les membres du comité consultatif ou de direction peuvent définir avec précision les processus d’analyse nécessaires pour mesurer chaque indicateur.
Les méthodes de suivi des services d’hébergement comprennent généralement la documentation:
- des services fournis par le centre d’hébergement en question, en évaluant les taux d’occupation, les nombres et genres de programmes d’hébergement utilisés, etc.
- des ressources en personnel et d’autres ressources nécessaires pour fournir des services, en précisant les budgets, le financement, les installations, les matériels, les partenariats, etc.
- des groupes d’utilisatrices de ces services, accompagnée de données démographiques de base, de leur parcours, de leur exposition à la violence, de leurs problèmes de santé psychologique et de dépendance, etc.
- des résultats des services fournis (satisfaction des femmes avec les services et changements signalés dans leur situation).
Certaines organisations auraient intérêt à examiner les processus et systèmes existants de collecte de données et, s’il y a lieu, à revoir les procédures de suivi et les formulaires des organismes pour s’assurer qu’ils correspondent aux besoins des programmes. Le processus d’évaluation devrait prendre en considération:
- si les formulaires de programme (formulaires d’admission/d’arrivée ou enquêtes de sortie) doivent être révisées ou les nouveaux éléments ajoutés correspondent à des indicateurs de programmes particuliers.
- la préservation de nombreuses ressources de suivi et d’évaluation à condition que l’organisation adopte un format de fichier uniforme, bien organisé pour ses dossiers écrits et sa base de données informatique, et s’assure que le personnel est formé et qualifié pour en faire une utilisation correcte.
- un examen de la base de données utilisée pour regrouper les informations de programme afin d’établir que celui-ci:
- permet la saisie de la quantité et du genre de données collectées pour le programme.
- appuie l’analyse de données.
- désigne clairement une personne chargée de saisir les données dans le système et s’assure que les dispositions correspondent aux besoins de la nouvelle initiative.
- nécessite des révisions pour s’adapter au nouveau programme ou corriger des problèmes antérieurs.
- exigera du personnel une formation à l’utilisation du système.
- si d’autres organisations fournissent un hébergement ou des services aux victimes de la région, il serait peut-être utile que le centre d’hébergement encourage ces organisations à participer, par le truchement d’un comité interinstitutions, à la sélection ou au développement d’un système unique de suivi des données applicable dans toute la communauté. Un tel système pourrait faciliter l’échange d’informations, tout en évitant les doubles emplois (voir directives relatives à la préservation de la confidentialité de l’identité de la victime), rationaliser la formation du personnel et faciliter la rédaction des rapports des bailleurs de fonds et d’autres parties intéressées en simplifiant et en normalisant leur production.
- Si l’organisation a recours à des outils d’évalution spéciaux dans le cadre de son programme, il est important de s’assurer qu’ils correspondent au mieux à la nouvelle initiative. Mesurent-ils les résultats d’intérêt? Sont-ils suffisamment fiables et valides? Sont-ils faciles à utiliser pour un personnel disposant d’une formation minimale? Le niveau de lecture est-il approprié? Il convient de faire preuve de prudence en utilisant des outils qui n’ont pas été testés.
Dans le cadre du processus de planification, les centres d’hébergement devraient indiquer les outils spécifiques qui seront utilisés pour suivre correctement les activités et mesurer les réalisations et résultats escomptés en fonction des indicateurs sélectionnés. Ces outils pourraient comprendre un ensemble:
- de documents papier de suivi (par ex. formulaires d’arrivée, formulaires d’orientation, formulaires d’enregistrement des installations, et instruments de mesure comme échelles d’évaluation). Des dossiers papier individuels sont généralement conservés pour les résidents, comprenant des informations entrées sous forme écrite pour répondre aux besoins importants de services, comme la définition d’objectifs, la production de rapports sur les séances de conseil et la conservation de coordonnées essentielles.
- d’instruments normalisés ou spécialement conçus pour l’évaluation (par ex. mesure de la vulnérabilité aux traumatismes, des problèmes de stress ou de santé mentale, échelle d’évaluation conçue pour des activités observationnelles). Les outils d’évaluation permettent au personnel de mieux saisir les situations, les besoins et exigences des femmes en matière de services. Dans la plupart des cas, à l’exception des documents conçus spécialement pour l’hébergement comme les formulaires d’admission ou d’arrivée, les outils de suivi et d’évaluation devraient avoir été scientifiquement testés, se révéler fiables et constituer un moyen valide d’évaluation efficace des indicateurs identifiés. Ils devront avoir fait leur preuves d’utilisation auprès des populations concernées et comprendre:
- des échelles de réponses normalisées.
- des conditions de niveau de lecture relativement faible
- un ensemble d’instructions établies
- des informations claires sur l’administration, la notation et l’interprétation
- de systèmes informatiques comme Excel, Outcome Tracker ou autres outils similaires qui peuvent être créés sur mesure pour suivre les données relatives aux services utilisés ou aux résultats. Les formats gérés par ordinateur facilitent l’analyse des informations combinées pour tous les utilisateurs de services, permettant la production de rapports destinés aux bailleurs de fonds et à d’autres fins. Les dossiers gérés par ordinateur ne devraient pas être utilisés pour rapporter des renseignements identifiables sur des cas individuels à moins que les données en question soient suffisamment protégées par un mot de passe. Voir plus sur Mise en sécurité des dossiers.
- Les projets de suivi comme ceux d’évaluation peuvent utiliser ces outils, même si les activités de suivi auront plus tendance à utiliser des systèmes de suivi de données et des documents de programme (par ex. données provenant de formulaires d’admission, de sondages de départ) que des instruments normalisés. Les projets de suivi sont généralement entrepris pour fournir une description détaillée de la population bénéficiant d’un centre d’hébergement et des services que celui-ci fournit. Là où le risque de violence se pose, l’activité de suivi pourrait également nécessiter l’utilisation d’outils normalisés comme des évaluations des risques relatifs à la planification sécuritaire et/ou aux diverses mesures de l’état de santé mentale (c.’-à-d. niveau de traumatisme, de dépression, d’angoisse), pour fournir une base pour la prestation de services spéciaux ou éclairer l’orientation des victimes.
- Les outils normalisés sont souvent disponibles en plusieurs langues et s’accompagnent de manuels et d’exigences de formation. Certains de ces outils sont exclusifs (la licence d’utilisation étant octroyée à une certaine entreprise qui les met en vente au nom de l’auteur des outils), alors que d’autres sont disponibles gratuitement par la poste ou en ligne par l’auteur des outils. Les instruments doivent être sélectionnés en fonction du contexte particulier et des ressources disponibles du centre d’hébergement (par ex. minimiser les besoins en coûts et formation et maximiser la facilité de l’utilisation).
- La complexité de l’analyse de données varie selon la conception du projet et le genre de questions susceptibles d’être posées. La plupart des projets de suivi peuvent gérer l’analyse de données par des procédures intégrées dans la base de données utilisée. Par exemple, le calcul du nombre global de clients rencontrés ou des variables comme la durée du séjour (étendue, moyenne, médiane, mode) ou les particularités démographiques des femmes utilisatrices de services (âge, nombre d’enfants, revenu, sources de l’orientation) peuvent être généralement gérés dans des programmes comme Excel ou Outcome Tracker. Des bases de données plus complexes comme Statistical Package for Social Sciences sont souvent utilisées dans des projets d’évaluation parce qu’ils prévoient des tests supplémentaires pour déterminer si un changement observé avant ou après le test est statistiquement important ou si des conditions préalables comme l’âge ou le niveau de revenu ont une incidence sur les résultats. Lorsqu’il est nécessaire de procéder à une analyse aussi détaillée, il est important d’utiliser un programme de base de données qui permet de télécharger les données dans un programme d’analyse comme le Statistical Package for Social Sciences et d’inclure le coût des logiciels d’analyse de données et des services de personnel spécialisé (par ex. statisticien conseil) dans le budget.