Una vez que se han establecido los componentes del marco, el personal puede revisar los datos que necesitará reunir para medir los indicadores del programa. Esto también implica hacer una lista de dónde se registran los datos que se recogerán y las preguntas que se espera que el proyecto responda. A medida que se revisa cada pregunta, considere cuáles son los datos correspondientes. Las preguntas deben ordenarse en una tabla junto con las variables específicas que se monitorean para asegurar que no haya vacíos en los datos. Una vez que se han conectado todas las preguntas y los indicadores de esta manera, el personal o los miembros del comité asesor o directivo pueden determinar qué procesos de análisis específicos serán apropiados para medir cada indicador.
El monitoreo de los servicios de refugio generalmente implica documentar:
- Los servicios que está prestando el refugio, por medio del registro de las tasas de ocupación del refugio, cantidad y tipos de programas de refugio que utilizan, etc.
- El personal y otros recursos requeridos para prestar servicios, con detalles de presupuesto, fondos, instalaciones, materiales, alianzas, etc.
- Los grupos de mujeres que usan estos servicios, con información demográfica básica, historia, exposición a la violencia, problemas de salud mental y adicciones, etc.
- El resultado de los servicios prestados (satisfacción de las mujeres con los servicios y los cambios verificados en su situación).
Para algunas organizaciones es útil revisar los procesos y sistemas de recolección de datos vigentes y, si es necesario, revisar los procedimientos de rastreo y formularios institucionales para asegurar que apoyan adecuadamente las necesidades del programa. Algunas consideraciones del proceso de revisión son:
- Si los formularios del programa (formulario de ingreso/llegada o encuesta de salida) necesitan revisión o que se añadan ítems nuevos relacionados con ciertos indicadores del programa.
- Se pueden ahorrar muchos recursos de monitoreo y evaluación si la organización adopta un formato de archivo uniformizado y bien organizado para su registro escrito y su base de datos electrónica, y se asegura de que el personal esté capacitado/ sea capaz de usar correctamente estos materiales.
- Revisar la base de datos donde se guarda la información del programa para identificar si:
- Permite ingresar la cantidad y el tipo de datos recolectados en el programa
- Admite el análisis de datos
- Tiene una persona claramente identificada responsable de ingresar los datos al sistema y si el arreglo es práctico para la iniciativa nueva
- Requiere alguna revisión para aceptar el programa nuevo o corregir problemas antiguos.
- Requerirá que el personal sea capacitado en el uso del sistema.
- Si hay otras organizaciones que proporcionan refugio o servicios similares para sobrevivientes en el área, puede ser útil que el refugio involucre a las organizaciones en un comité interinstitucional para seleccionar o desarrollar un sistema único de rastreo de datos que se pueda aplicar en toda la comunidad. Esto puede facilitar el intercambio de información al mismo tiempo que evita la duplicación (véase más información acerca de la confidencialidad de la identidad de la sobreviviente), racionaliza la capacitación del personal y apoya a los donantes y otros cuyos requisitos para los informes se puedan simplificar y estandarizar siguiendo esas condiciones.
- Si la organización está usando herramientas de evaluación específicas como parte de su programación, es importante asegurar que las herramientas sean las más apropiadas para la iniciativa nueva. ¿Miden el resultado que interesa? ¿Son suficientemente confiables y válidas? ¿Son fáciles como para que el personal las use con capacitación mínima? ¿El nivel de lectura es apropiado? Se debe tener cautela al emplear herramientas que no han sido probadas.
Como parte del proceso de planificación, los refugios deben identificar las herramientas específicas que se usarán para monitorear adecuadamente las actividades y medir los productos y resultados esperados según los indicadores seleccionados. Estas herramientas pueden incluir una combinación de:
- Formularios de rastreo impresos (por ej. formularios de llegada, de derivación, de registro en el edificio, y herramientas de medición tales como escalas de calificación). Los archivos individuales impresos de las residentes suelen guardarse, y contienen información escrita para cubrir necesidades de servicios importantes tales como fijar metas, informes sobre las sesiones de orientación y guardar información esencial de contacto.
- Instrumentos de evaluación estandarizados o con un fin en particular (por ej. medir la exposición al trauma, el estrés o problemas de salud mental, una escala de calificaciones desarrollada para actividades de observación). Las herramientas de evaluación ayudan al personal a entender mejor las situaciones de las mujeres y los niños y niñas, y las necesidades y servicios que necesitan. En la mayoría de los casos, con excepción de los formularios específicos del refugio tales como los de ingreso/llegada, las herramientas de monitoreo y evaluación deben ser estandarizadas; deben ser probadas científicamente, confiables y un medio válido de evaluar eficazmente los indicadores identificados. Deben tener antecedentes de haber sido usadas con éxito entre la población relevante e incluir:
- Escalas de respuesta estandarizadas
- Requerir un nivel de lectura relativamente bajo
- Un conjunto de instrucciones fijas prefijadas
- Información clara sobre administración, calificación e interpretación
- Programas de computación tales como Excel, Outcome Tracker o productos similares que pueden ser diseñados a medida para rastrear los datos relacionados con los servicios utilizados o los resultados. Los formatos electrónicos facilitan el análisis cruzado de información combinada de las usuarias de servicios, lo cual permite generar informes para los donantes o para otros propósitos. Los archivos electrónicos no deben ser utilizados para comunicar información identificable sobre personas específicas a menos que los archivos estén debidamente protegidos con claves. Véase más sobre seguridad de los registros.
- Los proyectos de monitoreo y evaluación pueden usar esas herramientas, aunque el monitoreo tiende a usar más sistemas de rastreo de datos y formularios de programa (por ej. datos del formulario de ingreso, datos de la encuesta de salida) que herramientas estandarizadas. Los proyectos de monitoreo generalmente se llevan a cabo para proporcionar una descripción detallada de la población que atiende el refugio y los servicios que se les proporciona. Cuando la exposición a la violencia representa un problema, el monitoreo puede requerir el uso de herramientas estandarizadas tales como evaluaciones de los riesgos para la planificación de la seguridad o distintas mediciones de la salud mental (es decir, nivel del trauma, depresión, ansiedad) para proporcionar una base para la prestación de servicios específicos o para fundamentar las derivaciones.
- Las herramientas estandarizadas suelen estar en muchos idiomas y vienen con manuales y requisitos de capacitación. Algunas de estas herramientas están protegidas por derechos de autor (una compañía tiene licencia para venderlas en nombre del autor), mientras que otras son compartidas por el autor por correo o en línea gratuitamente. Los instrumentos se deben seleccionar sobre la base de un contexto y recursos específicos disponibles en el refugio (por ej. minimizar los costos y requerimientos de capacitación mientras se maximiza la facilidad de uso).
- La complejidad del análisis de datos varía con el diseño del proyecto y los tipos de preguntas que se formularán. La mayoría de los proyectos de monitoreo pueden administrar el análisis de datos a través de procedimientos incorporados a la base de datos que se use. Por ejemplo, el cálculo del total de usuarias atendidas o variables tales como duración de la estadía (rango, media, mediana, moda) o datos demográficos de las mujeres que usan los servicios (edad, cantidad de hijos(as), ingreso, fuentes de derivación) puede ser manejado con programas como Excel o Outcome Tracker. Las bases de datos más sofisticadas como Statistical Package for Social Sciences (SPSS) suelen usarse para proyectos de evaluación porque permiten otras pruebas para determinar si un cambio observado entre el pretest y el postest es significativo o si hay condiciones preexistentes tales como la edad o el nivel de ingresos que afecten los resultados. Si se requiere un análisis tan detallado, es importante usar un programa de base de datos que permita descargar los datos a un programa de análisis como el Statistical Package for Social Sciences e incluir el costo del software de análisis de datos y contratación de personal especializado (por ej. consultor estadístico) en el presupuesto.