Monitoreo (proceso, formativo, evaluación de mitad de período)
El monitoreo es una forma de evaluación o apreciación, aunque a diferencia de la evaluación de resultado o impacto, tiene lugar poco después que comenzó una intervención (evaluación formativa), en el curso de la intervención (evaluación del proceso) o a mitad de camino en la intervención (evaluación de mitad de período).
El monitoreo no es un fin en sí mismo. El monitoreo permite que los programas determinen qué está funcionando y qué no, así se pueden hacer ajustes a lo largo del camino. Permite que los programas evalúen qué está pasando realmente, versus lo que se planificó.
El monitoreo permite a los programas hacer lo siguiente:
- Implementar medidas correctivas para poner a los programas nuevamente en curso y que sean responsables de los resultados que se espera que el programa logre.
- Determinar cómo deberían ser distribuidos los fondos en todas las actividades programáticas.
- Recolectar información que puede usarse en el proceso de evaluación.
Cuando las actividades de monitoreo no las llevan a cabo directamente los tomadores de decisiones del programa, es crucial que los hallazgos de las actividades monitoreadas se coordinen y se los retroalimente.
También se puede difundir Información de la actividades de monitoreo a diferentes grupos fuera de la organización. Esto promueve la transparencia y da la oportunidad de conocer la opinión de los interesados.
No existen herramientas y métodos de monitoreo estándar. Varían de acuerdo con el tipo de intervención y los objetivos que se plantean en el programa. Algunos ejemplos de monitoreo son:
- Informes de monitoreo de actividades
- Revisión de registros de prestación de servicios (por ejemplo. informes policiales, registros de caso, formularios y registros de uso de servicios de salud, otros)
- Entrevista de salida con clientes (sobrevivientes)
- Técnicas cualitativas para medir actitudes, conocimiento, habilidades, comportamiento y las experiencias de sobrevivientes, prestadores de servicios, agresores y otros a quienes puede dirigirse la intervención.
- Revisiones estadísticas de bases de datos administrativas (es decir, en los sectores salud, justicia e interior, albergues, oficinas de bienestar social y otros)
- Otras técnicas cuantitativas.
Evaluación de resultados
La evaluación de resultados mide tanto los resultados a corto plazo como lo resultados a a largo plazo de los programas.
- Por ejemplo, en un programa para fortalecer la respuesta del sector salud en casos de violencia contra las mujeres, un resultado de corto plazo puede ser el uso de protocolos y procedimientos estandarizados por parte de los profesionales en un centro de salud.
- Un resultado a largo plazo puede ser la integración de esas políticas en todo el sector y el sistema de salud.
- Es importante establecer claramente desde el principio de un proyecto o intervención, cuáles son los objetivos y resultados esperados, e identificar qué cambios específicos se espera para qué población en particular.
Evaluación del impacto
La evaluación del impacto mide la diferencia entre lo que pasó habiendo implementado el programa y lo que hubiera pasado sin él .Responde a la pregunta, “¿Cuánto del cambio observado en la población meta (si lo hubo) ocurrió debido al programa o la intervención?”
Para este nivel de evaluación se necesitan diseños de investigación rigurosos. Es el tipo de evaluación más compleja e intensiva; incorpora métodos como la selección aleatoria, grupos de control y de comparación. Estos métodos sirven para:
- Establecer vínculos causales, o relaciones, entre las actividades que se llevan a cabo y los resultados deseados.
- Identificar y aislar todo factor externo que pueda influir en el resultado deseado.
Por ejemplo, una evaluación del impacto de una iniciativa dirigida a la prevención de agresiones sexuales a mujeres y niñas en el pueblo x mediante mejoras de infraestructura (iluminación, pasajes más visibles, etc.) también puede comparar datos de otra comunidad (pueblo y) para evaluar si las reducciones en el número de agresiones al finalizar el programa pueden atribuirse a esas mejoras. El propósito es aislar otros factores que puedan haber influido en la reducción del número de agresiones, tales como la capacitación de la policía o nueva legislación.
Mientras el impacto de las evaluaciones puede considerarse “el estándar dorado” para el monitoreo y la evaluación, su medición puede representar un desafío y puede no ser viable por muchas razones, entre ellas:
- Requieren un importante volumen de recursos y tiempo, que muchas organizaciones pueden no tener.
- Para hacerlo adecuadamente, también necesitan que la recolección de datos siga una metodología estadística específica, a lo largo de un período de tiempo, desde una variedad de grupos de control y de intervención, que puede ser difícil para algunos grupos.
Puede que las evaluaciones de impacto no sean siempre necesarias o, incluso apropiadas, para las necesidades de la mayoría de los programas e intervenciones que buscan monitorear y evaluar sus actividades.
- Para medir el impacto del programa, generalmente se hace una evaluación al principio (llamada línea de base o evaluación ex-ante) y luego otra vez al final (llamada evaluación ex-post) de un programa. También se recaban mediciones de un grupo de control con características similares a las de la población meta, pero no se trata de recibir la intervención para poder comparar a ambas.
- Para atribuir los cambios de resultados a una intervención en particular, es necesario descartar todas las otras explicaciones posibles y controlar todos los factores externos o factores que confunden y que pueden dar cuenta de esos resultados. Una evaluación del impacto de una campaña para concienciar sobre las disposiciones de una ley, recientemente aprobada, sobre violencia contra la mujer, por ejemplo, debería incorporar:
- Datos de base sobre el conocimiento de las disposiciones de la ley antes de la campaña en el grupo de la intervención.
- Datos finales sobre el conocimiento de las provisiones después de la campaña en el grupo de intervención.
- Datos de base o conocimiento de las disposiciones de la ley antes de la campaña en un grupo de control que no fue expuesto a la campaña – en especial para observar si hubo factores externos/adicionales que puedan haber influido en su nivel de conocimiento.
- Si el diseño del estudio no incluye un grupo de control designado aleatoriamente, no es posible llegar a una conclusión en cuanto a las diferencias en los resultados entre áreas con el programa y áreas sin el programa.
- Sin embargo, si no se pueden realizar estudios de base estadísticamente rigurosos con grupos de control designados aleatoriamente, aún se puede recabar información de base muy útil y valida así como información final.
La evaluación requiere experiencia y entrenamiento técnico. Si el programa no tiene capacitación internamente, se deben contar con asistencia de valuadores externos.
Guidance Note on Developing Terms of Reference (ToR) for Evaluations (UNIFEM, 2009). Disponible en inglés.
Una vez que se complete la evaluación, se debe redactar un informe detallado para documentar los resultados y hallazgos de la intervención programática.
Guidance: Quality Criteria for Evaluation Reports (UNIFEM, 2009). Disponible en inglés.
El informe de evaluación (o resumen del informe según el caso) debe difundirse al personal, donantes y otros interesados.
Guidance Note on Developing an Evaluation Dissemination Strategy (UNIFEM, 2009). Disponible en inglés.
Informes ilustrativos de monitoreo y evaluación:
Ver informes adicionales de monitoreo y evaluación por sectores en:
Recursos adicionales:
M&E Fundamental: A Self-Guided Minicourse (Frankel and Gage/MEASURE Evaluation, 2007). Disponible en inglés.
Monitoring and Evaluating Gender-based Violence Prevention and Migation Programs (USAID, MEASURE Evaluation and Inter-agency Gender Working Group). La presentación PowerPoint y las hojas de notas están disponibles en inglés.
Monitoring and Evaluating Gender-Based Violence: A Technical Seminar Recognizing the 2008 '16 Days of Activism' (Inter-agency Gender Working Group/USAID, 2008). Presentaciones disponibles en inglés.
Sexual and Intimate Partner Violence Prevention Programmes Evaluation Guide (Centers for Disease Control and Prevention). El manual presenta información para la planificación y conducción de evaluaciones; información sobre el vínculo entre metas, objetivos, actividades, resultados y estrategias de evaluación del programa; fuentes y técnicas para la recolección de datos; y consejo para analizar e interpretar los datos recabados y compartir los resultados. Está para la venta en inglés.
Building Data Systems for Monitoring and Responding to Violence Against Women (Centers for Disease Control and Prevention, 2000). Disponible en inglés.
Sexual Violence Surveillance: Uniform Definitions and Recommended Data Elements (Centers for Disease Control and Prevention, 2002). Disponible en inglés.
Using Mystery Clients: A Guide to Using Mystery Clients for Evaluation Input (Pathfinder, 2006). Disponible en inglés.
A Place to Start: A Resource Kit for Preventing Sexual Violence (Sexual Violence Prevention Program of the Minnesota Department of Health). Evaluation tools available: Community Assessment Planning Tool; Evaluation Planning Tool; Opinions About Sexual Assault; Client Satisfaction Survey; Participant Feedback Form; Teacher/Staff Evaluation of School Presentation; Program Dropout Form
National Online Resource Center on Violence Against Women, página de evaluación.
Gender Equality and Human Rights Responsive Evaluation (UN Women, 2010). Disponible en Inglés. Vea también UN Women online guide to gender equality and human rights responsive evaluation en Inglés,francés e español.
Putting the IPPF Monitoring and Evaluation Policy into Practice: A Handbook on Collecting, Analyzing and Utilizing Data for Improved Performance (International Planned Parenthood, 2009). Disponible en Inglés.