Marcos para el monitoreo y la evaluación

Se necesita un marco definido para dirigir el monitoreo y la evaluación. Un marco tiene que explicar cómo debe funcionar un programa al delinear los componentes de la iniciativa y el orden o los pasos necesarios para obtener los resultados deseados. Un marco ayuda a comprender las metas y los objetivos del programa, define las relaciones entre los factores clave para la implementación, y articula los elementos internos y externos que pueden incidir en el éxito del programa.

¿Por qué son importantes los marcos de monitoreo y evaluación?

Un marco de monitoreo y evaluación bien diseñado puede ayudar en gran medida a pensar las estrategias programáticas, objetivos y actividades planeadas, y si realmente son las más apropiadas para el caso.

Marcos para el monitoreo y la evaluación:

• Ayudar a comprender y analizar un programa
• Ayudar a desarrollar planes de monitoreo y evaluación sólidos, y la implementación de actividades de monitoreo y evaluación
• Articular las metas del programa y objetivos medibles de corto, mediano y largo plazo
• Definir relaciones entre insumos, actividades, productos, resultados e impactos
• Aclarar la relación entre las actividades programáticas y los factores externos
• Demostrar cómo las actividades pueden conducir a lograr resultados y tener impacto, especialmente cuando no existen recursos para realizar evaluaciones de impactos rigurosas A menudo exhiben las relaciones en forma gráfica.

Aspectos a tener en cuenta cuando se desarrolla un marco para el monitoreo y la evaluación

Algunas  preguntas:

¿Cuáles son los objetivos de las actividades de monitoreo?

¿Qué preguntas hay que hacer para medir el progreso de la intervención?

¿Qué información se necesita para determinar si las acciones se están implementando en la forma que fueron planeadas, y quién puede proporcionar esa información?

¿Cuáles son los objetivos de la evaluación?

¿Cuáles son las preguntas específicas que hay que contestar para medir el impacto y el éxito de la intervención?

¿Qué información se necesita para determinar si se lograron los objetivos y resultados esperados y quién puede proporcionar esa información?

Determinar si las preguntas que se hacen son las adecuadas para comprender cuán exitosa ha sido la intervención con respecto a los objetivos y resultados esperados.

Desarrollar el correspondiente plan de monitoreo y evaluación que actúa como una herramienta de monitoreo definiendo cómo se hará el seguimiento de la información obtenida del programa.

Desarrollar el marco y el plan antes de implementar las actividades.

Determinar qué marco usar. Las organizaciones y los donantes solicitan una variedad de  marcos. Algunos donantes combinan aspectos de distintos marcos para un enfoque, según sea necesario. Otros no incluyen en los programas, directrices explícitas para la selección de un marco. Los programas deben elegir el tipo de marco que mejor sirva para sus estrategias y actividades y que responda a los requerimientos institucionales.

También es importante tener en cuenta que:

• Diferentes tipos de intervenciones (cambios de política, campañas de concienciación, movilización comunitaria, mejora de la prestación de servicios y respuesta) necesitarán diferentes marcos, herramientas e indicadores.

• Se puede diseñar un marco apropiado para el monitoreo y la evaluación de actividades aún cuando: a) los programas no cuenten con grandes recursos; b) el personal de programa y los implementadores, prestadores de servicios y formuladores de políticas crean que no disponen de más tiempo para dedicar al monitoreo y la evaluación.

• Muchas de las herramientas disponibles pueden ser adaptadas para las necesidades de monitoreo evaluación en contextos específicos. Si las actividades de monitoreo y evaluación se consideran e incorporan al trabajo programático o a la prestación del servicio desde el comienzo, se minimiza la utilización de recursos y el tiempo a dedicar.

• Es importante aclarar los objetivos, qué información será más útil para lograr esos objetivos y qué información ya está disponible o es de fácil recolección.

Todos los programas deben, como mínimo, llevar a cabo actividades de monitoreo que les permitan garantizar que no ponen en riesgo a las mujeres.

• Hay formas de salvar la escasez de recursos, tales como:
  • Incluir un presupuesto generoso para gastos de monitoreo y evaluación cuando se presentan propuestas a los donantes;
  • Utilizar los recursos inteligentemente eligiendo métodos factibles, confiables y que probablemente brinden información para mejorar el programa.
  • Recolectar sólo una cantidad de datos realista para analizar o usar.
  • Encontrar formas de compartir recursos y colaborar con otras organizaciones. En algunas ocasiones los estudiantes universitarios pueden ofrecer asistencia a cambio de experiencia de investigación.

(Bott y Guedes, International Planned Parenthood Federation, 2004)

Pasos para desarrollar marcos de monitoreo y evaluación

Los implementadores de programas (a menudo de diferentes sectores) deben colaborar entre sí para desarrollar el marco de monitoreo y evaluación (Directrices del ACNUR, 2003).

1.       Deben determinar los propósitos de los mecanismos de monitoreo y evaluación y las necesidades de información de cada actor.

2.       Asegurar que las intervenciones de prevención y respuesta definan claramente sus objetivos, productos e indicadores;

3.       Establecer herramientas de informes coordinados y compartidos;

4.       Determinar métodos para obtener información o indicadores;

5.       Asignar responsabilidades para la recolección de información, determinar el plazo y la frecuencia de la recolección de datos, y asignar recursos; y

6.       Establecer mecanismos para compartir información e incorporar resultados en la planificación de la prevención y respuesta.

i.          Marcos conceptuales

Los marcos conceptuales son diagramas que identifican e ilustran las relaciones entre las organizaciones, individuos y otros factores relevantes que pueden influir en un programa y en el logro de las metas y objetivos. Ayudan a determinar qué factores tendrán una influencia en el programa y establecen cómo cada uno de esos factores (subyacentes, culturales, económicos, socio-políticos, etc.) puede tener relación con los resultados y afectarlos. No constituyen las bases para las actividades de monitoreo y evaluación, pero pueden ayudar a explicar los resultados del programa.

Los principales aspectos y preguntas dentro de un marco conceptual son:

¿Cuál es la teoría del cambio que enmarca la intervención?

La teoría del cambio refleja el proceso subyacente y los caminos por los cuales se espera que ocurran los cambios esperados (en conocimientos, comportamientos, actitudes o prácticas, a nivel individual, institucional, comunitario u otros).

El modelo ecológico es un amplio marco conceptual que puede ser útil para entender las causas interrelacionadas de la violencia contra la mujer a nivel individual, de pareja, comunitario y social.  El modelo puede determinar los diferentes procesos y caminos que se deben considerar al planificar y diseñar programas o intervenciones para abordar el problema, y proporciona un entendimiento de cómo diferentes contextos, intervenciones y tipos de violencia pueden requerir diferentes métodos de evaluación.

Abajo se presenta un ejemplo de teoría del cambio, basada en el modelo ecológico, de un proyecto de movilización comunitaria para prevenir la violencia doméstica. Aunque  quizás no sea necesario dar muchos detalles al bosquejar las teorías del cambio, los marcos de monitoreo y evaluación siempre deben contener este tipo de análisis. Luego se pueden desarrollar actividades e indicadores específicos y apropiados para monitorear los momentos clave de cambio y evaluar el éxito de su logro.

Mobilising Communities to Prevent Domestic Violence: A Resource Guide for Organisations in East and Southern Africa, (Raising Voices, 2003)

Teoría del cambio: Prevenir la violencia doméstica en los hogares y comunidades requiere que cada persona identifique problemas de violencia doméstica, considere su importancia, evalúe su propio comportamiento, y luego comience a realizar cambios en su vida. El comportamiento es resultado de nuestras experiencias, actitudes, y creencias, y por lo tanto está profundamente vinculado al sistema de creencias que prevalece en la comunidad. Las actitudes y acciones de vecinos, amigos, colegas, líderes religiosos, policía, trabajadores de la salud, etc. tienen gran influencia sobre la selección de comportamiento de cada individuo y, en su conjunto, crean el clima de la comunidad. A pesar que cada persona es única y abordará el problema de la violencia doméstica en forma diferente, el proceso de cambio de cada persona a menudo sigue un patrón similar.

Cambio del comportamiento individual: Las Etapas de la Teoría del Cambio permiten comprender el proceso de cómo las personas pueden cambiar su comportamiento.

Etapa 1 Pre contemplación: La persona no tiene conciencia del problema y las  consecuencias que tiene en su vida.

Etapa 2 Contemplación: La persona comienza a preguntarse si el problema está relacionado con su vida.

Etapa 3 Preparación para la acción: La persona obtiene más información y desarrolla la intención de actuar.

Etapa 4 Acción: La persona comienza a ensayar diferentes maneras de pensar y comportarse.

Etapa 5 Mantenimiento: La persona reconoce los beneficios del cambio de comportamiento y lo mantiene.

Facilitar el cambio social: La Guía Práctica adapta esta teoría del cambio de comportamiento individual y la lleva a nivel de la comunidad. Propone que la comunidad también pase por el proceso de cambio antes que se adopte ningún sistema de valor en particular, y los proyectos que reconozcan este proceso y funcionen en armonía con él son más susceptibles de facilitar y soportar los cambios.

¿Cuál es el alcance de las intervenciones a las que podrían estar expuestas las personas?

• Primero; ¿Quiénes van a estar expuestos directamente a la intervención? Por ejemplo; ¿Quiénes van a recibir los servicios? ¿Quiénes van a recibir capacitación? ¿Quiénes van a recibir materiales? ¿Quiénes van a escuchar/ver/participar en la campaña?
• Segundo; ¿Quiénes podrán estar expuestos indirectamente a la intervención? Por ejemplo, ¿Quiénes podrían escuchar sobre la campaña aunque no pertenezcan al público a quien está dirigida? ¿Quiénes van a escuchar sobre servicios prestados en una comunidad vecina? ¿Quiénes probablemente estarán expuestos  a algunas ideas difundidas en la capacitación, aunque no participen en ella directamente?

¿Cuál es un plazo realista dentro del cual se puede esperar que ocurran cambios de comportamiento?

• Tenga en cuenta que mientras puede ser fácil que sucedan cambios en el conocimiento, los cambios de actitud y comportamiento, especialmente con normas a nivel de la comunidad, llevan un proceso mucho más largo.
• El personal del sector judicial que recibe capacitación en legislación para erradicar la violencia doméstica o en protocolos para tratar casos de violencia sexual, posiblemente pueda mejorar su conocimiento de la ley o del protocolo en una sesión. Sin embargo, no se puede esperar que las actitudes estigmatizantes que impiden su implementación cambien de un día para el otro.

¿Cómo se medirá este cambio?

• El marco conceptual debe identificar las medidas apropiadas para los tipos de cambios que se esperan.
• Siguiendo el ejemplo anterior, lo apropiado sería evaluar un cambio en el conocimiento y actitudes de los participantes del sector justicia haciendo una comparación antes y después de la capacitación. Sin embargo, para determinar que los cambios en conocimientos y actitudes con el tiempo se convirtieron en cambios de prácticas, un método diferente sería, por ejemplo, revisar los registros de los juzgados o entrevistar a las denunciantes sobre sus experiencias en cuanto a cómo fueron tratados sus casos.

Ejemplos adicionales de marcos conceptuales

El programa de investigación de acción rural sobre SIDA y desarrollo (RADAR), intervención con micro finanzas para el SIDA y la equidad de género (IMAGE) en Sudáfrica.

IMAGE busca influir sobre los factores que predisponen a las personas a contraer el VIH y a la violencia doméstica, interviniendo en el medioambiente en el que pueden ocurrir. Agenciamiento individual, bienestar en el hogar, comunicación y relaciones de poder, y las normas, redes, relaciones y respuestas de las comunidades, constituyen el medioambiente del marco IMAGE. El marco pretende conceptualizar la complejidad de factores y relaciones que constituyen el medioambiente en el cual ocurre el comportamiento sexual y la violencia por razón de género. El marco fue desarrollado para guiar los componentes de intervención y evaluación del programa IMAGE.

ii.         Marcos de resultados

Los marcos de resultados también llamados marcos estratégicos ilustran desde la relación directa entre los resultados intermedios de las actividades hasta los objetivos y metas totales. Muestran las relaciones causales entre los objetivos del programa, y delinean cómo cada uno de los resultados intermedios/ productos y resultados se relaciona con cada objetivo y facilita su logro, y cómo los objetivos se relacionan entre ellos y con el objetivo principal. Los marcos de resultados forman las bases para las actividades de monitoreo y evaluación a nivel de objetivo.

iii.        Marcos lógicos

Los marcos lógicos o modelos lógicos brindan una interpretación lineal, “lógica”, de las relaciones entre insumos, actividades, productos, resultados e impactos con respecto a los objetivo y metas. Muestran la relación causal entre insumos, actividades, productos, resultados e impacto vis-à-vis las metas y objetivos. Los marcos lógicos delinean los insumos específicos necesarios para llevar a cabo las actividades/procesos para producir productos específicos que traerán aparejados resultados e impactos. Los marcos lógicos forman las bases para las actividades de monitoreo y evaluación para todas las etapas del programa.

Los modelos lógicos son herramientas útiles para:

a.         Planificación y desarrollo de programas: la estructura del modelo lógico permite pensar bien la estrategia del programa—para ayudar a aclarar cuál es la situación  del programa y cuál debería ser.

b.         Gestión de programas: porque "une los puntos" entre recursos, actividades, y resultados, un modelo lógico puede ser la base para desarrollar un plan de gestión más detallado. Usando la recolección de datos y un plan de evaluación, el modelo lógico ayuda a seguir y monitorear el funcionamiento para administrar mejor los resultados. Puede servir de base para crear presupuestos y planes de trabajo.

c.         Comunicación. Un modelo lógico bien construido es una potente herramienta de comunicación. Ahora puede mostrar de un vistazo, a los interesados, qué está haciendo el programa (actividades) y qué está logrando (resultados), poniendo énfasis en el vínculo entre los dos.

Los marcos lógicos se presentan como diagramas conectando los insumos del programa con los procesos, productos, resultados e impacto, mientras se relacionan con un problema específico o situación.  Los modelos lógicos muestran qué recursos necesitará el programa para lograr sus metas; qué hará el programa; y qué espera lograr, poniendo énfasis en la vinculación entre estos aspectos.

Una serie de relaciones “si-entonces” conecta los componentes de un modelo lógico: si se dispone de recursos para el programa, entonces las actividades del programa se pueden implementar; si las actividades del programa se implementan con éxito, entonces se pueden esperar ciertos productos y resultados.

El marco lógico no trata de dar cuenta de todos los factores que pueden influir en el funcionamiento y los resultados de un programa como lo hace un marco conceptual. En lugar de ello, el marco lógico se concentra en los insumos, actividades y resultados del programa. Este enfoque estrecho ayuda a los administradores del programa, y a los planificadores del monitoreo y evaluación, a clarificar las relaciones directas entre elementos de particular interés dentro de un programa específico.

(Adaptado del curso MEASURE Evaluation M&E; la iniciativa PATH M&E; y el curso  Addis Continental sobre M&E)

Ejemplo de marco lógico para un programa de capacitación para los

trabajadores de la salud

Este marco lógico presenta una visión concreta de un proyecto diseñado a mejorar el conocimiento, las actitudes y las prácticas de los prestadores de servicios de salud, y ayuda a aumentar su conciencia sobre el hecho que la violencia contra la mujer es un problema de salud pública y una violación de los derechos humanos.

Ejemplo de marco lógico para comprender el impacto de las actividades de comunicación, promoción y capacitación sobre la violencia contra las mujeres y el VIH (PATH, 2007)