Al ir un paso por delante de las actividades de seguimiento y evaluación de los programas rutinarios, las evaluaciones de impacto miden hasta qué punto es responsable una intervención o programa del cambio en una población objetivo. A este respecto, la principal pregunta de evaluación del impacto es: «¿Hasta qué punto son el programa o la intervención responsable del cambio?». Para medir el impacto del programa, se suele realizar una evaluación o balance al principio del programa como punto de referencia y luego otra vez al finalizar el programa como punto final de referencia. Es necesario para atribuirle los cambios al programa y así descartar las demás explicaciones posibles. Por tanto, también es importante tomar medidas del punto de referencia y del punto final al comparar grupos de personas que no reciben la intervención o el programa para, de ese modo, poder atribuirle la diferencia entre los dos grupos a la intervención o el programa. Los grupos de comparación suelen tener características similares al grupo de intervención, pero sin la intervención o el programa.
Es importante establecer la causalidad entre el programa y el cambio, pero puede ser difícil medirla porque el cambio también puede suceder en ausencia del programa. Para determinar la causalidad, se deben tener en cuenta todos los factores externos y confusos que puedan explicar los resultados (a menudo por medio de individuos o comunidades asignados aleatoriamente que recibirán o no la intervención). Esta actividad requiere un conocimiento extenso sobre análisis de muestras y estadístico. Por ejemplo, si el diseño del estudio no integra un grupo de comparación asignado aleatoriamente (también denominado grupo de control), la diferencia de resultados entre el grupo de control y el que recibe la intervención o el programa se convierte en un ejercicio analítico más que en una medida directa. Aunque la evaluación de impacto representa el patrón por excelencia para evaluar el cambio provocado por una intervención o programa, hay que tener muy en cuenta las limitaciones del mundo real como tiempo, recursos y presupuesto, ya que dichas limitaciones suelen estar más agravadas en contextos de conflicto y posconflicto. En situaciones así, una evaluación de impacto no siempre es el diseño de evaluación más apropiado.
Al aplicar una evaluación del impacto de la VCMN en estos contextos, es importante considerar de nuevo las implicaciones éticas de este trabajo. La forma de evaluación más rigurosa (un ensayo de control aleatorizado o ECA) solo es apropiada si nos parece que está justificado negarles la intervención a algunos grupos. Por tanto, en muchos programas centrales de respuesta ante la VCMN estos enfoques no son apropiados. Las evaluaciones se suelen centrar en la calidad de los servicios de respuesta prestados y en el seguimiento de individuos que reciben los servicios sin un grupo correspondiente de control o comparación. En los programas de prevención de VCMN, puede ser apropiado un diseño de evaluación más riguroso —especialmente en crisis prolongadas o contextos de posconflicto en el que la población subyacente es más estable.
|
Cuadro 3: Ejemplo de una evaluación del impacto de la VCMN
Aunque no se realizó en una comunidad afectada por conflictos, el ensayo controlado aleatorizado grupal del programa SASA! en Kampala presenta varias lecciones relevantes para las evaluaciones en contextos con refugiados o afectados por conflictos. La elección de un ensayo aleatorizado, pese a ser el diseño de evaluación más riguroso, tiene un impacto considerable sobre los profesionales y sobre la forma en que se podría diseñar y aplicar el programa en dicho contexto. Una preocupación concreta del organismo ejecutivo CEDOVIP al usar este enfoque consistía en cómo equilibrar el poder del enfoque de movilización de la comunidad de SASA! con el potencial de contaminación.
En términos de investigación, la contaminación se produce cuando los miembros del grupo de control (que no deben recibir la evaluación) se ven expuestos de alguna forma a la intervención y comienzan a cambiar junto con el grupo de intervención. En un enfoque como el SASA! esto implicaba una auténtica preocupación, ya que el enfoque del programa confiaba en que los miembros de la comunidad hablasen entre sí y difundieran los mensajes para conseguir un cambio de comportamiento.
En la evaluación SASA! se ha realizado un esfuerzo considerable por minimizar el potencial de contaminación. Se establecieron zonas de contención entre las comunidades intervenidas y las controladas, se vigiló de cerca a los activistas de las comunidades para garantizar que solo trabajasen en las comunidades de intervención, etc. Al final, se minimizó la contaminación y los investigadores encontraron una reducción notable de los comportamientos negativos en las comunidades intervenidas en comparación con las controladas.
Consulte más información sobre el estudio: |