¿Cuáles son los pasos prácticos para planificar una evaluación que sea adecuada para el programa y la organización?

Impulsar la participación de los interesados. Los interesados incluyen a las personas que tienen un interés legítimo en el programa de prevención, entre ellos el personal, los organismos de financiación, los miembros de la junta directiva, los encargados de la formulación de políticas, los miembros de la comunidad, las organizaciones asociadas, los guardianes de las diferentes fuentes de información o los beneficiarios o participantes. Los interesados pueden asistir en el establecimiento de prioridades sobre las preguntas que se realizarán, la elaboración de un modelo lógico, la selección de los métodos que se utilizarán y la información que se recabará, la interpretación de los resultados y la garantía de que la evaluación tenga en cuenta las cuestiones culturales y sea aceptada por la comunidad (Valle y otros, 2007).

Describir el programa. Ponerse de acuerdo sobre una descripción clara del programa contribuirá a determinar las preguntas y las actividades apropiadas para la evaluación. Mediante la elaboración de un modelo lógico, pueden determinarse los elementos fundamentales del programa y las actividades de evaluación. (Para una descripción clara de cómo elaborar un modelo lógico, consulte Valle y otros, 2007.)

Centrarse en el diseño de la evaluación. Al elaborar el diseño de la evaluación deben tenerse en cuenta los siguientes elementos (CDC, 1999):

• Finalidad: ¿Para qué se realiza esta evaluación? ¿Para formarse una idea de cómo diseñar un programa? ¿Para mejorar las prácticas o los servicios?
• Beneficiarios: ¿A quién está dirigida o a quién beneficiará la evaluación?
• Usos: ¿Cómo se utilizarán los resultados de la evaluación?
• Preguntas: ¿Cuáles son las preguntas más importantes que debe responder la evaluación?
• Métodos: ¿Cuáles son los métodos para proporcionar información a fin de responder a las preguntas?
• Otros elementos: ¿Cómo se ejecutará el plan de evaluación con los recursos disponibles? ¿Qué medidas de protección existen para que se cumplan todas las normas éticas y se presenten todas las inquietudes éticas?

Reunir datos confiables. A partir de los datos de referencia y el plan de evaluación elaborado durante la etapa de diseño del programa, debe determinarse qué datos se reunirán, quiénes los suministrarán, cuándo se realizarán las actividades de evaluación, dónde se recopilarán los datos y qué métodos de recopilación de datos se utilizarán.

Analizar los resultados. Determinar con antelación de qué modo se analizarán los resultados permitirá garantizar que el plan de recaudación de datos proporcione la información necesaria y, además, contribuya a establecer qué conocimientos técnicos y recursos se requieren para analizar los datos.

Garantizar el uso y compartir la experiencia adquirida. Debe establecerse un plan para determinar quiénes son los destinatarios de la información (por ejemplo, responsables de la formulación de políticas públicas, organizaciones), cómo se informarán los resultados y qué formatos de presentación de informes serán los más apropiados para los diferentes destinatarios (por ejemplo, la televisión, la radio, Internet, los medios gráficos, testimonios).

¿Qué factores deben determinar la elección del tipo de evaluación?

El tipo de evaluación que se necesitará dependerá de diversos factores, entre ellos:

• El período que abarca el programa;
• La duración de la intervención del proyecto (resultados razonables previstos);
• Las metas de la evaluación;
• Los recursos humanos y financieros disponibles;
• El tiempo disponible para la evaluación;
• La existencia o inexistencia de datos de referencia.

¿Qué grado de evaluación se requiere?*

• Si los recursos son limitados:

  • Cierta investigación formativa;

  • Indicadores de proceso;

  • Grupos de debate sólo después de la intervención.

• Si los recursos disponibles para la evaluación son módicos:

  • Investigación formativa;

  • Indicadores de proceso;

  • Reunión simple de datos cuantitativos antes y después de la intervención sin grupo de control.

• Si los recursos son vastos:

  • Investigación formativa exhaustiva;

  • Reunión de datos de varias fuentes, incluido un grupo de control (o un grupo de intervención tardía);

  • Triangulación con parejas/mujeres;

  • Recopilación de datos cuantitativos y cualitativos durante todo el proceso.

*Esta información se adaptó de la presentación de Gary Barker “Cómo evaluar el trabajo con niños y hombres”. Para la presentación completa, vea el ppt de Gary Barker.

¿Cuáles son las opciones disponibles para los diseños de evaluación de resultados?

Fuente: Valle y otros, 2007

Realice pruebas en el campo y evalúe nuevos recursos e intervenciones

Es indispensable supervisar y evaluar cada uno de los nuevos recursos o intervenciones. Aun cuando las intervenciones hayan sido satisfactorias en otros entornos, esto no garantiza su éxito en un nuevo país, región o idioma.

Realice pruebas anteriores a la utilización de los materiales nuevos o adaptados

Este tipo de pruebas aumenta la probabilidad de que los mensajes propuestos se reciban conforme a lo previsto en el programa. Los destinatarios deben estar en condiciones de comprender los materiales de prevención y de responder a ellos de manera positiva. Los siguientes enfoques pueden utilizarse en las pruebas anteriores a la utilización:

• Estudios de prueba. Este método permite que en el programa se pongan a prueba secciones del enfoque propuesto o el enfoque completo en una escala menor con un grupo similar al que se aplicará el enfoque. De esta forma, se determina si la estrategia de prevención seleccionada transmite el mensaje previsto y se evalúa si algún aspecto del programa resulta ofensivo, perjudicial o ineficaz (Valle y otros, 2007).

• Pruebas de inteligibilidad. Las revisiones y los aportes de personas de características similares a los destinatarios del programa permitirán que los materiales elaborados para el programa resulten comprensibles y puedan utilizarse con personas de diferentes niveles de educación. Diversos programas de procesamiento de texto, como WordPerfect o MicrosoftWord, proporcionan “cálculos aproximados de inteligibilidad” o de edad o grado escolar para los que deben estar concebidos los materiales. El índice de Gunning es otro instrumento que cumple la misma función (Valle y otros, 2007). Para más información sobre dicho índice y cómo calcularlo, consulte el sitio web.

Seleccione resultados realistas al planificar la evaluación

Si bien los programas de prevención de la violencia procuran, en definitiva, el logro de cambios de comportamiento asociados con la violencia, a menudo se requiere mucho tiempo para lograr tales cambios, y es preciso que los programas recopilen datos sobre los resultados durante un período prolongado. Por lo tanto, algunos resultados más realistas de muchos programas de prevención podrían consistir en modificar los factores cercanos que propician la violencia con la meta final de prevenir los comportamientos violentos.

¿Cuáles son algunos de los resultados cercanos que podrían utilizarse en lugar de buscar cambios de comportamiento a largo plazo?

A nivel individual, en el marco ecológico podría incluirse la documentación de los cambios de conocimientos, actitudes, aptitudes e intenciones de comportamiento. Sin embargo, cabe recordar que la relación entre estos resultados y los comportamientos reales varía (Valle y otros, 2007).

• Los conocimientos se refieren al grado de comprensión de las personas o a sus conocimientos objetivos sobre un concepto. Si bien constituye una medida importante, cabe señalar que el solo hecho de cambiar los conocimientos sobre la violencia contra la mujer o los comportamientos apropiados probablemente no prevendrá la violencia, de la misma manera que cambiar los conocimientos sobre las consecuencias negativas del cigarrillo no modifica necesariamente el comportamiento relacionado con el hábito de fumar (Valle y otros, 2007).
• Las actitudes hacen referencia a cómo piensan, sienten o creen las personas de manera subjetiva, por ejemplo, si los hombres creen que la violencia es aceptable. Aunque las actitudes aparentemente están relacionadas con el comportamiento, no queda claro si los cambios de actitud conducen a cambios de comportamiento (Valle y otros, 2007).

• Las aptitudes se refieren a la capacidad de las personas para comportarse o actuar de una manera determinada. La enseñanza de aptitudes puede aumentar la probabilidad de que las personas se comporten de una manera determinada, pero no garantiza que realmente lo hagan (Valle y otros, 2007).

• Las intenciones de comportamiento hacen referencia a la evaluación subjetiva de una persona sobre si se comportará de una manera establecida en una situación futura determinada; por ejemplo, las estrategias de prevención que alientan a los observadores a intervenir a fin de prevenir la violencia contra la mujer o desalientan las conversaciones que menosprecian a las mujeres (Valle y otros, 2007).

Tenga en cuenta que la evaluación de programas de prevención de una sesión o de anuncios mediáticos unitarios puede resultar infructuosa

Si bien estos enfoques concisos pueden ser un complemento importante en los programas amplios, es improbable que generen una prevención duradera sobre la violencia sexual y de pareja por sí solas (a menos que formen parte de una labor multidimensional). Además, su evaluación puede resultar compleja, debido a que las personas reciben innumerables mensajes todos los días y un único mensaje probablemente tendrá un impacto mínimo (Valle y otros, 2007).

Reconozca tanto la complejidad como la importancia de evaluar los cambios de comportamiento

La evaluación de programas en el ámbito de la prevención de la violencia contra la mujer presenta dificultades por diversos motivos, entre ellos:

• La prevención de la violencia requiere estrategias y sectores múltiples, lo que dificulta la asignación de resultados a una única intervención;
• La definición y la medición de los niveles de violencia contra la mujer resultan una empresa difícil desde una perspectiva metodológica;
• El cambio de normas puede requerir inversiones a largo plazo;
• Algunos cambios pueden traer aparejados resultados contrarios a los esperados; por ejemplo, es posible que una intervención dé origen a una mayor cantidad de informes sobre violencia y, en consecuencia, a un mayor nivel de violencia medida conforme a la cantidad de casos denunciados.

Tenga en cuenta que las evaluaciones cualitativas no son necesariamente menos complejas o costosas

Si bien la recopilación de datos cualitativos con fines de evaluación puede parecer una opción menos costosa que una encuesta basada en la comunidad, cabe señalar que la reunión y el análisis de datos cualitativos (por ejemplo, la información recabada en los grupos de debate) resultan complejos y requieren evaluadores con experiencia y aptitudes profesionales específicas. Por lo tanto, no es una opción necesariamente más sencilla o menos costosa. Algunas organizaciones cuentan con la competencia técnica para reunir datos cuantitativos, y no datos cualitativos (y viceversa). Por ejemplo, el método de evaluación menos costoso o complejo para las intervenciones con la modalidad de talleres son los cuestionarios de pruebas anteriores y posteriores a las intervenciones destinadas a hombres y niños que participan en ellas, aunque esta técnica tiene limitaciones, como la imposibilidad de evaluar si los cambios se mantienen con el tiempo o la posibilidad de que el “éxito" del programa se deba, en realidad, a la concienciación fomentada antes de las pruebas y a la comprensión de cómo responder las preguntas correctamente.

Documente el “cómo” y el “cómo no”

En la mayoría de los programas se suelen documentar los cambios logrados, pero no el proceso mediante el cual se alcanzaron. Es preciso examinar en profundidad el proceso de “cómo" un programa logró cambiar actitudes y comportamientos. Por otro lado, podría ser muy beneficioso para todos los que trabajan en el tema aprender de las experiencias tanto “satisfactorias" como “insatisfactorias", aunque pocos están dispuestos a documentar estas últimas.

Ejemplos de iniciativas destinadas a hombres y niños que incorporaron evaluaciones sólidas en sus programas

Recursos útiles para el seguimiento y la evaluación de programas destinados a hombres y niños

Cómo evaluar el trabajo con niños y hombres (Instituto Promundo). Esta presentación en PowerPoint elaborada por Gary Barker proporciona una reseña general de “por qué” y “cómo” evaluar las iniciativas transformadoras en materia de género destinadas a hombres y niños (pulse aquí).

Cómo medir el impacto de las intervenciones centradas en el género (Julie Pulerwitz). En esta presentación en PowerPoint se examina la elaboración de escalas para medir la dinámica relacionada con el género y se describe su aplicación para evaluar el impacto de tres iniciativas diferentes: Paso a Paso, Programa H y Sexto Sentido. Disponible en inglés. Vea el ppt.

La Escala de Equidad de Género para Hombres (Instituto Promundo, Consejo de Población). La Escala de Equidad de Género para Hombres se emplea para evaluar los cambios de actitud, dado que resulta un paso importante hacia el logro (y posteriormente la medición) del cambio de comportamiento. La Escala, que ha demostrado su validez desde una perspectiva psicométrica, se ha utilizado como un recurso de evaluación en intervenciones con hombres en un elevado número de países, como el Brasil, Etiopía e India. El propósito de la Escala es evaluar el grado de adhesión de un determinado grupo de adultos o varones jóvenes a una versión rígida, no equitativa y violenta de la masculinidad y la creencia en ella. La manera en que responden los hombres a la Escala se asocia en gran medida con los casos de violencia contra la mujer reconocidos por los hombres. Por ejemplo, en el Brasil, la probabilidad de que los hombres jóvenes clasificados en el tercio menos equitativo de la población hayan reconocido el uso de violencia contra una pareja era cuatro veces mayor que la de los hombres cuya clasificación los ubicaba en un nivel más equitativo (Pulerwitz y otros, 2006).  Vea la encuesta en Inglés, español y portugués.  Puede consultar un resumen conciso de la Escala en inglés.

Arizona Rape Prevention and Education Project (Proyecto de educación y prevención de la violación de Arizona) (Universidad de Arizona, Estados Unidos). La página web de medidas de evaluación ofrece referencias e información sobre las medidas utilizadas para estudiar comportamientos y actitudes relacionadas con la violación que también se emplean para evaluar programas de educación y prevención de la violación. Para más información (en inglés), consulte el sitio web.

Sexual and Intimate Partner Violence Prevention Programmes Evaluation Guide (Guía de evaluación de los programas de prevención de la violencia sexual y de pareja) (Centros para el Control y la Prevención de Enfermedades (CDC), Estados Unidos) elaborada por Valle y otros, 2007. Esta publicación contiene una sinopsis de la importancia de la evaluación y proporciona métodos y estrategias de evaluación que pueden aplicarse a los programas sobre la violencia sexual y la violencia de pareja. En los distintos capítulos se brindan pautas prácticas para la planificación y realización de evaluaciones; información sobre cómo relacionar metas, objetivos, actividades, resultados y estrategias de evaluación de los programas; fuentes y técnicas para la recopilación de datos; y consejos útiles para el análisis y la interpretación de los datos recopilados y la divulgación de los resultados. En la guía se analizan las evaluaciones económica, formativa, de procesos y de resultados. Pueden solicitarse copias en formato impreso de estas publicaciones están disponible en inglés.

Measuring Violence-Related Attitudes, Behaviours, and Influences Among Youths: A Compendium of Assessment Tools (Medición de la actitudes, comportamientos e influencias relativas a la violencia entre los jóvenes: recopilación de instrumentos de evaluación) (2ª edición), CDC (Estados Unidos). Esta recopilación ofrece a los investigadores y a los especialistas en prevención un conjunto de instrumentos para determinar las creencias, conductas e influencias relativas a la violencia y evaluar los programas de prevención de la violencia juvenil. Puede ser especialmente útil para los que acaban de iniciarse en este ámbito, en tanto que para quienes tienen más experiencia puede servir como recurso para obtener mediciones complementarias para evaluar los factores asociados con la violencia entre los jóvenes. Puede descargarse en inglés.

Measuring Intimate Partner Violence Victimization and Perpetration: A Compendium of Assessment Tools (Cómo medir la victimización y el maltrato en la violencia de pareja) elaborada por CDC (Estados Unidos). Esta publicación proporciona a los investigadores y a los especialistas en prevención una recopilación de los recursos concebidos para medir la victimización y el la violencia en la pareja. Incluye más de 20 escalas. Puede descargarse en inglés.

Violence against Women and Girls: a Compendium of Monitoring and Evaluation Indicators (La violencia contra las mujeres y niñas: un compendio de indicadores de monitoreo y evaluación) (MEASURE Evaluation, USAID), de Shelah Bloom (2008). Esta publicación proporciona diversos indicadores para supervisar y evaluar los programas sobre la violencia contra la mujer. En la sección 7.3 que comienza en la página 228, se detallan distintos indicadores utilizados para supervisar y evaluar los programas destinados a niños y hombres. Está disponible en inglés.

Measures for the assessment of dimensions of violence against women. A compendium (Recopilación de medidas para la evaluación de las dimensiones de la violencia contra la mujer), Flood, M., 2008, inédito, Melbourne: Australian Research Centre in Sex, Health & Society, La Trobe University. Se trata de una recopilación de las medidas adoptadas para evaluar las dimensiones de la violencia contra la mujer. También incluye medidas sobre las normas sexuales y de género, aunque no abarca las medidas sobre maltrato, abuso o acoso sexual infantil. Puede consultarse en inglés.

Putting Women First: Ethical and Safety Recommendations for Research on Domestic Violence Against Women (La mujer primero: recomendaciones de ética y seguridad para la investigación sobre la violencia doméstica contra la mujer) (OMS). Estas recomendaciones provienen de los debates entablados sobre las recomendaciones elaboradas para el Estudio multipaís de la OMS sobre salud de la mujer y violencia doméstica contra la mujer. Se centran especialmente en las consideraciones relativas a la ética y la seguridad asociadas con la realización de encuestas de población sobre la violencia doméstica contra la mujer. Sin embargo, muchos de los principios establecidos se aplican también a otras modalidades de investigación cuantitativa y cualitativa sobre esta cuestión. Está disponible en inglés, francés y español.

WHO Ethical and Safety Recommendations for Researching, Documenting and Monitoring Sexual Violence in Emergencies (Recomendaciones de ética y seguridad de la OMS para la investigación, la documentación y el monitoreo de la violencia sexual en situaciones de emergencia) (2007). Este documento se aplica a todas las modalidades de investigación sobre la violencia sexual en situaciones de emergencia. En total, se formulan ocho recomendaciones (consulte la parte III). En conjunto, estas recomendaciones tienen por objeto velar por que se adopten las salvaguardias de ética y de seguridad necesarias antes del comienzo de toda actividad de recopilación de información relativa a la violencia sexual en situaciones de emergencia. A continuación de cada recomendación, se describen las cuestiones clave de ética y seguridad que deben abordarse y las preguntas que deben formularse antes de planificar cualquier actividad de recopilación de información relacionada con la violencia sexual. Estas recomendaciones también deben servir de base al decidir si debe emprenderse una actividad de esta naturaleza. En los casos en que fue posible, la explicación se respaldó con ejemplos de buenas prácticas extraídas de experiencias en el campo tanto en situaciones de emergencia como en otras. Para más información sobre diversos temas, se remite a los usuarios a una lista de otros recursos y lecturas complementarias sugeridas que se adjunta como anexo a este documento. Está disponible en inglés y francés.