Evaluación

Por lo general, un programa efectivo de evaluación hará mucho más que simplemente cumplir con los requisitos de la subvención. La evaluación debe aclarar el proceso de implementación del programa así como el impacto que el programa tuvo en los participantes y beneficiarios. La evaluación puede:

Respaldar las mejoras del programa de modo de incrementar los resultados para mujeres y niñas
Documentar el conocimiento del programa para la difusión y aplicación en otros contextos. ¿Cómo pueden los demás aprender de las experiencias del programa y aplicar los modelos a los problemas locales?
Respaldar la rendición de cuentas. ¿Los recursos fueron invertidos en la forma planificada y contribuyeron a lograr las metas del programa? ¿Por qué sí o por qué no?
Suministrar información sobre los resultados para los donantes y otros

El Manual de Planificación, Seguimiento y Evaluación de los Resultados de Desarrollo del Programa de las Naciones Unidas para el Desarrollo incluye una descripción detallada sobre las consideraciones generales al crear una metodología de evaluación.

La evaluación se basa en los datos reunidos durante el proceso de seguimiento y recopilará datos finales relacionados con muchos de los mismos indicadores. Según se describió anteriormente, la evaluación puede comparar la situación “con y sin” actividad en diferentes lugares o “antes y después” de realizar las mediciones en un mismo lugar. Es fundamental dialogar sobre la planificación de la evaluación con expertos de otras organizaciones, de universidades o con grupos donantes de asistencia técnica en las etapas de planificación del programa de modo que la evaluación pueda ser integrada de forma homogénea dentro de las actividades del programa (OCDE/Banco Mundial, 2004).

Los métodos de recopilación de datos en las evaluaciones son variados y pueden incluir muchos de los modelos analizados en la sección de planificación del programa y diseño:

Hay una reseña de las ventajas y desventajas de cada uno de estos métodos para una evaluación sensible al género disponible en ONU Mujeres.

Kenya – Evaluación de las capacitaciones sobre la Ley de Delitos Sexuales

La Asociación de Juezas de Kenya (KWJA) realizó una evaluación de sus capacitaciones locales para partes interesadas, conocidas como Usuarios del Tribunal, sobre la Ley de Delitos Sexuales y la Ley del Niño. La evaluación utilizó un modelo post-hoc relativamente simple. Se reunió a participantes de las capacitaciones de seis distritos en un taller para intercambiar ideas sobre si la capacitación fue de ayuda o no en su trabajo en el terreno. El taller de evaluación consistió de una encuesta realizada a los participantes así como discusiones grupales sobre cómo las capacitaciones habían impactado en la práctica. No obstante, la evaluación proporcionó información valiosa a KWJA sobre su trabajo. La encuesta de evaluación realizada a los participantes de las capacitaciones incluía las siguientes preguntas:

Nombre:

Por favor indique si usted es participante, observador u otra parte.
Si es participante, por favor indique su ocupación. Por ejemplo, juez, abogado, profesional médico, fiscal, investigador, oficial de policía, jefe, funcionario de género, oficial de libertad condicional, oficial de niños.
Por favor indique su lugar de operación, departamento y rango.
¿Cómo fue reclutado usted para asistir a la capacitación como participante/observador/otro?
Antes de asistir a este taller, ¿usted tenía conocimiento de la Ley de Delitos Sexuales (de aquí en adelante referida como la Ley)?

- Tenía mucho conocimiento de la misma

- Había oído sobre ella

- Nunca había oído sobre ella

6. ¿Leyó usted la Ley antes de asistir a las reuniones del Comité de Usuarios del Tribunal?

- Sí

- Parcialmente

- No

7. ¿Cómo ha aumentado este conocimiento su comprensión de la Ley?

8. ¿Cuál es la frecuencia de la Violencia Sexual de Género en su área de operación?

9. ¿Cuántas denuncias de casos/incidentes ha recibido usted y cuál ha sido el resultado?

10. ¿Qué desafíos, si los hubo, enfrentó usted en su área de operación y cómo ayuda la capacitación para superar esos desafíos? Por favor explique.

11. ¿Cuán útil ha sido la capacitación para ayudarlo a superar los desafíos enfrentados?

- Extremadamente útil

- Útil

- No muy útil

- Nada útil

12. Por favor explique la(s) razone(s) para su respuesta a la pregunta anterior.

13. ¿En qué medida su conocimiento sobre la Ley de Delitos Sexuales y la violencia sexual de género ha mejorado y aumentado como resultado de la capacitación?

14. ¿En qué medida la capacitación ha ayudado a mejorar su apreciación y comprensión de su trabajo en conjunto sobre la Ley de Delitos Sexuales y Violencia Sexual de Género?

15. ¿Cómo ha mejorado la capacitación su idoneidad y habilidades para la gestión de casos de violencia sexual de género?

16. ¿El Comité de Usuarios de Tribunal ha incrementado la coordinación de las partes interesadas en la gestión de casos de violencia sexual de género?

17. ¿Piensa usted que el Comité de Usuarios del Tribunal es una buena herramienta para el manejo de los casos de violencia sexual de género?

- Sí

- No

18. Por favor explique sus(s) motivo(s) para la pregunta anterior.

19. ¿Cuáles fueron los resultados positivos, si los hubo, de la aplicación del conocimiento, idoneidad y habilidades adquiridas durante la capacitación sobre la Ley de Delitos Sexuales y Violencia Sexual de Género? Por favor explique.

20. Si usted ha manejado un caso ya sea como juez, abogado, profesional médico, fiscal, investigador, oficial de policía, jefe, funcionario de género, oficial de libertad condicional, oficial de niños y niñas, ¿lo compartiría con la KWJ?

- Si responde afirmativamente, envíelo a la siguiente dirección:

- Si responde negativamente, indique los motivos

21. ¿Encontró que los siguientes factores fueron adecuados?

- Facilitadores a) Sí b) No

- Lugar a) Sí b) No

- Interacciones a) Sí b) No

- Materiales utilizados a) Sí b) No

- El enfoque de la capacitación a) Sí b) No

22. Si respondió de forma negativa, por favor indique su(s) motivo(s) a continuación.

23. Agradeceríamos sus comentarios sobre cómo se pueden mejorar estos programas en el futuro.

24. Antes de estas capacitaciones, ¿había oído usted alguna vez sobre la Asociación de Juezas de Kenya?

- Sí

- No

25. Comentarios adicionales.

Luego el equipo de evaluación compiló los datos de estas preguntas en gráficas. Usted puede analizar los hallazgos de la evaluación de la KWJA en el Informe de evaluación del grupo. [sent with draft for upload]. Los diálogos de retroalimentación también aportaron conocimiento importante sobre lo que los participantes valoraron de las capacitaciones y cómo estaban usando la información. La tabla a continuación ofrece información sobre los diálogos en cada una de las áreas donde se impartieron las capacitaciones:

Lugar	Retroalimentación
Molo	Hubo coordinación, establecimiento de relaciones e interacción con otras partes interesadas También mejoró la recolección y conservación de las pruebas, mejor conocimiento de la Ley de Delitos Sexuales y casos de Violencia Sexual de Género
Maralal	Han comprendido los desafíos de otros usuarios del tribunal Mejora en las tácticas para la resolución de casos Mejores habilidades para procurar información de aquellas personas afectadas y mejor orientación para las cónyuges y niñas sobre sus derechos Responden mejor a esos casos porque cuentan con las normas legales.
Naivasha	Ahora han introducido Ventanillas de Género y han capacitado a funcionarios para que las atiendan Han tratado los delitos sexuales de forma separada e inmediata. Las víctimas presentan pruebas el día de la acusación Los niños son ubicados en celdas diferentes de los adultos Los jefes y los administradores son más eficientes La policía está mejor informada. La prueba se conserva mejor Pueden asesorar a las víctimas y llevarlas a albergues Hay mejores investigaciones
Narok	Más concientización desde los niveles básicos y mejores destrezas Se denuncian más casos y hay menos encubrimientos Mayor colaboración entre partes interesadas Mayor concientización sobre los derechos de las víctimas Mejores destrezas para la recolección y conservación de pruebas, por ejemplo, ADN Mayor concientización sobre la gravedad del castigo, por lo tanto, es un factor disuasivo Imposición de términos de fianza estrictos y mejora del flujo de información entre los actores Prioridad del juicio a efectos de conservar la prueba y desalentar las transacciones extrajudiciales
Nakuru	Mejor posicionados para asesorar a los madres, padres y víctimas sobre la conservación de las pruebas Concientización en la gestión de casos en cuanto a los canales a seguir y los requisitos legales pertinentes en esos delitos
Nyahururu	Conciencia de las necesidades especiales de las víctimas Mayor conocimiento sobre cómo manejar la prueba forense de los delitos sexuales Intercambio de experiencia y mejor conocimiento de la ley Establecimiento de relaciones con otras partes interesadas Identificación de vacíos en los casos Se imparte conocimiento al abordar a las víctimas Mejor supervisión de la persona/sospechoso bajo fianza Información equilibrada a los medios para no perjudicar al caso antes de su conclusión Comandantes con capacitación adecuada para entrenar a sus subalternos para investigar mejor y procesar los casos de violencia sexual de género

Fuente: Entrevista con el Personal de KWJA, Nairobi, marzo de 2011; Kenya Women Judges Association. 2010. Informe sobre evaluación de capacitación sobre la Ley de Delitos Sexuales, Violencia Sexual de Género y Ley de la Infancia de diciembre 2010.

Al elegir los métodos de evaluación, se debe tener en cuenta lo siguiente:

Elija métodos apropiados y aplicables: Elija herramientas de recolección de datos en base a su idoneidad para los diferentes tipos de iniciativas. Las metodologías más efectivas son aquellas que son flexibles y adaptables, fáciles de administrar, diseñadas para obtener resultados significativos y son adecuadas y aplicables al uso para el que están destinadas y para los usuarios de la evaluación.
Elija métodos que son participativos. Las metodologías participativas son aquellas que permiten presentar datos e información a todos los usuarios/partes interesadas definidos. Cuando decida qué métodos utilizar piense en los participantes a los que están destinados y su contexto. Por ejemplo, aunque las encuestas en línea son económicas y eficientes en cuanto a los tiempos, constituyen un método inadecuado si los participantes a los que están destinadas no tienen acceso habitual a internet. Asegúrese de que las herramientas utilizadas sean accesibles para una amplia gama de participantes.
Asegure la recolección de datos desagregados: Esto es básico para cualquier evaluación de género/derechos humanos. Todos los datos reunidos deben identificar el sexo del participante y otros datos básicos sobre los participantes que puedan resultar pertinentes para la evaluación, incluyendo: edad, grupo étnico, nacionalidad, estado civil, ocupación.
Comprenda las restricciones y desafíos de los informantes: Las evaluaciones deben procurar exteriorizar las experiencias y aportes de las participantes/partes interesadas y aquellas personas de otras poblaciones marginadas. Asegúrese de que los métodos elegidos no impongan barreras ocultas que hacen que la participación de esos grupos sea más difícil. Por ejemplo, la elección del lugar, el momento y el lenguaje utilizado por el evaluador puede tener relación con la capacidad de participación de ciertos participantes en particular. Algunos grupos quizás no puedan expresarse libremente debido a la presión social o no tengan permitido hablar o ser representados en reuniones públicas o consultas a la comunidad. Las mujeres pueden disponer de menos tiempo debido a sus responsabilidades domésticas y reproductivas.
Indague sobre los roles de género: Los instrumentos usados deben abordar los temas de género de la iniciativa o proyecto, y deben investigar cuestiones de género más amplias. Por ejemplo, al evaluar el impacto de una iniciativa de capacitación de ICT, no solo es importante observar lo que han aprendido los participantes del programa de capacitación sino que también cómo han aplicado su conocimiento en su trabajo u organización. A efectos de evaluar esto, es esencial investigar los roles de género dentro de las organizaciones de los participantes de la capacitación y ver cómo pueden (o no) poner en práctica las habilidades recién adquiridas.
Sea sensible al contexto y la cultura: La dinámica de grupo, temática, género clase, casta, edad, raza, idioma, cultura, temas rurales/urbanos, etc. tienen una gran influencia sobre la eficacia con la que se ha reunido la información y cuán inclusiva es la misma. Las evaluaciones deben ser realizadas de forma que se tenga en cuenta el contexto cultural para que exista un conocimiento pleno de las consecuencias en los derechos humanos e igualdad de género. Las culturas pueden ser vistas como los entornos contextuales para la implementación de las políticas de derechos humanos. Sin embargo, una perspectiva de derechos humanos afirma que los derechos de las mujeres y las niñas a vivir libres de discriminación y a los estándares más altos de vida son universales. No se pueden interponer argumentos culturales para justificar su violación.
Enfatice los métodos mixtos: Use métodos múltiples para poner a prueba, corregir y correlacionar mensajes y datos de diferentes fuentes de información. En todos los casos, las metodologías deben centrarse en la evaluación tanto del producto como del proceso: qué se ha logrado hasta el momento, la forma cómo ha sido logrado y también cómo evolucionan los métodos. La información sobre estos dos aspectos revela mucho sobre los procesos sociales en funcionamiento en cualquier sociedad.
Obtener una imagen completa de los asuntos de transformación social y de género en un proyecto o iniciativa requiere más que tan solo números y estadísticas. Las historias, percepciones, observaciones y opiniones son valiosas. Aportan la dimensión humana que existe detrás de las estadísticas, lo cual es una parte fundamental para la comprensión de los datos recolectados.

Gender Equality and Human Rights Responsive Evaluation (Evaluación con Enfoque de Género y Derechos Humanos) (ONU Mujeres, 2010). Disponible en inglés. Vea también el manual en línea de ONU Mujeres sobre la evaluación con enfoque de igualdad de género y DD.HH. en inglés, francés y español.

EE.UU. – Encuesta de evaluación del programa de violencia doméstica

Un informe final de una encuesta de evaluación realizada en el estado de Colorado, EE.UU., demuestra como las encuestas, aún de poca cantidad de personas pueden ayudar a suministrar datos de evaluación valiosos relacionados con los componentes del programa. El análisis de la encuesta sobre la posición de supervisora de caso de violencia doméstica reveló lo siguiente:

Los representantes de todos los grupos de participantes informaron que su práctica ha cambiado de forma positiva como resultado de la posición de supervisora de caso de violencia doméstica.
Todos los grupos de participantes consideran la sostenibilidad de la posición como muy importante, muchos utilizan la palabra “esencial”.
Todos los jueces, oficiales de libertad condicional y proveedores de tratamiento dan cuenta de cambios positivos en múltiples elementos desde la implementación de la posición (a los fiscales no se les formuló esta pregunta, vea la sección de fiscales).
Aunque la encuesta le solicitó a los participantes que considerasen la posición, no a una persona, todos los grupos participantes expresaron un respaldo considerable para la persona actualmente en la posición. “Misty Young debe quedarse y envejecer en esta posición”.
Los jueces sienten mucha más confianza en que los infractores son monitoreados adecuadamente.
Es más habitual para los jueces tener la información a tiempo y adecuada en las audiencias de revocación que antes de la implementación de la posición.
La sostenibilidad de la posición es importante para el Departamento de Libertad Condicional en términos del incremento de la comunicación y suministro de supervisión efectiva por el DVCM que resulta en menos casos que culminan con libertad condicional.
100% de los proveedores de tratamiento que respondieron, dan cuenta de un impacto positivo del DVCM. Dos áreas principales fueron citadas con más frecuencia: Aumento de la responsabilidad del infractor, mejora de la comunicación entre los tribunales y los proveedores de tratamiento.
91% de los proveedores de tratamiento informan que la posición ha tenido un impacto positivo en su práctica.

Fuente: Schwartz. 2006. Domestic Violence Case Monitor Position Survey Results.

La evaluación de un programa de coordinación para casos de violencia doméstica en el estado de Maine, EE.UU., usó la siguiente guía de entrevista como parte de su evaluación:

Muestra de evaluación de proyecto de coordinación de caso de violencia doméstica

Encuesta posterior final

Metas: Reunir información y hacer recomendaciones sobre:

A. El intercambio de información respecto a órdenes y casos civiles y penales de violencia doméstica pendientes y el intercambio de información entre los aliados de la comunidad;

B. La gestión coordinada de órdenes y casos relacionados, penales y civiles, de violencia doméstica;

C. La revisión sistemática del cumplimiento de los infractores de las órdenes del juzgado y sentencias; y

D. Si estas prácticas y protocolos están mejorando la seguridad de la víctima y la obligación del infractor de rendir cuentas.

Antecedentes

1. ¿Cuál es su función en este proyecto piloto y desde hace cuánto tiempo ha estado realizando el trabajo?

Respuesta comunitaria coordinada

2. ¿Cómo interactúa usted y comparte información con otros aliados que participan en los casos de violencia doméstica?

Intercambio de información

3. ¿Está obteniendo usted la información que necesita para tomar decisiones informadas o prestar servicios que garanticen la seguridad de la víctima y/o la rendición de cuentas del infractor? Si respondió de forma negativa, ¿qué información adicional le gustaría tener?

Eficacia de los protocolos

4A. ¿Los protocolos en este proyecto piloto (por ejemplo, proporcionar información de casos de violencia doméstica relacionados, relaciones desarrolladas en las reuniones del comité asesor, audiencias de revisión judicial presididas por el mismo juez, la participación de oficiales de libertad condicional y programas de intervención del agresor en las audiencias de revisión, etc.) han marcado una diferencia en su capacidad para ejercer funciones, responder, tomar decisiones en lo que se refiere a las víctimas e infractores en los casos de violencia doméstica?

4B. ¿Han marcado una diferencia en términos de la seguridad de la víctima y/o rendición de cuentas del infractor?

4C. ¿Puede proporcionar ejemplos específicos del impacto positivo de los protocolos?

Impacto de la capacitación

5. ¿Asistió usted a la capacitación del 20 de enero en Vera Institute? Si asistió, ¿ha implementado o notado cambios en las prácticas o protocolos después de la capacitación?

¿Cuál cree o ha notado usted que ha sido el impacto de esos cambios, si lo hubo?

Sugerencias para mejorar

6. ¿Hay margen para mejorar la labor de su juzgado en cuanto a sus registros de violencia doméstica? En caso afirmativo, ¿qué tipo de mejoras recomendaría usted?

Prácticas y protocolos claves

7. ¿Cuáles entiende usted que son los protocolos o prácticas más importantes que los otros tribunales de Maine deben considerar al desarrollar sus propios registros de violencia doméstica? (Remítase al documento “Redactar protocolos uniformes”

si el tiempo lo permite, concentrándose en las secciones correspondientes a las partes interesadas. Una alternativa es proporcionar los protocolos uniformes o enviarlos por correo-e y solicitarles que envíen los comentarios por la misma vía).

Consecuencias imprevistas

8. ¿Ha habido alguna consecuencia imprevista, ya sea positiva o negativa, del registro de violencia doméstica o de cualquiera de los protocolos implementados como parte del proyecto piloto?

Vea la evaluación completa.

Herramientas adicionales sobre monitoreo y evaluación:

A Compendium of Monitoring and Evaluation Indicators (Compendio de indicadores para el monitoreo y la evaluación) (MEASURE Evaluation, 2008). Disponible en inglés.

Researching Violence Against Women: A Practical Guide (Guía práctica de investigación de la violencia contra las mujeres), (PATH/OMS 2005). Disponible en inglés.

Rule of Law Tools for Post-Conflict States - Monitoring Legal Systems (Herramientas del Estado de Derecho para estados en situación posconflicto – Monitoreo de los sistemas legales) (Oficina del Alto Comisionado para los Derechos Humanos, 2006). Disponible en inglés.

The Comprehensive Assessment Protocol: A Systemwide Review of Adult and Juvenile Sex Offender Management Strategies (Protocolo para evaluación integral: Una revisión de estrategias para la gestión de infractores sexuales adultos y juveniles. (Center for Sex Offender Management, 2011). Contiene una serie de preguntas para evaluar las prácticas procesales en los casos de delincuentes sexuales. Disponible en inglés.

Women’s Initiatives for Gender Justice (Iniciativa de las mujeres para justicia de género) ha publicado cuatro boletines de calificaciones de género que evalúan la efectividad de la CPI para implementar los principios de justicia de género. Lea el boletín de calificaciones de género de 2009 en inglés.

Informes ilustrativos de monitoreo y evaluación en el sector justicia:

Different Systems, Similar Outcomes? Tracking Attrition in Reported Rape Cases in 11 European Countries (Lovett y Kelly, 2009). Disponible en inglés.

Responding to sexual violence: Attrition in the New Zealand Criminal Justice System (Triggs y Mossman, Jordan y Kingi, 2009). Disponible en inglés.

Implementation of the Bulgarian Law on Protection against Domestic Violence (Bulgarian Gender Research Foundation y Advocates for Human Rights, 2008). Disponible en inglés.

Judicial System Monitoring Programme. Informes disponibles en inglés, bhasa y portugués.

Tracking Rape Case Attrition in Gauteng: The Police Investigation Stage (Sigsworth, Vetten, Jewkes y Christofides/Centre for the Study of Violence and Reconciliation, 2009). Disponible en inglés.

Tracking Justice: The Attrition of Rape Cases through the Criminal Justice System in Guateng (Sigsworth, Vetten, Jewkes, Loots, Dunseith y Christofides/Centre for the Study of Violence and Reconciliation, 2008). Disponible en inglés.