Crear mecanismos para la evaluación

La evaluación se realiza después de que un programa, actividad, iniciativa o proyecto de ciudades seguras para mujeres ha estado funcionando por un período de tiempo. El objetivo de una evaluación es revisar lo que ha sucedido y decidir cómo tuvo éxito y cómo no tuvo éxito. Hay tres tipos principales de evaluación: evaluación del proceso, evaluación de resultado y evaluación de impacto. El primer tipo de evaluación determina si el proceso de crear e implementar un programa o iniciativa tiene éxito o no. La evaluación del proceso por lo general sucede durante un lapso de tiempo, antes, durante y después del proceso. En contraste, las evaluaciones de resultado e impacto determinan si un programa o iniciativa logró o no sus resultados u objetivos deseados. Lo ideal sería que se utilicen tanto una evaluación de proceso como de línea de llegada (ya sea de resultado o impacto) en los programas de ciudades seguras para mujeres.

Por más información sobre monitoreo y evaluación, los términos y tipos de evaluación, vea la sección sobre monitoreo y evaluación en la sección de Principios rectores para la programación.

Una evaluación es importante por tres motivos principales. Primero, le permite al público y a los socios del programa de ciudades seguras para las mujeres decidir si una estrategia o programa tuvo éxito o no en lograr sus objetivos. Segundo, una evaluación los ayuda a los socios del programa a aprender de su experiencia y a construir a partir de sus éxitos en un proceso continuo de mejora de su trabajo. Tercero, una evaluación les permite a los socios del programa compartir lo que han aprendido sobre prácticas exitosas, ideas y desafíos con otras personas que trabajan en los programas de ciudades seguras para mujeres en otros lugares. Esta forma de compartir ayuda a que los buenos abordajes se repitan y adapten, y los malos se eviten o se mejoren. La información recolectada durante el monitoreo del programa sirve de base para la evaluación. Los socios del programa de ciudades seguras para mujeres deben planear la evaluación desde el comienzo de cualquier proyecto porque les exije que asuman responsabilidades especiales y asignen recursos financieros y humanos.

Reúna información de línea de base antes de comenzar un programa de ciudades seguras para las mujeres.

La información de línea de base es información sobre las condiciones en el terreno tal cual existen antes de que se lleven a cabo las intervenciones del programa. La información de línea de base es importante porque los socios del programa de ciudades seguras para las mujeres pueden utilizar esta información para comparar cómo era la comunidad antes y después de su iniciativa. Por ejemplo, si un programa de ciudades seguras para mujeres apunta a aumentar la cantidad de mujeres que se sienten seguras en una determinada plaza pública, se puede recolectar información de línea de base sobre cuántas mujeres utilizan la plaza, las actividades que las mujeres realizan en la plaza y qué sienten las mujeres sobre utilizar la plaza antes de que comience la iniciativa. Luego de que se han tomado acciones para mejorar la seguridad de la plaza, esta información es reunida nuevamente. Entonces, utilizando la información de línea de base y la nueva información, los socios del programa pueden comparar sus datos y determinar si su trabajo tuvo éxito o no, en base a si las mujeres usan más la plaza, usan la plaza de forma diferente o informan que se sienten más seguras mientras están en la plaza.

Recursos:

Summary Information on Policies and Initiatives Promoting Women’s Safety (Gender Inclusive Cities Programme, 2009). (Resumen de información sobre políticas e iniciativas que promueven la seguridad de las mujeres) (Programa de Ciudades Inclusivas al Género, 2009). Esta herramienta fue creada para ayudar a los socios del programa de ciudades seguras para las mujeres a identificar la legislación, políticas e iniciativas que tienen impactos positivos o negativos sobre la seguridad de las mujeres. La herramienta le proporciona a los socios del programa una matriz de planilla para el análisis de la política que ellos pueden completar con información tal como el nivel de transversalización del género en los presupuestos locales, regionales y nacionales y la cantidad de iniciativas policiales sobre la violencia contra la mujer. Disponible en inglés.

Evaluating Crime Prevention through Social Development Projects: Handbook for Community Groups (Evaluación de la prevención de delitos mediante proyectos de desarrollo social: manual para grupos comunitarios) (Public Safety and emergency Preparedness [Seguridad pública y estado de preparación en caso de emergencia], Canadá, 2006). Este es un manual amplio que los grupos comunitarios pueden usar como guía a través de cualquier proceso de evaluación de proyectos de prevención de delitos. Este manual ofrece un panorama general de lo que es una evaluación y los tipos de evaluaciones que los grupos comunitarios deben considerar. Considera la preparación de un modelo lógico, la creación de un plan de evaluación, la recolección de datos, diferentes opciones para diseñar una evaluación y el análisis de datos. Además, se presentan desafíos y soluciones, así como estudios de caso. Se entregan planillas para actividades de evaluación diferentes, así como recursos para investigación adicional. Disponible en inglés y francés .

Researching Violence against Women: A Practical Guide for Researchers and Activists (Investigación de la violencia hacia la mujer: una guía práctica para investigadores y activistas (PATH y World Health Organization, 2005). El objetivo de esta guía y conjunto de herramientas es ayudar a los activistas y otros investigadores a determinar el alcance y el tipo de violencia que sufren las mujeres, de modo que se puedan implementar políticas y programas para atender los tipos particulares de violencia que padse ejerce sobre las mujeres en los contextos locales y regionales. Esta guía está enfocada principalmente en la violencia de pareja. Sin embargo, los métodos usados para recolectar datos pueden ser usados para otros tipos de violencia hacia la mujer, incluyendo la violencia hacia la mujer en los espacios públicos. Se cubren abordajes de investigación cualitativa y cuantitativa, incluyendo entrevistas de corte transversal, estudios de control de caso, estudios cualitativos a fondo y otros. Se proporcionan herramientas para diferentes pasos de investigación, incluyendo la formulación de preguntas y recolección de cuentos abiertos. También figuran estudios de caso en toda la guía. Disponible en inglés.

How Do We Measure the Prevention of Violence against Women? (¿Cómo medimos la prevención de la violencia hacia la mujer?) (Prevention Connection: The Violence against Women Prevention Partnership, 2008). California Coalition Against Sexual Assault, EE.UU. Esta es una breve presentación de diapositivas anotadas sobre la medición de los niveles de violencia hacia la mujer en una comunidad dada. La presentación examina los desafíos de la medición. También analiza varios métodos para la medición, considerando la unidad de análisis, el clima social, las normas, el capital comunitario y otros. El análisis en base a evidencias representa un enfoque principal. Además, la presentación proporciona tres estudios de caso de diferentes organizacionales para medir la violencia hacia la mujer. La información proporcionada resultará útil para los organismos de gobierno e investigadores académicos. Disponible en inglés: 12:11 minutos.

Asegúrese de que los métodos de evaluación son los adecuados para las actividades particulares que están evaluando.

Los socios del programa de ciudades seguras para las mujeres disponen de diferentes formas para evaluar su trabajo, entre ellas, la realización de encuestas, investigación de cambios en las estadísticas de los delitos, monitoreo del uso de los espacios y servicios públicos y el análisis de los apuntes de reuniones. Algunos métodos, que requieren conocimientos técnicos (como el análisis de datos estadísticos), pueden ser adecuados solamente para proyectos a gran escala e involucran a varios actores diferentes. En el caso de proyectos pequeños, puede ser más adecuado entregar un formulario de evaluación para que los participantes lo completen y lo devuelvan.

Recurso:

 Capturing Change in Women's Realities: A Critical Overview of Current Monitoring and Evaluation Frameworks and Approaches (Observando el cambio en las realidades de las mujeres: visión crítica de los marcos y los abordajes de monitoreo y evaluación) (2010). Este documento trata las limitaciones dentro de los abordajes tradicionales de monitoreo y evaluación según aplican a las organizaciones de mujeres. Detalla las razones por las cuales algunos modelos de monitoreo y evaluación no obtienen información sobre el cambio social en lo que respecta a las relaciones de género. Este documento también proporciona una revisión feminista de los diferentes marcos de M y E, incluidas las fortalezas y las debilidades. Inglés.

“Evaluation Form: CAC Workshop 1: Understanding Domestic Violence” (Formulario de evaluación: taller 1 CAC para entender la violencia doméstica) en Mobilising Communities to Prevent Domestic Violence: A Resource Guide for Organizations in East and Southern Africa (Movilización de comunidades para prevenir la violencia doméstica: una guía de recursos para organizaciones en África Oriental y Meridional). Raising Voices, Kampala, Uganda. Apéndice, pág. 296. El formulario de evaluación ha sido creado por Raising Voices para los participantes de un taller sobre violencia doméstica. Sin embargo, modificando la sección de actividades para incluir las actividades usadas en un taller del programa de ciudades seguras para las mujeres, los socios pueden utilizar este formulario para averiguar si su taller tuvo éxito o no. Las preguntas se centran en qué tan satisfactorio resultó el lugar de reunión del taller, las actividades y los facilitadores. Disponible en inglés.

Investigue la evaluación participativa.

La evaluación participativa es una metodología especialmente adecuada para los programas de ciudades seguras para mujeres porque le permite a las mujeres locales y a los socios de ciudades seguras para mujeres participar en el proceso de evaluación. Este tipo de evaluación puede ser usada sola o combinada con otros métodos. La evaluación participativa es importante porque está basada en las opiniones de las personas afectadas por el programa y, por lo tanto, conocen de primera mano qué funciona y qué no. Por lo general, la evaluación participativa implica el desarrollo de un plan de trabajo de evaluación (que funciona como una herramienta para decidir qué información va a ser reunida y cómo, por ejemplo, entrevistas, encuestas), celebración de reuniones para analizar los resultados, elaboración de un informe y la revisión y finalización del informe en forma conjunta. Si los socios del programa de ciudades seguras para mujeres optan por utilizar este tipo de metodología para la evaluación de sus programas, iniciativas o actividades, los participantes deben ser seleccionados conforme al enfoque del trabajo. Por ejemplo, si un proyecto es diseñado para concientizar sobre el acoso sexual en los subterráneos, entonces deben participar en la evaluación los hombres, niños, mujeres, niñas y empleados de tránsito. Los siguientes consejos, que se enfocan específicamente en las niñas y mujeres jóvenes, pueden ser utilizados como un ejemplo para hacer que un proceso de evaluación sea participativo:

• Proporcionar capacitación para las niñas de modo que sea de un estilo agradable e interactivo que amplíe y profundice su comprensión de la información básica y usos de la evaluación.
• Involucrar a las niñas en el desarrollo de la evaluación y en la toma de decisiones sobre su enfoque, métodos a ser utilizados, cómo se usarán los datos, temas de confidencialidad y elaboración de informes.
• Tenga en cuenta consideraciones de alfabetización y lenguaje al escoger los métodos de capacitación y las herramientas de recolección de datos.
• Fije metas y expectativas realistas para la participación de las niñas en el proceso, acuerde con antelación las necesidades y niveles de apoyo y recursos y los medios para rendir cuentas.
• Fije metas y expectativas realistas para las actividades del programa y para la evaluación, incluyendo un plazo de tiempo realista que estará en línea con el periodo de tiempo durante el cual las niñas participen en el programa.
• Evite la interferencia de los socios comunitarios o institucionales que puedan impedir que las niñas completen sus actividades de evaluación.
• Haga resaltar los resultados de la evaluación de algún modo que involucre a la familia y a la comunidad y otorgue validación a las niñas y a su entrega e implicacion en el proceso.

De Fullwood, C. (2005). Working with Girls as Evaluators. (Trabajando con Niñas como Evaluadoras) Disponible en inglés.

Recurso:

Tools of the Trade: A CWIT Guide to Participatory Evaluation (Herramientas del oficio: una guía CWIT para la evaluación participative) (Center for Research on Women and Gender, s/f). University of Illinois, Chicago, EE.UU. Esta guía de herramientas ofrecen una orientación general sobre los métodos de evaluación participativa, enfocándose a la participación de las mujeres en el proceso. La guía desglosa el proceso de evaluación en tres etapas: Desarrollo de un plan de evaluación, elección de métodos de evaluación de datos y elaboración de un informe de evaluación. Se proporciona orientación paso a paso para cada etapa, como planillas y ejercicios de preguntas y respuestas. Disponible en inglés.

Considere la contratación de un evaluador externo.

La contratación de un profesional para que ingrese y evalúe un programa de ciudades seguras para mujeres puede ser una opción útil para aquellos grupos que pueden presupuestar fondos suficientes para este propósito. Los evaluadores externos son contratados al inicio del programa o proyecto y son útiles dado que aportan una visión minuciosa y global de todas las actividades desde una perspectiva objetiva (su juicio no se encuentra bajo la influencia de predisposiciones o afectos personales). Los evaluadores profesionales pueden señalar aspectos del programa que otras personas no observaron. Es más, la utilización de un evaluador externo hace que los resultados del programa sean más legítimos (por ejemplo, ante los responsables de la creación de políticas, donantes, expertos, otros intresados) porque las otras personas sabrán que se utilizó un proceso profesional y objetivo para determinar los éxitos y buenas prácticas (Whitzman, 2008b, 96). Debe tenerse presente que cualquier evaluador externo contratado para un programa de ciudades seguras debe poseer antecedentes relevantes en asuntos de seguridad de la comunidad y género.

Garantice evaluación interna continua una vez que el programa, actividad, iniciativa o proyecto ha estado funcionando por un período de tiempo o se acerca al cierre.

Durante el transcurso del programa o iniciativa, y a su finalización, los socios del programa de ciudades seguras para mujeres deben preguntarse qué han aprendido y cuán exitoso fue su proceso. Cuando esta información se obtiene mientras el proyecto está en funcionamiento, los hallazgos pueden ser utilizados para mejorar el trabajo que está siendo llevado a cabo en el terreno. Todos los socios, incluyendo los responsables de tomar decisiones, organizaciones comunitarias, y, por supuesto, las mujeres y niñas locales deben participar en este proceso. Algunas de las preguntas que los socios del programa pueden usar para evaluar su trabajo son:

• ¿Por qué se inició esta acción (programa, actividad, iniciativa o proyecto)? ¿Las razones que fueron dadas al comienzo aún son relevantes?
• ¿Cuáles han sido los resultados (tanto positivos como negativos) de estas acciones?
• ¿Se lograron las metas y objetivos originales?
• ¿Valió la pena el esfuerzo y el gasto de implementación de estas acciones en relación a los resultados obtenidos?
• En retrospectiva, ¿hay otras acciones y estrategias que podrían haber sido más exitosas?
• ¿Qué sugiere la evaluación sobre las medidas que deben tomarse a continuación?

Recursos:

“Program Planning and Evaluation” Guide (Guía de Planificación y Evaluación de Programas) en Leading Community Change: A Workshop Guide to Build Women’s Volunteer Leadership Skills (Cómo liderar los cambios en la comunidad: manual para un taller de desarrollo de capacidades de liderazgo para mujeres voluntarias) (Status of Women Council of the Northwest Territories, Canadá y Women’s Voices in Leadership, s/f). Este manual ofrece actividades prácticas para que los facilitadores capaciten a las mujeres voluntarias en cómo planificar y evaluar los programas comunitarios. Los socios del programa de ciudades seguras para las mujeres pueden usar este manual para evaluar sus fortalezas y necesidades, desarrollar un marco de evaluación y organizar sesiones de práctica sobre planificación y evaluación. Se incluyen planillas para actividades (págs. 79 – 100) y planillas de evaluación (págs. 9 – 18). Disponible en inglés.

Actividad de “Elaborar un Plan de Evaluación” (2001) en Mapeo de Alcances: Incorporando aprendizaje y reflexión en los programas de desarrollo (Earl, S., F. Carden y T. Smuytlo, 2001). Centro Internacional de Investigaciones para el Desarrollo, Canadá, pág. 115. Esta actividad de la guia de herramientas está destinada para uso en cualquier programa u organización para evaluar su éxito en base al cambio de actitudes y comportamientos (a diferencia de impactos estadísticos). Este abordaje es especialmente adecuado para los programas de ciudades seguras para las mujeres porque están orientados no sólo a prevenir la violencia hacia las mujer en las ciudades y comunidades, sino también a aumentar la sensación de seguridad de las mujeres en los espacios públicos. La Actividad de “Elaborar un Plan de Evaluación” le proporciona a los socios del programa un esquema y una planilla a efectos de determinar los temas de evaluación, preguntas de la audiencia, responsabilidades y otros. Disponible en inglés, francés, español, portugués y tailandés.

Recuerde que algunos éxitos demoran mucho tiempo en manifestarse.

Los socios del programa ciudades seguras para las mujeres no deben sentirse totalmente desanimados, al principio, si ven pocos resultados positivos de una iniciativa. A veces lleva años para que ocurran cambios positivos en una comunidad. Por ejemplo, los socios del programa pueden realizar una auditoría de seguridad de las mujeres y como resultado recomendar que el gobierno municipal fortalezca la relación entre su fuerza policial y su departamento de mujeres. No obstante, la aceptación e implementación de esta recomendación puede llevar cinco años para materializarse, o un cambio en la administración puede requerir que los socios del programa realicen la misma recomendación durante y/o después de una campaña electoral municipal, para promover el seguimiento de la recomendación.

Comparta sus resultados.

El objetivo de realizar el monitoreo y la evaluación es aprender de los éxitos y los errores. Compartir el conocimiento sobre los éxitos y errores significa que los socios del programa de ciudades seguras para las mujeres y otros grupos (organizaciones comunitarias, gobiernos municipales, grupos de mujeres y otras personas que trabajan en la seguridad de las mujeres) pueden averiguar qué puede funcionar o qué es desacertado para sus propios proyectos (Michau y Naker, 225). Es más, compartir los resultados puede crear conciencia sobre los programas de ciudades seguras para mujeres y la seguridad de las mujeres y niñas en general. Los resultados pueden ser compartidos en un informe, en un comunicado de prensa, en Internet (en sitios web, correos electrónicos o publicados en grupos de discusión), en publicaciones académicas (especialmente en el caso de evaluaciones externas rigurosas), en contextos comunitarios públicos, volantes, obras de teatro, dependiendo de las audiencias, el/ los objetivo(s) del esfuerzo de difusión (por ejemplo, empoderamiento de los miembros de la comunidad, apoyo para la continuación a nivel de política y presupuesto, otros) y lo que determinen el equipo y los socios del programa.

No tema admitir que algunos elementos de su programa fueron menos exitosos que otros.

A veces, las mujeres, niñas y otros socios del programa de ciudades seguras para mujeres se sentirán desilusionados cuando se den cuenta que su proyecto no es un éxito completo, o no son capaces de informar sobre resultados concretos. No obstante, el objetivo de la evaluación es proporcionar elementos para comprender aqullo que pudo haber sido realizado de forma diferente y lo que puede ser mejorado en las siguientes etapas. Este conocimiento es útil para todos los que participan. Simplemente comprender los factores que hacen y no hacen a las ciudades más seguras para las mujeres y las niñas puede ser un éxito en sí mismo.

Recurso:

Women’s Safety Audits: What Works and Where? (Auditorías de seguridad de las mujeres: qué funciona y dónde) (2008). Este informe, producido por Mujeres y Ciudades Internacional, ONU-HÁBITAT y SIDA, es un ejemplo de un resumen de evaluaciones hasta la fecha sobre la herramienta de auditoría de seguridad de las mujeres. El informe comienza con un análisis bibliográfico de evaluación de las auditorías de seguridad de las mujeres. El análisis bibliográfico cubre prácticas que funcionan y resultados positivos que han sido registrados sobre la auditoría de seguridad de las mujeres, así como las prácticas que no funcionan y los resultados negativos. El análisis bibliográfico también examina las preguntas de evaluación y recomendaciones que han surgido en el material sobre la auditoría de seguridad de las mujeres. Además del análisis bibliográfico, este informe también ofrece los resultados de encuestas en profundidad, de grupos que han sido sometidos a la auditoría de seguridad de las mujeres. Los resultados de las encuestas proporcionan más información de evaluación sobre los éxitos y los desafíos de los diferentes aspectos y adaptaciones de la herramienta. En general, el informe tiene el objetivo de proporcionar información sobre cómo ha sido usada la herramienta de auditoría de seguridad de las mujeres hasta ahora, y las posibilidades de su uso en el futuro. Está dirigida a cualquier grupo o gobierno que desea iniciar una auditoría de seguridad de las mujeres en su comunidad. El informe está disponible en inglés.