Impacto se refiere a los “efectos de largo plazo positivos y negativos, primarios y secundarios, producidos directa o indirectamente por una intervención para el desarrollo, intencionalmente o no” (CAD/OCDE, 2002). El impacto trata de los efectos de largo plazo y duraderos. Muchas veces se usa el término de manera confusa para referirse a resultados de menor plazo, por ejemplo la respuesta inmediata (como las visitas a un sitio web o el número de llamadas recibidas) de los destinatarios a determinadas herramientas de comunicación. Esos datos son hitos útiles, pero el término “impacto” debería reservarse para efectos de más largo plazo.
Debido a los factores múltiples y complejos que contribuyen a la VCM y a su eliminación, puede ser difícil medir el impacto de una campaña. Lo cierto es que algunos profesionales del desarrollo sostienen que es imposible. Es un problema particular en las campañas que tienen por finalidad provocar cambios de valores o comportamientos profundamente arraigados en una sociedad y su cultura. Este tipo de cambio podría ser incremental y en cierta medida invisible para observadores externos; puede llevar muchos años antes de que se observe una transformación tangible en una sociedad. En ese tipo de campaña, una breve evaluación solo puede medir los resultados que la campaña ha contribuido a obtener, que constituyen un buen indicador del éxito.
Diseño de investigaciones avanzadas para evaluar el impacto
Para establecer vínculos firmes entre la exposición de la campaña y el impacto en función de las actitudes y cambios de comportamiento, los siguientes métodos pueden generar una comparación fiable entre los miembros del grupo destinatario que estuvieron expuestos a la campaña y los que no:
El ensayo experimental es ampliamente considerado el modo más preciso de evaluar el impacto, por ejemplo de una intervención de comunicación. Conocido en general como ensayo controlado aleatorio en los ámbitos relativos a la evaluación y muy utilizado en la investigación científica, este método detecta la diferencia entre el logro de una campaña y lo que se hubiera logrado sin la campaña.
Ejemplo: La evaluación de una campaña en los medios de comunicación para reducir la violencia sexual en las escuelas secundarias podría usar el criterio de evaluar el impacto realizando un ensayo experimental formal con un grupo de control y un grupo experimental. La evaluación podría realizarse en dos ciudades distintas con condiciones socioeconómicas semejantes. En cada escuela secundaria se podría someter a los varones y mujeres del 11º grado a una encuesta de conocimientos, actitudes y prácticas (CAP) sobre el tema (prueba inicial). Después de exponer a la escuela “experimental” a la campaña durante un período determinado previamente (y no a los estudiantes de la escuela secundaria de control), se someterá a los estudiantes del 11º grado de ambas escuelas nuevamente a la misma encuesta (prueba posterior). La comparación de los resultados iniciales y posteriores de las dos escuelas permitirá llegar a ciertas conclusiones sobre la eficacia de la campaña, teniendo en cuenta que otros factores no considerados en el diseño de la campaña también podrían haber influido.
Fuente: Potter, S. (2008): Incorporating Evaluation into Media Campaign Design. Harrisburg, PA, en VAWnet, un proyecto del Centro Nacional de Recursos sobre Violencia Doméstica/Coalición contra la Violencia Doméstica de Pennsylvania.
Los ensayos experimentales pueden producir resultados fiables si se realizan a escala suficiente y con rigor científico, lo cual requiere recursos considerables de tiempo, competencias y dinero. Además, deben tenerse en cuenta las cuestiones éticas; por definición, el grupo de control estará excluido de las actividades de la campaña y de todo posible beneficio conexo.
Hay varios métodos alternativos a los ensayos controlados aleatorios que se acepta producen resultados igualmente válidos y requieren menos tiempo, además de ser más flexibles:
- Mediciones repetidas: La misma medición, por ejemplo el mismo cuestionario, se administra a las mismas personas o grupos a intervalos, por ejemplo cada seis meses, para verificar la evolución de las respuestas desde el comienzo de la campaña y en diferentes fases de esta.
- Ejecución por etapas: Si una campaña se lleva a la práctica en distintas fases a intervalos prolongados, la evaluación puede comparar las zonas expuestas a la campaña en las etapas iniciales con las zonas que aún no han estado expuestas.
- Variaciones naturales del tratamiento: En una campaña a gran escala, la ejecución en algunas zonas podría fracasar o no realizarse exactamente de la manera prevista. Si es posible hacer el seguimiento y medir adecuadamente esas variaciones, pueden surgir comparaciones útiles para la evaluación del impacto.
- Autodeterminación de la exposición: Algunas personas de la zona destinataria no estarán expuestas a la campaña. Por ejemplo, podrían no tener televisión, no escuchar la radio o no leer el diario. Puede invitarse a estas personas a servir de grupo de comparación, por ejemplo respondiendo el mismo cuestionario que las personas expuestas. (Adaptado de Coffman, J., Harvard Family Research Project, 2002. Public Communication Campaign Evaluation)
Atribución versus contribución
Es difícil medir con precisión la forma y el alcance del impacto de una campaña en el grupo destinatario. La “forma” puede inferirse por medio de encuestas más cualitativas, mientras que el alcance puede medirse por medio de ensayo controlado aleatorio (véase supra). Si embargo, en general será sumamente difícil o imposible que las evaluaciones atribuyan el cambio con exactitud a la campaña o a determinadas actividades de esta. En la mayoría de los casos es más adecuado centrarse en la contribución que ha hecho una campaña al logro de su objetivo produciendo resultados, aunque reconociendo la multiplicidad de factores que contribuyen al cambio o lo obstaculizan.
Las variables cognitivas, como los conocimientos y las actitudes de los destinatarios, pueden medirse, hasta cierto punto, como parte del estudio de referencia, y luego nuevamente durante una evaluación posterior con fines de comparación. Si se observan cambios en esas variables, es válido suponer que la campaña ha contribuido a esos resultados, aunque sea imposible cuantificar el impacto. Si no se observan cambios o se detectan cambias negativos, analizar el entorno para ver si hay factores externos a la campaña que podrían haber obstaculizado el logro del objetivo ayuda a determinar si el fracaso se atribuye principalmente a los elementos de la campaña o a factores externos, por ejemplo una fuerte contracampaña de un movimiento social que se opone a la igualdad de género.
En algunos casos, las evaluaciones de una campaña no tiene acceso a los datos de referencia y en consecuencia dependen de la autoevaluación retrospectiva del cambio por los encuestados (por ejemplo mediante la técnica del cambio más significativo) para determinar si la exposición a la campaña ha tenido impacto en el grupo destinatario. Se trata de un enfoque eficaz para evaluar la efectividad de una campaña cuando no se dispone de otros métodos.
“En última instancia están los objetivos de la campaña, es decir el impacto que procura lograr en el cambio de las relaciones y estructuras de poder que llevan a la violencia de género. Los cambios deseados tienen lugar en contextos heterogéneos, son indefinidos en el tiempo y dependen de las acciones y decisiones de muchos más agentes que los miembros del equipo de la campaña. Así pues, cuando hay un cambio que representa un impacto, ¿quién puede atribuirse el logro del cambio? ¿Quién es responsable de lo que cambia (y de lo que no lo hace), y ante quién y cómo? Estos problemas de atribución y agregación significan que en el mejor de los casos una campaña contribuirá indirecta y parcialmente al impacto.” (Fuente: Ricardo Wilson-Grau, comunicación personal)