Medición de Impacto ¿qué es exactamente?

Como vimos líneas arriba, la medición de impacto es un proceso que parece estarse convirtiendo en un imperativo en las empresas, pero ¿en qué consiste exactamente?

Con una medición de impacto tú puedes demostrar el cambio que generas en la realidad que intervienes y su magnitud. 

Una buena medición de impacto, te permite completar análisis como el siguiente: ¿La relación costo-efectividad del programa es positiva en comparación con otras opciones dado el impacto que tiene sobre la población objetivo?

En el caso de un programa que busque disminuir la tasa de desempleo,  la medición de impacto te indicará qué acción es más costo efectiva: ¿Entrenarlos para las entrevistas de trabajo y ubicar una red de posibles empleos o capacitarlos en oficios esperando que ellos busquen su propio empleo?

El verdadero reto es lograr responder, ¿qué hubiese pasado con la población objetivo sin la aplicación de mi programa?

De ser posible contestar esa pregunta, ¿es posible asumir que hay una relación causal entre mi programa y unos efectos evidenciados en los beneficiarios? 

Ahora bien, para realizar una medición de impacto es recomendable seguir una serie de pasos:

1. Elaborar la Teoría de Cambio del programa: esto te permitirá evaluar la lógica que hace que tu programa genere los impactos deseados, construyendo una cadena causal de efectos. 
2. Definir la hipótesis: esto significa establecer la hipótesis que creemos que opera detrás de las causas del impacto. Es decir, definir la pregunta que la medición de impacto buscará responder. 
3. Seleccionar los indicadores de medición del programa: se definen los indicadores o aspectos medibles más relevantes para analizar el desempeño de tu programa y para evaluar si, en efecto, se están logrando los resultados esperados. 
4. Establecer la estrategia de medición del programa: con base en la capacidad logística y financiera así como en la hipótesis de evaluación, se decide el uso de métodos experimentales, cuasi-experimentales, cualitativos o métodos mixtos. 
5. Diseñar los instrumentos de medición: consiste en diseñar los mecanismos para estimar el valor de los indicadores de impacto definidos anteriormente. Generalmente implica el diseño de la encuesta o cuestionario definitivo.
6. Planificar la estrategia de recolección de datos: debes definir la manera y los plazos en los que recolectarás la data que te ayudará a medir los indicadores definidos. 
7. Precisar el seguimiento de los beneficiarios: finalmente, es importante establecer los plazos y los instrumentos que serán aplicados a los beneficiarios pasado un período determinado para recolectar información sobre cómo los indicadores han cambiado con el paso del tiempo. 
   
   

La medición de impacto requiere un esfuerzo por parte de la organización, ya que debe prepararse para dedicar tiempo y recursos financieros a este proceso. Por ello, es esencial incluir una partida para la medición en el presupuesto del proyecto así como prever los momentos, plazos y recursos necesarios para la recolección de la información.

Lo fundamental, es estar dispuestos a aprender de la experiencia y a tomar los resultados de la medición como un insumo para mejorar la gestión.

Porque si ves la medición de impacto como una forma de verificar la efectividad del proyecto, puedes identificar aspectos que te permitan rectificar el rumbo hacia tu meta y eso, en sí mismo, ya es ganancia. No obstante, son muchas más las ventajas que te puede reportar.

Teoría del Cambio

Antes de empezar con la medición de impacto de tu programa o proyecto social, es necesario elaborar la respectiva Teoría del Cambio (TdC).

Esta es una metodología con la que podrás describir el cómo se supone que tu intervención conseguirá los resultados deseados. 

Es una representación gráfica en la que se vinculan las acciones de la organización con su impacto final.

Es decir, con ella podrás representar visualmente la cadena causal del programa desde las necesidades que lo motivaron hasta el impacto que pretende generar o ha generado.

Cuando hayas elaborado la Teoría del cambio, deberías haber descrito, paso a paso, los siguientes aspectos:

• Necesidades: Son los problemas que motivan la intervención.
• Intervención: Se refiere al programa en sí mismo.
• Productos: Son las consecuencias directas esperadas luego de ejecutar las actividades planeadas. Una característica importante de los productos es que son medibles y observables.
• Resultados intermedios: Se refiere a los cambios en conocimientos, actitudes, capacidades y comportamientos que resultan de los productos.
• Impacto: Es el objetivo final de la intervención, es decir, lo que quiere cambiar el programa y debe tener una correspondencia directa con las necesidades.

La cadena causal es la clave de la Teoría del cambio porque permitirá discernir entre los factores del programa que inciden directamente en un producto, resultado o cambio, y los factores ajenos a él.

Con esta herramienta aumentan las posibilidades de identificar sin lugar a dudas los mecanismos a través de los cuales se produjeron los cambios en la población beneficiaria. 

Además, permitirá identificar posibles fallas del programa que podrían reducir o incluso evitar el impacto deseado. 

Cuando se escoge esta metodología, se descubre y se decide lo que hará falta medir para evidenciar el impacto antes de iniciar con el proceso formal de medición. Esto significa que además de todas las ventajas de la Teoría del cambio, también te ayuda a seleccionar los indicadores correctos.

Indicadores

Seleccionar los indicadores a medir es clave dentro del proceso de medición de impacto por cuanto constituyen la unidad de medida para cuantificar el grado de avance hacia la meta de la medición.

La Oficina Internacional del Trabajo define un indicador como "una comparación entre dos o más tipos de datos que sirve para elaborar una medida cuantitativa o una observación cualitativa. El resultado de esa comparación, arroja un valor que tiene un significado para quien lo analiza". 

Tal vez podría agregarse a esa definición, que ese significado debe estar claro y directamente relacionado con los efectos que queremos causar con nuestra intervención. 

Los indicadores de impacto permiten estimar el cambio esperado en los participantes una vez que el programa social se lleva a cabo. Su medición requiere períodos de mediano o largo plazo debido a que se refieren a aspectos cuyo cambio solo es verificable con el paso del tiempo.

También es durante la identificación y selección de los indicadores, cuando mayor cantidad de personas se quedan estancados o cometen errores que atentan contra la confiabilidad de la medición de impacto.

Algunos de los errores más comunes cuando se seleccionan indicadores tienen que ver con:

• Confusión entre indicadores de alcance e indicadores de impacto
• Ambigüedad en las definiciones
• Falta de conexión entre el problema y el indicador
• Diferencia de escalas
• Costos elevados

Para evitar cometer estos errores, lo mejor es apoyarse en la Teoría del Cambio y en indicadores validados. 

Cuando lo segundo no sea posible, y deban construir sus propios indicadores, conviene asegurarse de que cumplan con criterios SMART; Specific (específico), Measurable (medible),  Achievable (realizable), Realistic (realista) y Time-Bound (limitado en tiempo).

En líneas generales, los indicadores de impacto:

• Expresan los cambios ocasionados en la vida de los beneficiarios a partir de las acciones sociales.
• Se definen desde el diseño del programa para garantizar su solidez y confiabilidad.
• Sirven para medir eso que se pretende evaluar.
• Son confiables.
• Pueden ser cuantitativos y cualitativos.
  

La recolección de datos en la medición de impacto

Luego de definir la Teoría del cambio y seleccionar los indicadores, se pasa a definir la estrategia de recolección de datos, paso crucial en una medición de impacto, por cuanto representa el modo de ubicar y seleccionar el insumo fundamental de la medición: los datos.

Esta es la fase de la medición en la que se suele invertir la mayor parte de los recursos y del tiempo porque, dependiendo de su complejidad y sofistificación, puede involucrar el trabajo de muchas personas y el uso de herramientas de distinta naturaleza.

Por ejemplo, puedes recolectar datos personales de tus participantes con un cuestionario autoadministrado o puedes profundizar en su historial crediticio mediante una auditoría, o indagar en indicadores de su salud mediante análisis clínicos, entre otros métodos.

El método que se escoja para la recolección de datos será un factor determinante en la validez y confiabilidad de los resultados de la investigación. También de su selección depende el enfoque de la investigación: cualitativo o cuantitativo.

Generalmente se aprecia una combinación de ambos enfoques pero el objetivo de la medición dictará a cuál de los dos enfoques se le dará mayor peso; no es lo mismo decir que una población determinada está muy feliz y agradecida con el nuevo sistema de surtido de agua, a indicar en qué porcentaje se disminuyó la tasa de enfermedades estomacales de esa población tras la intervención, o en qué medida mejoraron las condiciones de salubridad de esa comunidad.

Existen distintos instrumentos de recolección de datos, pero las encuestas resultan ser de los más utilizados por tres razones fundamentales:

• Es una técnica costo-efectiva
• Permite mayor alcance en menor tiempo
• Permite recoger información primaria 

Aun cuando se trata de un instrumento muy usado en el campo de la medición de impacto, también es cuestionado por algunos científicos basados en el hecho de que al formular una pregunta existe el riesgo de que se imprima, intencionadamente o no, una perspectiva determinada.

Además se le critica el riesgo de generar opiniones ex novo al hacer preguntas que el grupo consultado tal vez no se había planteado hasta ese momento.

No obstante, son críticas que podrían hacérsele a otros métodos de recolección de datos y a las que se puede hacer frente mediante el uso de cuestionarios estandarizados y/o validados así como con un proceso riguroso de pilotaje del instrumento.

En fin, lo importante es saber cuándo se hace necesario medir con encuestas y cuándo se pueden y deben complementar con otros métodos de recolección de datos.

Reportes de Impacto

Un reporte de impacto social refleja la magnitud del cambio creado por una organización en un grupo específico (colaboradores, comunidades, clientes, beneficiarios).

Por eso el reporte de impacto difiere de un reporte de sustentabilidad o de un informe de gestión, porque es el producto resultante de una medición de impacto.

Sirve para determinar si el objetivo deseado se logró (aumentar la productividad, mejorar los ingresos de las comunidades, reducir enfermedades), y para saber cuál es la magnitud del impacto generado por cada dólar invertido en un proyecto. 

Es decir, en este tipo de reportes se hallan datos que demuestran la efectividad de la inversión social de una empresa así como la relación entre esa inversión y los objetivos del negocio.

Características de un reporte de impacto

El reporte de impacto puede ser muy distinto con los mismos datos, así que dependerá de cuál es el propósito de tu medición: generar un cambio en la organización, conseguir más recursos para el proyecto, traer aliados de mayor relevancia o convencer al Estado de replicar una iniciativa de origen privado. 

El formato y la apariencia de un reporte de impacto puede variar de acuerdo con la naturaleza del proyecto, la audiencia a la que va dirigido y la identidad gráfica de la organización que lo elabora.

Esto significa que pueden existir tantos modelos de reporte como organizaciones o proyectos, pero si quieres revisar la elaboración de tu reporte de impacto, debes saber que cualquiera de ellos debería contener:

• Resumen ejecutivo
• Metodología de medición
• Metodología de recolección y análisis de datos
• Resultados vs. Objetivos
• Conclusiones y recomendaciones

Pero lo más importante es que sea un documento que propicie un ciclo de aprendizaje, innovaciones y nuevos ajustes dentro de la empresa.

Definición de presupuesto para la medición de impacto

Para definir el presupuesto necesario para una medición de impacto, debes partir de la premisa de que su costo depende de factores asociados al programa propiamente dicho, como: la estrategia de medición, la diseminación, el reporte y al uso que se le pretende dar a los resultados que se obtengan de esa medición.

De hecho, uno de los mitos que existe sobre la medición de impacto tiene  que ver con los costos que implica. Este mito responde a una confusión según la cual mientras más alto es el presupuesto del programa, mayor será su impacto porque puede llegar a más gente y aumentar sus beneficios. 

La medición de impacto evalúa la efectividad del programa, no modifica el alcance de la intervención. En muchos casos es posible evidenciar que un programa con un menor alcance, genera un impacto más profundo que uno con un mayor número de beneficiarios. 

Por otro lado, genera beneficios, pues permite conocer si el programa es efectivo o si hay cambios que deben hacerse para mejorar sus resultados. La verdad es que si no se sabe si el programa está teniendo el efecto deseado y en qué medida, puede que se esté gastando más dinero del que realmente hace falta para lograr el cambio al que se apunta.

También se trata de responder, muy sinceramente, a esta pregunta: ¿cuánto estás dispuesto a invertir en la medición de impacto de tu proyecto? 

Una respuesta honesta a esta interrogante ayuda a sincerar el presupuesto de la iniciativa social, puede dar una buena idea sobre el alcance y la calidad de los resultados a los que se puede aspirar.

Un vez hechos estos ejercicios reflexivos, es hora de ponerse práctico para lo cual es necesario empezar por:

• Realizar la Teoría del cambio del proyecto o programa
• Seleccionar la metodología de la medición
• Definir la metodología de recolección y análisis de datos

Estos son ítems que implicarán la porción más importante del presupuesto porque conllevan el uso de recursos, tiempo y personas que generan los costos más altos dentro de la medición.

Ante estos costos, es importante tener presente que la medición de impacto social, en el mediano y largo plazo, termina incidiendo en la mejora del propio programa y de algunos procesos internos. Es decir, en el fortalecimiento de la organización.

Entonces, al invertir en medición, en realidad se está invirtiendo en mejora, fortalecimiento y crecimiento organizacional.

Asimismo, desde Cuantix recomendamos que la partida de medición de impacto esté incluida en el apartado de ejecución del programa, para que se considere como parte del programa desde esa instancia.