Nota: Esta entrada de blog es la tercera de una serie de cuatro partes que exploran cómo Root Capital mide y gestiona el impacto de nuestros préstamos. Leer partes
un
,
dos
y cuatro.
Hace varios años, un agricultor de mango de Burkina Faso nos dijo algo que cambió para siempre nuestro enfoque de la evaluación de impacto.
«No quiero responder a ninguna pregunta», dijo el granjero cuando se le acercó uno de nuestros encuestadores de impacto. «Aquí vienes a hacernos las mismas preguntas tontas que vas a vender a los patrocinadores de la ayuda…. Me preguntarás mi nombre, el tamaño de mi familia, los tipos de bienes que tengo…. Ve a coger las respuestas del [other organizations’ surveys] que te proporcionamos el año pasado.»
Como organización sin ánimo de lucro impulsada por una misión, es imprescindible que sepamos si nuestros servicios funcionan y cómo podemos mejorarlos. Pero para ese agricultor de mangos, comprensiblemente, nuestro enfoque de la evaluación de impacto parecía extractivo. Desde ese día, hemos evolucionado continuamente nuestros esfuerzos de evaluación de impacto para generar el máximo valor no sólo para nosotros, sino también para nuestros socios de las comunidades rurales. He aquí cómo.
¿Por qué evaluar el impacto?
En el primer post de esta serie, hablamos de por qué Root Capital mide el impacto: nos ayuda a calibrar nuestro progreso y a averiguar cómo asignar recursos limitados al cambio más positivo. Empezamos estimando el impacto probable de los posibles préstamos y prestatarios mediante nuestra diligencia debida social y medioambiental. (Nota: Lee más sobre nuestro enfoque de diligencia debida en segunda parte de esta serie ). Como complemento, en 2011 empezamos a realizar evaluaciones de impacto en profundidad. Estas evaluaciones miden el impacto real que tienen nuestros servicios en las empresas agrícolas de nuestros clientes, y el impacto que estas empresas tienen en los pequeños agricultores. Hasta la fecha, hemos realizado estudios de impacto con más de 30 clientes y tenemos otros 10 estudios en curso.
La evaluación de impacto construye una base de pruebas que tiene aplicaciones tanto internas como externas. Internamente, los resultados de nuestras evaluaciones de impacto nos ayudan a aprender lo que funciona bien y a adaptar nuestros servicios en consecuencia. Nos permiten probar y validar nuestra teoría del cambio. Externamente, estos resultados nos ayudan a mantener la responsabilidad ante nuestras partes interesadas: tanto las comunidades rurales a las que servimos como los donantes e inversores cuyo capital permite nuestro trabajo. Para nuestras empresas agrícolas clientes, nuestras evaluaciones les ayudan a definir su propio impacto y a recibir la opinión de sus miembros. Además, como compartimos públicamente los resultados de nuestros estudios de impacto, pueden informar de los esfuerzos de otros proveedores de servicios rurales. Aprendiendo lo que funciona, contribuimos a un cuerpo de conocimientos que impulsa la inversión en estrategias adaptables y escalables.
¿Cómo evaluamos el impacto?
Hasta la fecha, Root Capital se ha centrado en medir cuatro cubos de impacto:
1) La eficacia de nuestro enfoque crediticio (por ejemplo, ¿ha crecido la empresa y qué papel ha desempeñado Root Capital en ese crecimiento?)
2) El impacto que tienen nuestros clientes prestamistas en sus agricultores;
3) Cómo varían esas repercusiones en los distintos grupos demográficos, como las mujeres y los jóvenes; y
4) La satisfacción de agricultores y empleados con las empresas de nuestros clientes.
Para evaluarlas, utilizamos diversos métodos: desde estudios de casos prácticos a evaluaciones de rendimiento, pasando por enfoques cuasi experimentales y experimentales. El método exacto depende de lo que estemos evaluando, de cuáles sean nuestros objetivos de aprendizaje y de los recursos de que dispongamos. En la mayoría de los casos, realizamos las evaluaciones internamente. Reconociendo la importancia vital de la evaluación, a lo largo de los años hemos creado un equipo interno de impacto con una sólida experiencia y conocimientos. Estos miembros del personal tienen un profundo conocimiento de nuestro trabajo, de nuestros clientes y de las comunidades rurales que enriquece nuestros esfuerzos de evaluación. Cuando es necesario, lo complementamos con expertos externos.
¿Qué hemos aprendido?
Durante la última década y más de 30 estudios de impacto, hemos aprendido mucho. He aquí algunas de las lecciones que nos han ayudado a evolucionar nuestro enfoque de la evaluación de impacto.
Lección nº 1 – Utilizar un enfoque participativo y centrado en elcliente
Volviendo a aquel agricultor de mangos de Burkina Faso. Lo que nos contó, en 2011, fue una llamada de atención para Root Capital. Las buenas intenciones no bastan. Tenemos que poner a nuestros clientes, sus agricultores y empleados en el centro mismo de nuestras evaluaciones. Esto significa conocerlos allí donde están: viajar a comunidades remotas, trabajar en función de sus horarios y, lo que es más importante, comprender qué hará que nuestras evaluaciones les resulten útiles. Hemos aprendido a empezar cada estudio de impacto implicando a los clientes directamente en el diseño de la encuesta, y a compartir los resultados con ellos primero, antes de difundirlos públicamente. Este enfoque participativo maximiza el valor no sólo para nosotros, sino también para las comunidades a las que servimos.
Lección nº 2 – Elige el enfoque de evaluación adecuado para tus recursos
En 2016, Root Capital trabajó con la «Iniciativa Ricitos de Oro» de Innovations for Poverty Action para revisar nuestro enfoque de la evaluación. Nos ayudaron a comprender que las evaluaciones aleatorias no suelen ser factibles para nosotros debido al tamaño de nuestros préstamos, la naturaleza de nuestro trabajo y el hecho de que trabajamos con un número limitado de empresas a la vez. Al desarrollar un enfoque de evaluación, equilibramos nuestros objetivos de aprendizaje con nuestros recursos disponibles para determinar la metodología más adecuada. Como organización sin ánimo de lucro, Root Capital depende del apoyo filantrópico para realizar evaluaciones de impacto, y tenemos la suerte de contar con socios filantrópicos que reconocen la importancia de este trabajo. Pero aún tenemos que equilibrar el coste de la evaluación con los beneficios que podemos obtener nosotros, nuestros clientes, nuestros financiadores y otros socios. Nuestra capacidad de evaluación interna nos ayuda a mantener los costes muy por debajo del coste típico de las evaluaciones de impacto externas. Al basarnos en los datos de seguimiento existentes, contratar y formar nosotros mismos a los recopiladores de datos, y emplear métodos analíticos que requieren menos rondas de recopilación de datos, podemos realizar evaluaciones internas por una fracción del coste de una evaluación externa. Sin embargo, si la escala o el enfoque de la evaluación lo requieren, trabajamos con consultores externos para que nos proporcionen recopilación de datos, conocimientos técnicos o incluso evaluaciones completas.
Lección nº 3 – Desarrollar asociaciones de investigación yevaluación
Cuando inicias tus propias evaluaciones de impacto, es esencial contar con socios. En Root Capital, hemos aprendido a reconocer nuestras propias limitaciones. Al fin y al cabo, no somos una empresa de evaluación de impacto, sino una organización sin ánimo de lucro apasionada por las pruebas y la rendición de cuentas. Por eso colaboramos estrechamente con expertos externos para complementar nuestros esfuerzos de evaluación interna. Por ejemplo, al llevar a cabo nuestra última evaluación cuasi experimental, contamos con el asesoramiento técnico de Dan Stein, Economista Jefe de IDInsight, que trabajó con nosotros como consultor independiente. También trabajamos con socios de investigación en el país, como Participatory Development Associates, que nos proporcionan un apoyo inestimable en la recogida de datos y el análisis independiente. Los socios externos también han realizado rigurosos estudios independientes de Root Capital que informan nuestras estrategias globales; por ejemplo, los economistas Rocco Macchiovello y Arthur Blouin publicaron el año pasado un estudio que destacaba el impacto de Root Capital en una revista revisada por expertos. Mediante estas asociaciones, maximizamos la calidad de nuestras evaluaciones, aumentamos la amplitud de nuestro aprendizaje y probamos de forma independiente nuestra teoría del cambio.
Lección nº 4 – Utilizar enfoques innovadores para aumentar el rigor cuando seanecesario
Aunque nuestros recursos son limitados, nos esforzamos continuamente por aumentar el rigor, con el fin de generar aún más confianza en nuestros hallazgos. En 2018, con el apoyo de la Fundación Wagner, Root Capital puso en marcha sus primeros estudios cuasi experimentales. Nos propusimos medir las ganancias de ingresos de los agricultores afiliados a las empresas de nuestros clientes, un resultado muy importante, pero difícil de medir. No disponíamos de fondos para hacer varias rondas de recogida de datos, ni teníamos datos de referencia de antes de empezar a conceder préstamos a estas empresas. Teniendo esto en cuenta, empleamos un enfoque denominado emparejamiento retrospectivo de grupos de comparación, un nombre elegante para el proceso de emparejar estadísticamente a los agricultores de tratamiento (los afiliados a nuestras empresas clientes) con los agricultores de comparación (agricultores que producen los mismos cultivos en las mismas regiones, pero que no pertenecen a una empresa financiada por Root Capital) en función de ciertas características de referencia. Este proceso reduce las diferencias previas a la intervención entre los grupos de tratamiento y de comparación, ayudando a evitar sesgos en los resultados de nuestra evaluación. (En la cuarta parte de esta serie, presentaremos las conclusiones de esos estudios de ingresos incrementales).
Estas lecciones, y muchas otras, guían nuestros esfuerzos cada vez mayores por comprender el impacto del trabajo de Root Capital. Por ejemplo, el año pasado añadimos cuatro estudios de evaluación del rendimiento de nuestros servicios de asesoramiento para complementar los que hemos hecho sobre nuestros préstamos. Hemos recorrido un largo camino desde que entrevistamos a aquel agricultor de mangos, gracias a nuestro compromiso de aprendizaje y mejora continuos, y pensamos seguir evolucionando. Al invertir en la evaluación del impacto, nos aseguramos de que «transformar las comunidades rurales» sean algo más que palabras en nuestra declaración de objetivos.
Lee las partes primera, segunda y cuarta de esta serie de cuatro partes que explora cómo Root Capital mide y gestiona el impacto de nuestros préstamos.