La evaluación de impacto en la práctica Segunda edición Se recomienda visitar el sitio web del libro La evaluación de impacto en la práctica en http://www.worldbank.org/ieinpractice. El sitio web contiene materiales de apoyo, e incluye soluciones para las preguntas del estudio de caso HISP del libro, así como la correspondiente base de datos y el código de análisis del software Stata; un manual técnico que proporciona un tratamiento más formal del análisis de datos; presentaciones de PowerPoint relacionadas con los capítulos; una versión en línea del libro con hipervínculos a los sitios web, y enlaces con otros materiales. Este libro ha sido posible gracias al generoso apoyo del Fondo Estratégico de Evaluación de Impacto (SIEF, por sus siglas en inglés: Strategic Impact Evaluation Fund ). Lanzado en 2012 con apoyo del Departamento para el Desarrollo Internacional del Reino Unido, el SIEF es un programa de alianzas que promueve la elaboración de políticas públicas basadas en la evidencia. Actualmente se centra en cuatro ámbitos cruciales para un desarrollo humano saludable: educación básica, sistemas de salud y prestación de servicios, desarrollo infantil temprano y nutrición, y agua y saneamiento. El SIEF funciona en todo el mundo, sobre todo en países de bajos ingresos, aportando conocimientos expertos sobre la evaluación de impacto, y evidencia para diversos programas y equipos de elaboración de políticas públicas. La evaluación de impacto en la práctica Segunda edición Paul J. Gertler, Sebastián Martínez, Patrick Premand, Laura B. Rawlings y Christel M. J. Vermeersch © 2017 Banco Internacional para la Reconstrucción y el Desarrollo/Banco Mundial 1818 H Street NW, Washington, DC 20433 Teléfono: 202-473-1000; Internet: www.worldbank.org Algunos derechos reservados 1 2 3 4 20 19 18 17 Los hallazgos, interpretaciones y conclusiones recogidas en esta obra no reflejan necesariamente el punto de vista del Banco Mundial ni de su Directorio Ejecutivo, del Banco Interamericano de Desarrollo, de su Directorio Ejecutivo ni de los gobiernos que representan. El Banco Mundial y el Banco Interamericano de Desarrollo no garantizan la precisión de los datos incluidos en esta obra. Las fronteras, colores, denominaciones y otra información de cualquier mapa en esta obra no implican ningún juicio por parte del Banco Mundial ni el Banco Interamericano de Desarrollo en relación con el estatus legal de cualquier territorio ni la aprobación ni aceptación de dichas fronteras. Ningún contenido de esta obra constituirá o será considerado como una limitación ni renuncia de los privilegios e inmunidades del Banco Mundial ni del Banco Interamericano de Desarrollo, privilegios e inmunidades específica- mente reservados. Derechos y permisos Esta obra está disponible bajo la licencia de atribución de Creative Commons 3.0 IGO (CC BY 3.0 IGO) http:// creativecommons.org/licenses/by/3.0/igo. En el marco de la licencia de atribución Creative Commons, se permite copiar, distribuir, transmitir y adaptar esta obra, incluso para objetivos comerciales, bajo las siguientes condiciones: Atribución: se ruega citar la obra de la siguiente manera: Gertler, Paul J., Sebastián Martínez, Patrick Premand, Laura B. Rawlings y Christel M. J. Vermeersch. 2017. La evaluación de impacto en la práctica, Segunda edición. Washington, DC: Banco Interamericano de Desarrollo y Banco Mundial. doi:10.1596/978-1-4648-0888-3. Licencia de atribución: Creative Commons CC BY 3.0 IGO Traducciones: Si se procede a una traducción de esta obra, se ruega añadir la siguiente exención de responsabilidad con la atribución: Esta traducción no es una creación del Banco Mundial y no se debería considerar una traducción oficial del Banco Mundial. El Banco Mundial no será responsable de ningún contenido o error en esta traducción. Adaptaciones: Si se crea una adaptación de esta obra, se ruega añadir la siguiente exención de responsabilidad o con la siguiente atribución: Ésta es una adaptación de una obra original del Banco Mundial. Las ideas y opiniones expresadas en la adaptación son responsabilidad exclusiva del autor o de los autores de la adaptación y no han sido refrendadas por el Banco Mundial. Contenidos de terceros: El Banco Mundial no es dueño necesariamente de cada componente del contenido de este trabajo. Por lo tanto, el Banco Mundial no garantiza que el uso de cualquier componente individual o parte propiedad de terceros contenido en la obra no vulnerará los derechos de esos terceros. El riesgo de reclamaciones que resulten de dicha vulneración incumbe solo a usted. Si quiere reutilizar un componente de la obra, es responsabilidad suya determinar si se requiere una autorización para esa reutilización y para obtener permiso del dueño de los derechos de autor. Los ejemplos de los componentes pueden incluir cuadros, gráficos o imágenes, si bien no están limitados a ellos. Todas las consultas sobre derechos y licencias deberán dirigirse a la División de Publicación y Conocimiento, Banco Mundial, 1818 H Street NW, Washington, DC 20433, EE.UU.; fax: 202-522-2625; e-mail: [email protected]. ISBN (papel): 978-1-4648-0888-3 ISBN (electrónica): 978-1-4648-0989-7 DOI: 10.1596/978-1-4648-0888-3 Ilustración: C. Andrés Gómez-Peña y Michaela Wieser Diseño de la tapa: Critical Stages CONTENIDOS Prólogo xv Agradecimientos xxi Acerca de los autores xxiii Abreviaturas xxvii PRIMERA PARTE. INTRODUCCIÓN A LA EVALUACIÓN DE IMPACTO 1 Capítulo 1. ¿Por qué evaluar? 3 La formulación de políticas basada en evidencia 3 ¿Qué es la evaluación de impacto? 7 Evaluación de impacto prospectiva versus evaluación retrospectiva 10 Estudios de eficacia y estudios de efectividad 12 Enfoques complementarios 14 Consideraciones éticas con respecto a la evaluación de impacto 22 La evaluación de impacto en las decisiones de políticas 24 La decisión de llevar a cabo una evaluación de impacto 29 Capítulo 2. La preparación de una evaluación 35 Pasos iniciales 35 Construcción de una teoría del cambio 36 Desarrollo de una cadena de resultados 38 La especificación de las preguntas de la evaluación 40 La selección de indicadores de resultados y desempeño 46 Lista de verificación: datos para los indicadores 47 SEGUNDA PARTE. CÓMO EVALUAR 51 Capítulo 3. Inferencia causal y contrafactuales 53 Inferencia causal 53 v El contrafactual 55 Dos estimaciones falsas del contrafactual 60 Capítulo 4. La asignación aleatoria 71 La evaluación de programas basados en reglas de asignación 71 La asignación aleatoria del tratamiento 72 Lista de verificación: la asignación aleatoria 91 Capítulo 5. Las variables instrumentales 99 La evaluación de programas cuando no todos cumplen su asignación 99 Tipos de estimaciones de impacto 100 El cumplimiento imperfecto 102 Promoción aleatoria como variable instrumental 112 Lista de verificación: promoción aleatoria como variable instrumental 122 Capítulo 6. Diseño de regresión discontinua 125 Evaluación de programas que utilizan un índice de elegibilidad 125 El diseño de regresión discontinua difuso 131 Verificación de la validez del diseño de regresión discontinua 132 Limitaciones e interpretaciones del método de diseño de regresión discontinua 137 Lista de verificación: diseño de regresión discontinua 139 Capítulo 7. Diferencias en diferencias 143 Evaluación de un programa cuando la regla de asignación es menos clara 143 El método de diferencias en diferencias 144 ¿Qué utilidad tiene el método de diferencias en diferencias? 148 El supuesto de “tendencias iguales” en el método de diferencias en diferencias 150 Limitaciones del método de diferencias en diferencias 156 Verificación: diferencias en diferencias 156 Capítulo 8. Pareamiento 159 Construcción de un grupo de comparación artificial 159 Pareamiento por puntajes de propensión 161 La combinación del pareamiento con otros métodos 164 Limitaciones del método de pareamiento 173 Verificación: el pareamiento 174 vi La evaluación de impacto en la práctica Capítulo 9. Cómo abordar las dificultades metodológicas 177 Efectos heterogéneos del tratamiento 177 Efectos no intencionados en la conducta 178 Imperfección del cumplimiento 179 El efecto de derrame 181 El desgaste 188 Programación en el tiempo y persistencia de los efectos 191 Capítulo 10. Evaluación de programas multifacéticos 195 Evaluación de programas que combinan diversas opciones de tratamiento 195 Evaluación de programas con diferentes niveles de tratamiento 196 Evaluación de múltiples intervenciones 199 TERCERA PARTE. CÓMO IMPLEMENTAR UNA EVALUACIÓN DE IMPACTO 205 Capítulo 11. Elección de un método de evaluación de impacto 207 ¿Qué método usar en un determinado programa? 207 Cómo las reglas operativas de un programa pueden contribuir a elegir un método de evaluación de impacto 208 Una comparación de métodos de evaluación de impacto 214 Cómo encontrar la unidad de intervención más pequeña factible 218 Capítulo 12. Gestión de una evaluación de impacto 223 Gestión del equipo, del tiempo y del presupuesto de una evaluación 223 Roles y responsabilidades de los equipos de investigación y de políticas públicas 224 Establecer una colaboración 231 Cómo programar una evaluación en el tiempo 237 Cómo elaborar un presupuesto para una evaluación 240 Capítulo 13. La ética y la ciencia en la evaluación de impacto 257 La gestión de evaluaciones éticas y creíbles 257 La ética de llevar a cabo evaluaciones de impacto 258 Garantizar evaluaciones fiables y creíbles mediante la ciencia abierta 264 Lista de verificación: una evaluación de impacto ética y creíble 271 Capítulo 14. Divulgación de resultados y generación de impacto en las políticas públicas 275 Una base de evidencia sólida para las políticas públicas 275 Contenidos vii Elaboración a la medida de una estrategia de comunicación para diferentes públicos 279 Divulgación de los resultados 283 CUARTA PARTE. CÓMO OBTENER DATOS PARA UNA EVALUACIÓN DE IMPACTO 289 Capítulo 15. La elección de una muestra 291 El muestreo y los cálculos de potencia 291 Elaboración de una muestra 291 La decisión sobre el tamaño de la muestra de una evaluación de impacto: cálculos de potencia 297 Capítulo 16. Encontrando fuentes adecuadas de datos 323 Tipos de datos necesarios 323 La utilización de datos cuantitativos existentes 326 La recopilación de datos de nuevas encuestas 332 Capítulo 17.