A Meta-Evaluation of Sustainable Land Management Initiatives in Senegal
Total Page:16
File Type:pdf, Size:1020Kb
le débat sur les critères déterminant les interventions à évaluer, le moment choisi pour les évaluations et la façon dont elle sont conduites. A Meta-evaluation of Sustainable Land Management Initiatives in Senegal. DOCTORAL THESIS Presented by Mònica Lomeña-Gelis Directed by Jordi Morató and María Bustelo 2015 Thesis submitted to obtain the Doctorate title awarded by the Universitat Politècnica de Catalunya SUMMARY Evaluation is the systematic determination of the merit, worth and significance of a programme, initiative or intervention. As a young discipline, its empirical study is still limited, especially in Francophone Africa. Building on both the theory and the practice of evaluation in Senegal for the past decades, this study aims to identify strategies to improve evaluation practice and its usefulness for development results. It is focused on the evaluation of Sustainable Land Management (SLM) that presents specific challenges associated with the difficulty of considering simultaneously the different time and space scales of the environment, the economy and the society; and of dealing with the uncertainty and the limited quantity and quality of context data, among others. The study is based on an extensive review of the specialized literature on environment and development issues, the institutional and policy setting, complemented with semi-structured interviews with national authorities, donor representatives and evaluators. Participant observation also helped to ground the analysis and to access key grey literature and evaluation reports. Meta-evaluation (MEv) is proposed as the analytical framework to study the SLM evaluation practice in Senegal to improve evaluative knowledge. MEv is the evaluation of evaluations. The theoretical function of MEv has been developed to assess the role of evaluation in the SLM policy sector, including its adequacy and opportunity. A tailored MEv framework is applied to a set of 40 SLM project evaluation reports published since 2000, and complemented with 3 case studies. The study also analyses a parallel strand of evaluation practice in Senegal: capitalizations, conceived as participatory evaluative exercises focused on stakeholders’ experiences, practices and learning. Results show that evaluation practice in SLM in Senegal is very heterogeneous and far from “sound evaluation standards”. This is explained by constraints in the enabling environment and the institutional framework and limited capacities of stakeholders at all levels. In spite of some timid advances towards country-led evaluation, serious blockages to national ownership and evaluation utilization still persist. Although the majority of interviewees perceived SLM evaluations to be participative, this study contests their understanding of participation in most cases. SLM capitalization exercises, although far from the ideal features of this learning-oriented approach are able to engage more meaningfully with local-level actors. The set of evaluations and capitalizations analysed does not offer a coherent response to the challenges of evaluating Natural Resources Management interventions identified in the literature. For instance, they do not solve the tensions among different time and space scales or encompass a wide variety of values and perspectives about those interventions. Finally, the findings suggest that SLM evaluation is still much dominated by donor agendas and aid effectiveness concerns (accountability), with very limited efforts to promote their use for improvement or learning, and hardly any to inform national policy making. The study confirms the usefulness of MEv to guide critical reflection about real-world evaluations, surpassing the narrow conception of evaluation quality. It also allows the opening of a debate about evaluation capacities understood as the faculty to choose what, when and how interventions are evaluated. MEv could be used to promote a more active involvement of Senegalese research institutes, public administration and civil society in shaping a new public policy evaluation scenario. A broader national conception of evaluation should also encompass capitalizations and other similar approaches and foster learning organizations and institutions while promoting exchanges between applied research and project and policy-level evaluation. i RESUMEN La evaluación es la investigación sistemática del mérito, valor e importancia de un programa, iniciativa o intervención. Siendo una disciplina nueva, su estudio empírico es todavía limitado, especialmente en el África francófona. En base a la teoría y la práctica de evaluación en Senegal durante las últimas décadas, este estudio pretende identificar estrategias para mejorar la evaluación y su utilidad para alcanzar resultados de desarrollo. Está focalizado en la evaluación de la Gestión Sostenible de la Tierra (GST) que presenta retos específicos asociados a la dificultad de considerar simultáneamente las diferentes escalas de tiempo y espacio del medio ambiente, la economía y la sociedad; de integrar la incertidumbre, así como la limitada cantidad y calidad de la información sobre el contexto, entre otros. El estudio está basado en una revisión extensiva de la literatura especializada en medio ambiente y desarrollo, el contexto institucional y político, complementado con entrevistas semi-estructuras con autoridades nacionales, representantes de la comunidad de donantes y evaluadores. Cuatro años de participación observante también ayudaron a contextualizar el análisis y a acceder a literatura gris y a informes de evaluación claves. El enfoque de Meta-evaluación (MEv) es propuesto como marco analítico para estudiar la práctica de evaluación de GST en Senegal con el fin de mejorar el conocimiento evaluativo. La MEv es la evaluación de evaluaciones. La función teórica de MEv ha sido desarrollada para valorar el rol de la evaluación en el sector de política de la GST, inluyendo su idoneidad y oportunidad. Un marco de MEv adaptado es aplicado a un conjunto de 40 informes de evaluación de proyectos de GST publicados a partir del 2000 y complementados con tres estudios de caso. El estudio también analiza una práctica de evaluación paralela en Senegal: las capitalizaciones, concebidas como ejercicios evaluativos participativos focalizados en las experiencias, prácticas y aprendizaje de los actores. Los resultados muestran que la práctica de evaluación de GST en Senegal es muy heterogénea y alejada de los standards de “evaluación de calidad”. Esta situación se explica por las limitaciones en el entorno favorecedor a la evaluación y el marco institucional así como las limitadas capacidades de los actores a todos los niveles. A pesar de algunos tímidos avances hacia la evaluación gestionada por el país, todavía persisten serios bloqueos para promover la apropriación nacional y la utilización de las evaluaciones en Senegal. Pese a que la mayoría de entrevistados conciben la evaluación de GST como participativa, el estudio discrepa sobre su comprensión del concepto de participación, aparte de algunos ejemplos aislados de evaluaciones inclusivas. Las capitalizaciones de GST, aunque también distan de los rasgos ideales de este enfoque orientado al aprendizaje, son capaces de involucrar de manera más significativa a los actores a nivel local. Las evaluaciones de proyecto y capitalizaciones de GST no ofrecen una respuesta coherente a los retos inherentes a la evaluación de intervenciones de Gestión de Recursos Naturales identificados en la literatura. Por ejemplo, no son capaces de resolver las tensiones entre las diferentes escalas temporales y geográficas o de integrar la variedad de valores y perspectivas sobre dichas interventions. Finalmente, los resultados sugieren que la prática de evaluación de GST está todavía mayormente dominada por las agendas de los donantes y los objetivos de efectividad de la ayuda (rendición de cuentas), con esfuerzos muy limitados para promover su utilización para la mejora o el aprendizaje, y escasamente para la elaboración de políticas. El estudio confirma la utilidad de la MEv para guiar la reflexión crítica sobre un conjunto de evaluaciones reales, más allá de la concepción restrictiva de la calidad en evaluación. También permite propiciar el debate sobre las capacidades de evaluación entendidas como la capacidad de elegir qué intervenciones son evaluadas, cuándo y cómo. La MEv podría ser utilizada para promover una implicación más activa de los institutos de investigación, las administraciones públicas y la sociedad civil senegaleses para dibujar un nuevo escenario de evaluación de políticas públicas. Una concepción amplia de la evaluación debería también incluir las capitalizaciones y otros enfoques similares y fomentar organizaciones e instituciones de conocimiento y el intercambio entre la investigación aplicada y la evaluación a nivel de proyectos, programas y políticas. ii RÉSUMÉ L´évaluation est la recherche systématique de la valeur, de la portée et de l’importance d’un programme, d’une initiative ou d’une intervention. Étant une discipline nouvelle, son étude empirique est encore limitée, particulièrement en Afrique francophone. S’appuyant sur la théorie et la pratique de l’évaluation au Sénégal au cours des dernières décennies, cette étude vise à identifier des stratégies pour améliorer l’évaluation et son utilité en vue d’atteindre des résultats de développement. Elle porte sur l’évaluation de la gestion durable des terres (GDT), qui présente des défis spécifiques en raison de la difficulté à considérer en simultané