Mind the Gap: Proposal for a Standardised Measure for SDG 4
Total Page:16
File Type:pdf, Size:1020Kb
Information Paper No. 46 October 2017 Mind the Gap: Proposal for a Standardised Measure for SDG 4– Education 2030 Agenda UNESCO The constitution of the United Nations Educational, Scientific and Cultural Organization (UNESCO) was adopted by 20 countries at the London Conference in November 1945 and entered into effect on 4 November 1946. The Organization currently has 195 Member States and 10 Associate Members. The main objective of UNESCO is to contribute to peace and security in the world by promoting collaboration among nations through education, science, culture and communication in order to foster universal respect for justice, the rule of law, and the human rights and fundamental freedoms that are affirmed for the peoples of the world, without distinction of race, sex, language or religion, by the Charter of the United Nations. To fulfil its mandate, UNESCO performs five principal functions: 1) prospective studies on education, science, cul- ture and communication for tomorrow’s world; 2) the advancement, transfer and sharing of knowledge through research, training and teaching activities; 3) standard-setting actions for the preparation and adoption of internal instruments and statutory recommendations; 4) expertise through technical cooperation to Member States for their development policies and projects; and 5) the exchange of specialized information. UNESCO Institute for Statistics The UNESCO Institute for Statistics (UIS) is the statistical office of UNESCO and is the UN depository for global statistics in the fields of education, science, technology and innovation, culture and communication. The UIS was established in 1999. It was created to improve UNESCO’s statistical programme and to develop and deliver the timely, accurate and policy-relevant statistics needed in today’s increasingly complex and rapidly changing social, political and economic environments. This paper was written by Mr Nadir Altinok, BETA, CNRS & University of Lorraine (France). BETA, UFR Faculté de Droit, Sciences Economiques et Gestion, 13, place Carnot CO 70026 54035 Nancy cedex, France. Tel: +33 3 72 74 84 52. Email: [email protected] Published in 2017 by: UNESCO Institute for Statistics P.O. Box 6128, Succursale Centre-Ville Montreal, Quebec H3C 3J7 Canada Tel: +1 514-343-6880 Email: [email protected] http://www.uis.unesco.org ISBN 978-92-9189-216-7 Ref: UIS/2017/ED/TD/9 DOI: https://doi.org/10.15220/978-92-9189-216-7-en © UNESCO-UIS 2017 This publication is available in Open Access under the Attribution-ShareAlike 3.0 IGO (CC-BY-SA 3.0 IGO) license (http://creativecommons.org/licenses/by-sa/3.0/igo/). By using the content of this publication, the users accept to be bound by the terms of use of the UNESCO Open Access Repository (http://www.unesco.org/open-access/terms-use-ccbysa-en). The designations employed and the presentation of material throughout this publication do not imply the expression of any opinion whatsoever on the part of UNESCO concerning the legal status of any country, territory, city or area or of its authori- ties or concerning the delimitation of its frontiers or boundaries. The ideas and opinions expressed in this publication are those of the authors; they are not necessarily those of UNESCO and do not commit the Organization. 3 UIS Information Paper No. 46 | 2017 Abstract. Monitoring Sustainable Development Goal 4 requires reliable, high quality and cross- nationally comparable data compiled at regular intervals. Launching such a global assessment scheme would be the ideal – but this will take years, perhaps decades. As a second-best alternative, we use a rigorous yet comprehensive methodology which provides globally comparable data for the proportion of students reaching the Minimum Proficiency Level (MPL) in reading and mathematics. Our approach creates indices of comparison between differing assessments where enough countries participate in both. This enables swift and efficient comparison, since no additional instruments or costs incurred in the anchoring process. Based on this methodology, we obtain an international dataset on students reaching the MPL in both primary and secondary schools for more than 160 countries/localities between 1995 and 2015 and for more than 30 Sub-Saharan African countries. We conduct a series of robustness tests and provide confidence intervals for each estimate in order to enhance reliability for our estimates, and we clearly delineate the limitations of the study. To the best of our knowledge, this study provides the largest and most internationally comparable information available for monitoring Sustainable Development Goal 4 for the education sector. Keywords: Quality, Human Capital, Education, Database, PISA, TIMSS, SACMEQ. JEL Classification: C8, I2, N3. 4 UIS Information Paper No. 46 | 2017 Table of contents Page 1. Introduction ������������������������������������������������������������������������������������������������������������������������������������������������������������ 7 2. Data and definition of low-performing students . 9 2.1 International and regional student achievement tests . 9 a. TIMSS . 9 b. PIRLS �������������������������������������������������������������������������������������������������������������������������������������������������������������10 c. PISA . .10 d. SACMEQ �������������������������������������������������������������������������������������������������������������������������������������������������������11 e. PASEC �����������������������������������������������������������������������������������������������������������������������������������������������������������12 f. LLECE . .12 2.2 Definition of benchmarks for reading and mathematics �����������������������������������������������������������������������������13 3. A methodology of anchoring student achievement tests ���������������������������������������������������������������������������� 16 3.1 Presentation of linking methodologies �����������������������������������������������������������������������������������������������������������16 3.2 Application of the methodology . .18 4. Results �������������������������������������������������������������������������������������������������������������������������������������������������������������������� 19 4.1 Cross-country comparison �������������������������������������������������������������������������������������������������������������������������������20 4.2 Trends over time . .22 5. Robustness checks and limits of the study . 23 5.1 Limits related to the methodology . .23 a. Differences in score distribution across assessments . .23 b. Estimation bias may also occur when populations tested differ across assessments used for the linking ���������������������������������������������������������������������������������������������������������������������������������������������25 c. The content tested may also vary among assessments �����������������������������������������������������������������������26 d. Hypothesis of absence of country-specific factors . .26 5.2 Limits related to the choice of the benchmark . .27 a. Subsample comparisons between assessments �����������������������������������������������������������������������������������27 b. The definition of the threshold for the minimum level benchmark ���������������������������������������������������28 c. Equity ratios and the choice of two different benchmarks . .29 d. Explaining the differences observed between each linking methodology . .30 5.3 Similarities and differences between international/regional and national assessments �����������������������31 6. Conclusion and recommendations �����������������������������������������������������������������������������������������������������������������������33 References . 35 List of tables Table 1. Review of main characteristics of large-scale student achievement tests ���������������������������������������������38 Table 2. Overview of proficiency levels in international and regional assessments �������������������������������������������39 Table 3. Description of the Minimum International Benchmark . .40 Table 4. List of countries used for the linking between assessments �������������������������������������������������������������������41 Table 5. Parameters of the linking methodology �����������������������������������������������������������������������������������������������������42 Table 6. Descriptive statistics for the proportion of students reaching the MPL, standardized database . .43 5 UIS Information Paper No. 46 | 2017 Table 7. Robustness check: Comparison of main statistics between assessments for the restricted doubloon countries samples . .44 Table 8. Robustness check: Effect of PISA results on TIMSS scores for doubloon countries �����������������������������45 Table 9. Robustness check: Results for anchored value of USA mean score with alternative sub-samples of doubloon countries ���������������������������������������������������������������������������������������������������������������������������������������46 Table 10. Robustness check: Comparison between different linking strategies, sample of 4 countries . .47 Table 11. Robustness check: Comparability of results between national and regional assessments . .48 List of figures Figure 1. Proportion of students reaching the MPL, mathematics, primary education ���������������������������������������49 Figure 2. Proportion of students reaching the MPL, reading, primary education. .49 Figure 3. Proportion