Shaping the Selection of Fields of Study in Afghanistan through Educational Data Mining Approaches vorgelegt von M.Sc. Abdul Rahman Sherzad geb. in Herat, Afghanistan von der Fakultät IV – Elektrotechnik und Informatik der Technischen Universität Berlin zur Erlangung des akademischen Grades Doktor der Ingenieurwissenschaften – Dr.-Ing. – genehmigte Dissertation Promotionsausschuss: Vorsitzender: Prof. Dr. Ziawasch Abedjan, Technische Universität Berlin Gutachter: Prof. Dr. Uwe Nestmann, Technische Universität Berlin Gutachter: Prof. Dr. Niels Pinkwart, Humboldt-Universität zu Berlin Gutachter: Prof. Dr. Sebastian Bab, Fachhochschule Dortmund Gutachter: Dr. Nazir Peroz, Technische Universität Berlin Tag der wissenschaftlichen Aussprache: 13. Juli 2018 Berlin 2018 ABSTRACT Every year around 250000 high school graduates participate in ‘Kankor’, the Afghan national university entrance exam, while the seating capacity of the country’s 36 public universities is one-fourth of that number. Currently, public and private sectors lack advisory systems to guide the increasing number of participants to choose their fields of study. This is further exacerbated by the fact that the Afghan high school education system and the Kankor are non-specialized and participants have only two chances to take the exam in their lifetime. Thus, participants make uninformed choices. This research is an effort to introduce a data-oriented system to support Afghan policymakers to reshape the education system and to empower advisors to recommend disciplines to test takers based on their skills and interests. This is the first such attempt in Afghanistan. The findings of this research are mainly based on 1.5 million records of Kankor candidates (2003-2015), 6000 records of high school students’ marks, more than 3000 questionnaires and interviews, author’s observations as well as empirical studies. The research findings show that high school marks alone cannot be a reliable data to replace Kankor for university admission. These research findings suggest strategic solutions for Kankor itself: an extensive model to introduce data culture in the core of the Afghan education system. The solutions offered create an evolving opportunity for the educational institutions to standardize testing approaches by considering the actual capacities and interests of test takers. This research proposes and develops the following three methods to better understand the interests, preferences and competences of applicants: (1) ‘assessment test’ to better understand the interest and tendency of Kankor applicants (2) ‘predictive models using data mining algorithms on Kankor data’ and (3) ‘recommender systems approach using high school marks’ to identify disciplines which are closest to Kankor candidates’ knowledge set, skills and preferences. The ‘e-Kankor’ is proposed to simulate the ‘actual Kankor exam’ allowing candidates to learn the importance of timeliness, methods and techniques through exam cram and to estimate the candidates’ scores prior to taking the actual Kankor. The scores are then used in the ‘prediction models’ as input data. The models proposed and developed in this research, if executed systematically, will on average support 250000 Kankor participants every year in choosing their fields of study judiciously. Moreover, they will support nearly 1000000 students who are currently in high school. That would shape and transform the selection of careers for generations to come. The developed models provide a roadmap for systematic student advising to become an integral part of the education structures. This research establishes the foundations to streamline standardized testing in a country which is in the very initial stages of experiencing the power of data. Such a transformation, powered by insight from data, may be the beginning of a paradigm shift. The models and findings of this research have the potential to be contextualized and applied in other countries that share a similar education system to Afghanistan. This research is also important in the field of educational data mining independent of the case study on Afghanistan. Finally, this work opens up numerous opportunities for further investigations in the future. ii ZUSAMMENFASSUNG Jedes Jahr nehmen rund 250000 Schulabsolventen an der afghanischen nationalen Aufnahmeprüfung Kankor teil, wobei die Kapazität der 36 staatlichen Universitäten des Landes ein Viertel dieser Zahl ausmacht. Derzeit fehlt es dem öffentlichen und dem privaten Sektor an Beratungssystemen, um die steigende Zahl von Teilnehmern bei der Auswahl ihrer Studienfächer zu unterstützen. Dies wird noch dadurch verstärkt, dass das afghanische Schulsystem und Kankor nicht spezialisiert sind und die Teilnehmer nur zwei Chancen haben, das Examen in ihrem Leben zu absolvieren. Somit treffen die Teilnehmer uninformierte Entscheidungen. Diese Forschung ist ein Versuch, ein datenorientiertes System einzuführen, um afghanische Politiker dabei zu unterstützen, das Bildungssystem umzugestalten und Berater zu befähigen, den Testteilnehmern Fachdisziplinen basierend auf ihren Fähigkeiten und Interessen zu empfehlen. Dies ist der erste derartige Versuch in Afghanistan. Die Ergebnisse dieser Forschung basieren hauptsächlich auf 1,5 Millionen Aufzeichnungen von Kankor-Kandidaten (2003-2015), 6000 Aufzeichnungen von Abschlussnoten, mehr als 3000 Fragebögen und Interviews, Autorenbeobachtungen sowie empirischen Studien. Die Forschungsergebnisse zeigen, dass High-School-Noten allein keine verlässlichen Daten sein können, um Kankor für die Aufnahme in die Universität zu ersetzen. Die Forschungsergebnisse dieser Arbeit schlagen strategische Lösungen für Kankor selbst vor: ein umfassendes Modell zur Einführung einer Datenkultur in den Kern des afghanischen Bildungssystems. Die angebotenen Lösungen schaffen eine sich entwickelnde Möglichkeit für die Bildungseinrichtungen, Testansätze zu standardisieren, indem die tatsächlichen Fähigkeiten und Interessen der Testteilnehmer berücksichtigt werden. Diese Forschung empfiehlt und entwickelt die folgenden drei Methoden, um die Interessen, Präferenzen und Kompetenzen der Bewerber besser zu verstehen: (1) ein "Assessment-Test", um das Interesse und die Tendenz der Kankor-Bewerber besser zu verstehen (2) "Vorhersagemodelle auf Basis von Data-Mining-Algorithmen auf den Kankordaten" sowie (3)"Empfehlungssystem-Ansätze auf Basis von Schulnoten", um Disziplinen zu ermitteln, die den Kenntnissen, Fähigkeiten und Vorlieben der Kankor-Kandidaten am nächsten sind. Der "E-Kankor" wird vorgeschlagen, um die "tatsächliche Kankor-Prüfung" zu simulieren, die es Kandidaten ermöglicht, die Wichtigkeit von Aktualität, Methoden und Techniken der Prüfung zu lernen und die Punktzahlen der Kandidaten zu schätzen, bevor der eigentliche Kankortest absolviert wird. Die Bewertungen werden dann in den "Vorhersagemodellen" als Input Daten verwendet. Die in dieser Arbeit vorgeschlagenen und entwickelten Modelle werden, wenn sie systematisch durchgeführt werden, im Durchschnitt 250000 Kankor-Teilnehmer pro Jahr bei der Auswahl ihrer Studienfächer unterstützen. Darüber hinaus werden sie fast 1000000 Schüler unterstützen, die derzeit in der Schule sind. Das würde die Auswahl an Karrieren für künftige Generationen prägen und verändern. Die entwickelten Modelle bieten eine Roadmap für die systematische Beratung von Studierenden, um ein integraler Bestandteil der Bildungsstrukturen zu werden. Diese Untersuchung schafft die Grundlagen für die Rationalisierung von standardisierten Tests in einem Land, das sich gerade in der Anfangsphase hinsichtlich eines Erlebens der Macht der Daten befindet. Eine solche Transformation, die auf Daten basiert, könnte der Beginn eines Paradigmenwechsels sein. Die Modelle und Ergebnisse dieser Forschung können in anderen Ländern, die ein ähnliches Bildungssystem wie Afghanistan haben, kontextualisiert und angewendet werden. Diese Forschung ist auch unabhängig von der Fallstudie Afghanistan für den Bereich des Educational Data Mining relevant. Schließlich eröffnet diese Arbeit zahlreiche Möglichkeiten für weitere Untersuchungen in der Zukunft. iii ACKNOWLEDGEMENTS First and foremost, I would like to express my sincere gratitude to my advisor professors, Prof. Dr.- Ing. Uwe Nestmann, Prof. Dr. Sebastian Bab, and Dr. Nazir Peroz for their unceasing support towards my PhD; not just for their insightful guidance and encouragement but also for their thoughtful and cross-cutting intricacy which broadened both the technical and philosophical aspects of this research from various angles. Their guidance helped me throughout my research and writing of this dissertation. My gratitude and appreciations also go to Prof. Dr. Niels Pinkwart, who provided me an opportunity to present my topic to his research team, and willingly accepted to be my referee as well as to Prof. Dr. Ziawasch Abedjan, the chairperson of the doctoral examination board. Thank you very much, Prof. Pinkwart and Prof. Abedjan. Regarding the paperwork, administration processes and other support I would like to express my sincere thanks to the ZiiK team of TU-Berlin (Agnieszka Zielinska, Andrea Hillenbrand, Anna Marković, Chi-Thanh Christopher Nguyen, Daniel Tippmann, Marius Mailänder, Stefan Heil, Tilman Schieber, Vanessa Hüber and other team members) for their gracious support and guidance. It has been instrumentally helpful. Kudos to DAAD, TU-Berlin and the Government of Germany for their generous support and commitment towards capacity building and capacity strengthening