Hasso Plattner Institute for Digital Engineering at the University of Potsdam Enterprise Platform and Integration Concepts Research Group Prof. Dr. h.c. mult. Hasso Plattner Situational Interventions and Peer Feedback in Massive Open Online Courses Narrowing the Gap Between Learners and Instructors in Online Programming Education Dissertation submitted in partial fulfillment of the requirements for the academic degree of Doctor of Natural Sciences (Dr. rer. nat.) in the scientific discipline of Practical Computer Science to the Digital Engineering Faculty at the University of Potsdam by Ralf Teusner, M.Sc. Potsdam, January 8th,2020 Supervisors Prof. Dr. h.c. mult. Hasso Plattner Hasso Plattner Institute for Digital Engineering Prof. Dr. Falk Uebernickel Hasso Plattner Institute for Digital Engineering Prof. Dr. Helmut Krcmar Technical University of Munich Published online on the Publication Server of the University of Potsdam: https://doi.org/10.25932/publishup-50758 https://nbn-resolving.org/urn:nbn:de:kobv:517-opus4-507587 Abstract Massive Open Online Courses (MOOCs) open up new opportunities to learn a wide variety of skills online and are thus well suited for individual education, especially where proficient teachers are not available locally. At the same time, modern society is undergoing a digital transformation, requiring the training of large numbers of current and future employees. Abstract thinking, logical reasoning, and the need to formulate instructions for computers are becoming increasingly relevant. A holistic way to train these skills is to learn how to pro- gram. Programming, in addition to being a mental discipline, is also considered a craft, and practical training is required to achieve mastery. In order to e↵ectively convey programming skills in MOOCs, practical exercises are incorporated into the course curriculum to o↵er students the necessary hands-on experience to reach an in-depth understanding of the programming concepts presented. Our preliminary analysis showed that while being an integral and rewarding part of courses, practical exercises bear the risk of overburdening students who are struggling with conceptual misunderstandings and unknown syntax. In this the- sis, we develop, implement, and evaluate di↵erent interventions with the aim to improve the learning experience, sustainability, and success of online program- ming courses. Data from four programming MOOCs, with a total of over 60,000 participants, are employed to determine criteria for practical programming ex- ercises best suited for a given audience. Based on over five million executions and scoring runs from students’ task submissions, we deduce exercise difficulties, students’ patterns in approaching the exercises, and potential flaws in exercise descriptions as well as prepara- tory videos. The primary issue in online learning is that students face a so- cial gap caused by their isolated physical situation. Each individual student usually learns alone in front of a computer and su↵ers from the absence of a pre-determined time structure as provided in traditional school classes. Further- more, online learning usually presses students into a one-size-fits-all curriculum, which presents the same content to all students, regardless of their individual needs and learning styles. Any means of a personalization of content or indi- vidual feedback regarding problems they encounter are mostly ruled out by the discrepancy between the number of learners and the number of instructors. This results in a high demand for self-motivation and determination of MOOC par- ticipants. Social distance exists between individual students as well as between students and course instructors. It decreases engagement and poses a threat to learning success. Within this research, we approach the identified issues within MOOCs and suggest scalable technical solutions, improving social interaction and balancing content difficulty. Our contributions include situational interventions, approaches for personaliz- ing educational content as well as concepts for fostering collaborative problem- solving. With these approaches, we reduce counterproductive struggles and cre- ate a universal improvement for future programming MOOCs. We evaluate our approaches and methods in detail to improve programming courses for students as well as instructors and to advance the state of knowledge in online education. Data gathered from our experiments show that receiving peer feedback on one’s programming problems improves overall course scores by up to 17%. Merely the act of phrasing a question about one’s problem improved overall scores by about 14%. The rate of students reaching out for help was significantly improved by situational just-in-time interventions. Request for Comment interventions in- creased the share of students asking for help by up to 158%. Data from our four MOOCs further provide detailed insight into the learning behavior of stu- dents. We outline additional significant findings with regard to student behavior and demographic factors. Our approaches, the technical infrastructure, the nu- merous educational resources developed, and the data collected provide a solid foundation for future research. Zusammenfassung MOOCs (Massive Open Online Courses) erm¨oglichen es jedem Interessierten sich in verschiedenen Fachrichtungen online weiterzubilden. Sie f¨ordern die pers¨onliche individuelle Entwicklung und erm¨oglichen lebenslanges Lernen auch dort, wo geeignete Lehrer nicht verfugbar¨ sind. Unsere Gesellschaft befindet sich derzeit in der sogenannten digitalen Transformation“. Von vielen Arbeitneh- ” mern werden in diesem Zusammenhang zunehmend F¨ahigkeiten wie abstraktes Denken und logisches Schlussfolgern erwartet. Das Erlernen einer Programmier- sprache ist eine geeignete M¨oglichkeit, diese F¨ahigkeiten zu erlangen. Obwohl Programmieren als geistige Disziplin angesehen wird, ist es zu einem gewissen Grad auch ein Handwerk, bei dem sich das individuelle K¨onnen insbesondere durch stetige praktische Anwendung entwickelt. Um Programmierkenntnisse ef- fektiv in einem MOOC zu vermitteln, sollten daher praktische Aufgaben von vornherein in den Lehrsto↵des Kurses integriert werden, um die vorgestellten Konzepte geeignet zu vertiefen und zu festigen. Neben den positiven Aspek- ten fur¨ die Lernenden weisen praktische Programmieraufgaben jedoch auch ein erh¨ohtes Frustpotential auf. Kryptische Fehlermeldungen und teils unbekannte Syntax uberfordern¨ insbesondere diejenigen Teilnehmer, welche zus¨atzlich mit konzeptionellen Missverst¨andnissen zu k¨ampfen haben. Im Rahmen dieser Arbeit entwickeln und analysieren wir mehrere Interventi- onsm¨oglichkeiten um die Lernerfahrung und den Lernerfolg von Teilnehmern in Programmier-MOOCs zu verbessern. Daten von uber¨ 60.000 Teilnehmern aus vier Programmier-MOOCs bilden die Grundlage fur¨ eine Analyse von Kriterien fur¨ geeignete Programmieraufgaben fur¨ spezifische Teilnehmergruppen. Auf Ba- sis von 5 Millionen Codeausfuhrungen¨ von Teilnehmern leiten wir Schwachstel- len in Aufgaben und typische Herangehensweisen der Teilnehmer ab. Die Haupt- schwierigkeit beim Lernen in einer virtuellen Umgebung ist die durch physische Isolation hervorgerufene soziale Entkopplung. Jeder Teilnehmer lernt alleine vor einem Bildschirm, ein gemeinsamer Stundenplan wie im klassischen Schulunter- richt fehlt. Weiterhin pr¨asentieren bestehende online Kurse den Teilnehmern in der Regel lediglich universell einsetzbare Lerninhalte, welche in keiner Weise auf die jeweiligen Bedurfnisse¨ und Vorerfahrungen der individuellen Teilnehmer angepasst sind. Personalisierte Lerninhalte bzw. individuelles Feedback sind in MOOCs aufgrund der großen Anzahl an Teilnehmern und der nur kleinen An- zahl an Lehrenden oft nur schwer bzw. gar nicht zu realisieren. Daraus resultie- ren wiederum hohe Anforderungen an das individuelle Durchhalteverm¨ogen und die Selbstmotivation der MOOC-Teilnehmer. Die soziale Entkopplung manifes- tiert sich sowohl zwischen den Teilnehmern untereinander als auch zwischen den Lehrenden und den Teilnehmern. Negative Folgen sind ein h¨aufig verringertes Engagement und damit eine Gef¨ahrdung des Lernerfolgs. In dieser Arbeit schla- gen wir als Gegenmaßnahme skalierbare technische L¨osungen vor, um die soziale Interaktion zu verbessern und inhaltliche Schwierigkeiten zu uberwinden.¨ Unsere wissenschaftlichen Beitr¨age umfassen situationsabh¨angige Interventio- nen, Ans¨atze zur Personalisierung von Lerninhalten, sowie Konzepte und An- reize zur Verbesserung der Kollaboration der Teilnehmer untereinander. Mit diesen Maßnahmen scha↵en wir es, kontraproduktive Blockaden beim Lernen zu l¨osen und stellen damit einen universell einsetzbaren Ansatz zur Verbesse- rung von zukunftigen¨ Progammier-MOOCs bereit. Die aus unseren Experimenten gesammelten Daten zeigen, dass bei Program- mierproblemen gew¨ahrtes Feedback von anderen Teilnehmern die Gesamtpunkt- zahl innerhalb des Teilnehmerfeldes durchschnittlich um bis zu 17% verbessert. Bereits das Formulieren des jeweiligen individuellen Problems verbesserte die Gesamtpunktzahl um etwa 14%. Durch situative Interventionen konnte weiter- hin der Anteil der Teilnehmer, die nach Hilfe fragen, um bis zu 158% gestei- gert werden. Die gesammelten Daten aus unseren vier MOOCs erm¨oglichen daruber¨ hinaus detaillierte Einblicke in das Lernverhalten der Teilnehmer. Wir zeigen zus¨atzlich Erkenntnisse in Bezug auf das Verhalten der Teilnehmer und zu demografischen Faktoren auf. Die in dieser Arbeit beschriebenen Ans¨atze, die gescha↵ene