Customizable Teaching on Mobile Devices in Higher Education INAUGURALDISSERTATION ZUR ERLANGUNG DES AKADEMISCHEN GRADES EINES DOKTORS DER NATURWISSENSCHAFTEN DER UNIVERSITAT¨ MANNHEIM vorgelegt von Dipl.-Wirtsch.-Inf. Daniel Sch¨on aus Simmern/Hunsr¨uck Mannheim, 2016 Dekan: Professor Dr. Heinz J¨urgenM¨uller,Universit¨atMannheim Referent: Professor Dr. Wolfgang Effelsberg, Universit¨atMannheim Korreferent: Professor Dr. Ulrike Lucke, Universit¨atPotsdam Tag der m¨undlichen Pr¨ufung:13. Oktober 2016 Abstract Every teacher struggles with the student's attention when giving a lecture. It is not easy to meet every single student at its knowledge level in a seminar group, and it becomes nearly impossible in huge university lectures with hundreds of students. With the spread of mobile devices among students, Audience Response Systems (ARS) proved as an easy and cheap solution to activate the audience and to compare the students' real knowledge base with the lecturer's estimation. Today, lecturers are able to choose between a huge variety of different ARSs. But as every lecturer has a very individual teaching style, he or she is not yet able to create or customize their individual audience response teaching scenario within a single system. The available systems are quite similar to each other and mostly support only a handful of different scenarios. Therefore, this work identified the abstract core elements of ARSs and developed a model to create individual and customizable scenarios for the students' mobile devices. Teachers become able to build their individual application, define the appearance on the students' phones in a scenario construction kit and even determine the scenario's be- havior logic. Two ARS applications were implemented and used to evaluate the model in real lectures for the last four years. A first ARS was integrated into the univer- sity's learning management system ILIAS and provided lecturers with basic question functionalities, whereas a second and more advanced stand-alone version enabled lec- turers to use personal scenarios in a variety of lecture settings. Hence, scenarios like quizzes, message boards, teacher feedback and live experiments became possible. The approaches were evaluated from a technical, student and lecturer perspective in various courses of different areas and sizes. The new model showed great results and potential in customization, but the implementation reached its limits as it lacked in performance scalability for complex scenarios with a large amount of students. Zusammenfassung Viele Dozenten kennen die Situation, dass die Aufmerksamkeit der Studierenden im Laufe einer Vorlesung immer weiter schwindet. Es ist schon nicht einfach die einzelnen Studierenden einer Seminargruppe auf ihren individuellen Wissensst¨andenabzuholen. Mit steigender Gr¨oßeder Veranstaltung wird diese Aufgabe noch weiter erschwert. Je weiter man sich jedoch von den jeweiligen Wissensst¨andenentfernt, desto schneller schwindet die Aufmerksamkeit der Studierenden. Mit der zunehmenden Verbreitung von mobilen Endger¨atenhaben sich Audience Response Systems (ARS) als eine ein- fache und kosteng¨unstigeM¨oglichkeit herausgestellt die Studierende zu reaktivieren und deren Kentnisse mit der Einsch¨atzungdes Dozenten abzugleichen. Heutzutage k¨onnen Dozenten daher aus einer großen Menge an verschiedenen ARS ausw¨ahlen.Viele Dozen- ten haben jedoch einen ganz individuellen Lehrstil welcher trotz dieser Vielzahl oft nicht vollst¨andigmit den vorhandenen Systemen abgebildet werden kann. Sie w¨urdengerne Kleinigkeiten an den vorhandenen Anwendungen ¨andern oder erweitern. Meist ist das jedoch nicht m¨oglich, bzw. nur mit hohem Programmieraufwand verbunden. In dieser Arbeit wurden daher die Kernelemente von ARS abstrahiert und zu einem neuen Modell zusammengef¨uhrt,so dass individuelle und konfigurierbare Lehrszenarien f¨urdie Smartphones der Studierenden m¨oglich wurden. Dadurch wurden Lehrkr¨aftein die Lage versetzt ihre individuelle Lehranwendung zu definieren und sowohl das Erschei- nungsbild f¨ur Studierende, als auch die Hintergrundlogik selbst zu gestalten. Im Laufe dieser Arbeit wurden zwei Systeme implementiert, um das Modell in realen Lehrver- anstaltungen ¨uber vier Jahre hinweg zu evaluieren und neue Erkenntnisse zu gewinnen. Ein erstes, einfaches ARS wurde als Plug-In f¨urdie Lernplattform ILIAS entwickelt und direkt in die vorhandenen Systeme der Universit¨ateingebunden. Das zweite, darauf auf- bauende und h¨oherentwickelte ARS wurde dagegen als alleinstehende Anwendung umge- setzt. Diese erm¨oglichte den Dozenten pers¨onliche Lehrszenarien in unterschiedlichen Veranstaltungssituationen umzusetzen. So wurden Szenarien wie Quizze, Nachricht- enlisten, Lehrer-Feedback und Echtzeit-Experimente erm¨oglicht. Die Versuche wurden aus technischer Perspektive und aus der Sicht der Studierenden und Lehrpersonen in Veranstaltungen aus unterschiedlichen Fachgebieten evaluiert und ausgewertet. Dabei zeigte das neue Modell großes Potential im Hinblick auf die individuelle Gestaltungs- freiheit der Lehrszenarien. Jedoch zeigte die Implementierung bei komplexen Szenarien und großen Veranstaltungen mit vielen Studierenden Grenzen in der Geschwindigkeit der Ausf¨uhrung. \ [...] it looked like a frontiersman's shanty thrown together to serve as a mere spring- board for a long flight into the future { a future where so great a field of activity lay waiting that no time could be wasted on the comfort of its start. The place had the brightness, not of a home, but of a fresh wooden scaffolding to shelter the birth of a skyscraper." Ayn Rand - Atlas Shrugged Acknowledgements I want to thank everybody who was involved in the process of creating this thesis. Be it by directly encouraging my research or by supporting me during the time I worked on it. First, I want to thank Prof. Dr. Wolfgang Effelsberg for being my doctorate supervisor, for his academic advice and his smart pushes in the right directions, Prof. Dr. Ulrike Lucke, who agreed to be the second reviewer of this thesis, Dr. Stephan Kopf and Melanie Klinger for their assistance and collaboration in research and publishing papers, my colleagues at the department of computer science IV, especially my co-doctoral students Philip Mildner and Philipp Schaber for their steady encouragement and shared suffering, my superior Ingrid Duda and my colleagues at the university's IT department for cov- ering my back and giving me the time to work on my dissertation, my parents Gabi and Peter Sch¨onfor their support and the starting signals into my academic life, my brother Florian Sch¨onfor keeping my feet on the ground while my head hovered in the clouds, and last but not least, my beloved Kim Klasen who ensured that the things in my live stayed in the right priority. ix Contents Abstract iii Zusammenfassung v Acknowledgements ix Table of Contents xi List of Figures xv List of Tables xix 1 Introduction 1 1.1 Motivation . .1 1.1.1 Didactic Challenges . .1 1.1.2 Use of Students' Devices . .2 1.1.3 Diversity of Application Requirements . .3 1.2 Scope of Work . .3 1.3 Research Question . .4 1.4 The Ideal Scenario . .5 1.5 Outline . .6 2 Related Work 7 2.1 Educational Background . .7 2.1.1 Activation . .8 2.1.2 Learning Styles and Flow . .9 2.1.3 Teaching Methods . .9 2.2 e-Learning . 11 2.3 Serious Games . 12 2.4 Games with a Purpose . 15 2.5 Gamification . 15 2.6 Mobile Learning . 18 2.7 Audience Response Systems . 19 2.8 Generic Approaches for E-learning Systems . 24 2.9 Authoring Tools . 25 2.10 Learning Analytics . 27 xi Table of Contents 3 Model and Design 31 3.1 Concept . 31 3.2 Gamification . 34 3.3 Basic Model . 38 3.3.1 General Conditions . 39 3.3.2 Concept . 40 3.3.3 Data Model . 42 3.3.4 Basic Execution Process . 43 3.4 Advanced Model . 44 3.4.1 General Conditions . 45 3.4.2 Concept . 46 3.4.3 Data Model . 47 3.4.4 Rules . 50 3.4.5 Advanced Execution Process . 54 3.5 The Five Phases of a Teaching Scenario . 55 3.5.1 First Phase - Blueprint . 56 3.5.2 Second Phase - Quiz . 57 3.5.3 Third Phase - Interaction . 58 3.5.4 Fourth Phase - Result . 58 3.5.5 Fifth Phase - Analysis . 59 4 Implementation 61 4.1 MobileQuiz . 61 4.1.1 Requirements . 62 4.1.2 Technology . 63 4.1.3 Database Schema . 64 4.1.4 Students' View . 66 4.1.5 Lecturers' View . 67 4.1.6 HomeQuiz Feature . 68 4.2 MobileQuiz2 . 69 4.2.1 Requirements . 70 4.2.2 Technology . 70 4.2.3 Database . 72 4.2.4 Students' View . 74 4.2.5 Lecturers' View . 76 4.2.6 Scenario Editor . 81 4.3 Examples of Use . 84 4.3.1 Single and Multiple Choice Questions . 84 4.3.2 Likert Scale Evaluation . 85 4.3.3 Lecture Feedback . 85 4.3.4 Message Board . 86 4.3.5 Question Phases . 86 4.3.6 Guess Two Thirds of the Average . 87 4.3.7 Guess Answer . 88 4.3.8 Survey . 88 4.3.9 Further Variations . 89 xii Table of Contents 5 Evaluation 91 5.1 Technical Evaluation . 91 5.1.1 Evaluation of the QR Code . 91 5.1.2 Workload on the Network . 92 5.1.3 Server Performance in a Classroom Study with the MobileQuiz2 . 97 5.1.4 Server Performance when Using Various Scenarios . 97 5.1.5 Distribution of Students' Smartphones . 100 5.2 Evaluation of Acceptance . 101 5.2.1 Acceptance by Students . 101 5.2.2 Acceptance by Lecturers . 118 5.3 Discussion of Results . 125 5.3.1 Technical Aspects . 125 5.3.2 Students' Point of View . 125 5.3.3 Lecturers' Point of View . 126 6 Conclusion and Outlook 129 6.1 Conclusion . 129 6.1.1 Lightweight ARS . 129 6.1.2 Customizable Teaching Scenarios . 130 6.2 Outlook . ..