Vakgroep Communicatiewetenschappen Faculteit politieke en sociale wetenschappen Academiejaar 2016-2017 Digital Game-Based Learning Under The Microscope. Development of a procedure for assessing the effectiveness of educational games aimed at cognitive learning outcomes Anissa All Promotor: Prof. Dr. Jan Van Looy Co-promotor: Dr. Elena Patricia Nuñez Castellar Imec – MICT – Ghent University Proefschrift ingediend tot het behalen van de graad Doctor in de Communicatiewetenschappen All, A. (2016). Digital Game-Based Learning Under The Microscope. Development of a procedure for assessing the effectiveness of educational games aimed at cognitive learning outcomes (Doctoral dissertation). Faculty of political and social sciences, Ghent University, Belgium. Print: University Press Cover: Nane Van Damme Dit proefschrift werd gefinancierd door het Vlaams Agentschap voor Innovatie door Wetenschap en technologie (IWT) Samenstelling Examencommissie: Promotoren: Prof. Dr. Jan Van Looy Vakgroep Communicatiewetenschappen Universiteit Gent Dr. Elena Patricia Nuñez Castellar Vakgroep Data-analyse Universiteit Gent Voorzitter Prof. Dr. Hans Verstraeten Vakgroep Communicatiewetenschappen Universiteit Gent Leden: Prof. Dr. Arnaud Szmalec Faculteit psychologische en pedagogische wetenschappen Université Catholique de Louvain Prof. Dr. Igor Mayer Academy of Digital Entertainment NHTV Breda University of Applied Sciences Prof. Dr. Lieven De Marez Vakgroep Communicatiewetenschappen Universitei Gent Prof. Dr. Tammy Schellens Vakgroep pedagogie Universiteit Gent Wim Govaerts CEO, Epyc for e-learning Dankwoord Na vier jaar is het eindelijk zo ver: dat doctoraat ligt er. De 18-jarige ik die vol enthousiasme aan de opleiding Communicatiewetenschappen begon, had nooit gedacht dat ik hier vandaag zou staan. Ik begon dan ook aan de opleiding met het doel journalistiek of communicatiemanagement te doen. Echter, in het derde jaar kreeg ik les van ene professor De Marez, meer bepaald Nieuwe Communicatietechnologieën. Wanneer ik zijn afstudeerrichting ‘Nieuwe Media & ICT’ bekeek waarin ik het vak ‘Innovatieonderzoek’ kon volgen, was ik plotseling gewonnen voor onderzoek naar Nieuwe Media. Bij deze zou ik dus graag eerst een woord van dank uiten aan Prof. Dr. Lieven De Marez voor deze lessen die hij vol enthousiasme en passie gaf en een opleiding aan te bieden die een zeer mooie brug bouwt tussen academisch onderzoek en de bedrijfswereld. Toen ik mijn stage begon bij MICT -ik was echt zo enthousiast voor innovatieonderzoek dat ik dus ook graag eens de real deal wou ervaren- werd ik in ineens in de wereld van het serious game-onderzoek gegooid. Na mijn stage, kon ik ook aan de slag bij MICT voor een serious game project. Bij deze dus ook een speciaal woord van dank aan mijn promotor Jan Van Looy om me warm te maken voor dit type onderzoek en mij er te van overtuigen toch eens voor een doctoraatsbeurs te proberen gaan. Ook wil ik Jan, samen met mijn copromotor Dr. Elena Patricia Nuñez Castellar bedanken om -soms tot vervelens toe- mij tot het uiterste te drijven en me 200% te geven om toch mee te kunnen gaan naar ICA of die A1 publicatie toch te halen. Jullie hebben me geleerd om in mezelf te geloven, maar ook om kritisch te zijn ten opzichte van mezelf. Verder wil ik graag al mijn collega’s bij MICT bedanken voor de ongelooflijk leuke werkomgeving waar ik 5 jaar heb in mogen vertoeven, maar ook om dergelijke collega’s te zijn die probleemloos online formulieren invullen wanneer ik weer eens stemmen aan het ronselen was voor één of andere wedstrijd. Lotte, Jasmien, Evelien D’heer, Matthias, Elena, Hadewijch & Evelien De Waele De Guchtenaere wil ik ook nog eens speciaal bedanken voor de leuke intermezzo’s op kantoor, maar ook om een luisterend oor te bieden als er doctoraat gerelateerde frustraties de kop op kwamen steken. Paulien, Steven, Ellen, Elke & Tom, bedankt voor de tijd aan de Universiteit zo ongelofelijk leuk te maken. Verder wil ik al mijn familie en vrienden bedanken voor de steun die jullie me de afgelopen jaren hebben geboden. Hier ook een speciaal woord van dank aan Dagmar, Inge & Nicky om mij met rust te laten wanneer ik besloot mij op te sluiten om dat doctoraat af te werken, maar ook om er als eerste terug te staan wanneer ik er me toch niet aan kon houden. Fiona, bedankt om mij -letterlijk- elke dag van mijn doctoraat bij te staan, mij de laatste maanden te steunen wanneer ik begon te twijfelen aan mezelf en buiten de werkomgeving er ook altijd te zijn voor mij. Verder wil ik mijn ouders bedanken om altijd in me te geloven en mogelijks nog enthousiaster te zijn dan mij wanneer ik aanvaard werd voor een conferentie of wetenschappelijk tijdschrift. Zonder jullie had ik hier vandaag niet gestaan, want jullie hebben mij geleerd dat ik alles kan doen wat ik wil, zolang ik er maar mijn best voor doe. En last but not least, Jef, mijn beste vriend, mijn lief en binnenkort mijn man, bedankt om er dag in dag uit te zijn voor mij en de persoon te zijn waarbij ik kan thuiskomen en alle doctoraatsstress in het niks verdwijnt. Wat er ook na dit doctoraat uit de bus valt, met jou naast mijn zijde, weet ik dat ik sowieso de gelukkigste vrouw ter wereld zal zijn. Table of contents Executive Summary: Nederlands ........................................................................................................................ 1 1. Introductie.............................................................................................................................................. 1 2. Samenvatting van de voornaamste bevindingen .................................................................................... 1 3. Reflectie ................................................................................................................................................. 4 4. Conclusie ............................................................................................................................................... 6 Executive Summary: English.............................................................................................................................. 7 1. Introduction ........................................................................................................................................... 7 2. Summary of main findings .................................................................................................................... 7 3. Reflection ............................................................................................................................................ 10 4. Conclusion ........................................................................................................................................... 11 CHAPTER 1. .................................................................................................................................................... 13 GENERAL INTRODUCTION ......................................................................................................................... 13 1. Background .......................................................................................................................................... 13 2. Media & learning ................................................................................................................................. 15 3. Digital game-based learning ................................................................................................................ 16 4. Empirical evidence for Digital Game-Based Learning ........................................................................ 24 5. Research objectives ............................................................................................................................. 25 6. Methodology ........................................................................................................................................ 28 PART 1. ................................................................................................................................................................ 31 TOWARDS THE DEVELOPMENT OF GUIDELINES FOR ASSESSING THE EFFECTIVENESS OF DIGITAL GAME-BASED LEARNING AIMED TOWARDS COGNITIVE LEARNING OUTCOMES 31 CHAPTER 2. .................................................................................................................................................... 33 Measuring Effectiveness in Digital Game-Based Learning: ............................................................................. 33 A Methodological Review. ............................................................................................................................... 33 1. Introduction ......................................................................................................................................... 35 2. Evaluation of educational interventions .............................................................................................. 38 3. DGBL effectiveness studies ................................................................................................................ 38 4. Method ................................................................................................................................................. 39 5. Results ................................................................................................................................................. 41 6. Conclusion ..........................................................................................................................................