Expert Evaluation of Aspects Related to Virtual Reality Systems and Suggestions for Future Studies
Total Page:16
File Type:pdf, Size:1020Kb
FACULTY OF INFORMATION TECHNOLOGY AND ELECTRICAL ENGINEERING Aleksi Seppänen Markus Hirsimäki Patrik Pyykkönen EXPERT EVALUATION OF ASPECTS RELATED TO VIRTUAL REALITY SYSTEMS AND SUGGESTIONS FOR FUTURE STUDIES Bachelor’s Thesis Degree Programme in Computer Science and Engineering June 2020 Seppänen A., Hirsimäki M., Pyykkönen P. (2020) Expert Evaluation of Aspects Related to Virtual Reality Systems and Suggestions for Future Studies. University of Oulu, Degree Programme in Computer Science and Engineering, 75 p. ABSTRACT In this bachelor’s thesis, we review existing quantitative and qualitative research on virtual reality systems. We then present suggestions for performing a future study to combine the objective and subjective measurements of virtual reality experience. Additionally, we adapted an existing heuristics-based expert evaluation method to suit evaluating virtual reality systems. Using our method, we performed the expert evaluation on a selection of five modern consumer virtual reality systems to understand the connections between the subjective experience and the physical variables related to the virtual reality system. From this evaluation, we present findings that are used to construct discussion and to draw conclusions on these said connections. We found the most prominent conclusion to be that the experience of virtual reality is highly subjective and dependent on the content being viewed in virtual reality. Additionally, we concluded that some of the most important aspects in need of improvement are display resolution, lens design, user ergonomics, and lack of wirelessness. Finally, we state that two optimization problems are present; the first one being the optimization required to design a virtual reality system and the second one being the act of choosing a system to match a consumer’s preferred content. Keywords: Virtual reality, head-mounted display, user experience, subjective, consumer, suggestion Seppänen A., Hirsimäki M., Pyykkönen P. (2020) Asiantuntija-arviointi virtuaalitodellisuusjärjestelmiin liittyvistä tekijöistä ja ehdotuksia tuleville tutkimuksille. Oulun yliopisto, Tietotekniikan tutkinto-ohjelma, 75 s. TIIVISTELMÄ Tässä kandidaatin tutkielmassa käymme läpi aiempaa kvantitatiivista ja kvalitatiivista tutkimusta virtuaalitodellisuusjärjestelmistä. Esitämme myös ehdotuksia myöhempää tutkimusta varten virtuaalitodellisuuteen liittyvien objektiivisten ja subjektiivisten mittausten yhdistämiseksi. Tämän lisäksi adaptoimme aiemman heuristiikkapohjaisen asiantuntija-arvioinnin sopimaan virtuaalitodellisuusjärjestelmien arviointiin. Käyttäen metodiamme toteutimme asiantuntija-arvioinnin viidellä modernilla kuluttajakäyttöön tarkoitetulla virtuaalitodellisuusjärjestelmällä ymmärtääksemme yhteyksiä subjektiivisen kokemuksen ja niiden fysikaalisten muuttujien välillä, jotka liittyvät virtuaalitodellisuusjärjestelmiin. Esitämme tämän asiantuntija-arvioinnin löydöksiä, ja luomme niiden avulla keskustelua, jonka avulla teemme mainittuihin yhteyksiin liittyviä johtopäätöksiä. Tärkein johtopäätöksemme oli se, että virtuaalitodellisuuden kokemus on erittäin subjektiivinen ja riippuvainen siitä sisällöstä, jota virtuaalitodellisuudessa koetaan. Aiemman lisäksi toteamme, että merkittävimpiä kehitystä kaipaavia osa-alueita ovat näytön resoluutio, linssien suunnittelu, käyttäjäergonomia ja langattomuuden puute. Viimeisenä totesimme, että virtuaalitodellisuusjärjestelmiin liittyy kaksi optimointiongelmaa; ensimmäinen liittyy järjestelmän suunnittelussa tapahtuvaan optimointiin, ja toinen liittyy sellaisen järjestelmän valitsemiseen, joka sopii kunkin kuluttajan suosimaan tarkoitukseen. Avainsanat: Virtuaalitodellisuus, virtuaalitodellisuuslasit, käyttäjäkokemus, subjektiivinen, kuluttaja, ehdotus TABLE OF CONTENTS ABSTRACT TIIVISTELMÄ TABLE OF CONTENTS FOREWORD LIST OF ABBREVIATIONS 1. INTRODUCTION....................................................................................... 8 1.1. History and Motivation........................................................................ 8 1.2. Examples of Current Consumer VR Systems ........................................ 9 1.3. Purpose, Objective and Scope.............................................................. 11 1.4. Contributions...................................................................................... 11 2. BACKGROUND AND RELATED WORK .................................................. 12 2.1. Displays ............................................................................................. 12 2.2. Lenses................................................................................................ 13 2.3. Controllers ......................................................................................... 14 2.4. Tethered and Wireless Solutions .......................................................... 15 2.5. Audio................................................................................................. 15 2.6. Tracking............................................................................................. 15 2.6.1. Tracking Performance.............................................................. 17 2.7. User Experience ................................................................................. 17 2.7.1. Cybersickness and It’s Related Sicknesses ................................ 18 2.7.2. Motion-To-Photon Latency ...................................................... 19 2.7.3. Quality of Experience.............................................................. 22 2.7.4. Immersion .............................................................................. 23 2.8. Content .............................................................................................. 24 2.9. Industry and Consumer Standards ........................................................ 25 3. SUGGESTIONS FOR FUTURE STUDY..................................................... 26 3.1. Suggested Problem Statement and Research Question ........................... 26 3.2. Defining the Suggested Test Methodology............................................ 26 3.3. Defining the Suggested VR Systems to Be Used ................................... 27 3.4. Qualitative Test................................................................................... 27 3.4.1. Defining the Test Content......................................................... 27 3.4.2. Defining the Test Subjects........................................................ 28 3.4.3. Defining the Data Collection .................................................... 29 3.4.4. First Pilot Study ...................................................................... 29 3.4.5. Finalized Test Procedure.......................................................... 32 3.5. Quantitative Tests ............................................................................... 34 3.5.1. Defining the Measuring Equipment .......................................... 34 3.5.2. Defining the Variables to Be Measured ..................................... 34 4. EXPERT EVALUATION............................................................................. 35 4.1. Expert Evaluation Problem Statement and Research Question................ 35 4.2. Adaptation of the Method.................................................................... 35 4.3. Defining the VR-System to Be Used .................................................... 36 4.4. Defining the Test Tasks ....................................................................... 36 4.4.1. Task 1: Videos ........................................................................ 37 4.4.2. Task 2: Beat Saber................................................................... 37 4.4.3. Task 3: Richie’s Plank Experience............................................ 38 4.4.4. Task 4: SUPERHOT VR.......................................................... 40 4.4.5. Excluded Tasks ....................................................................... 40 4.5. Testing Environment ........................................................................... 41 4.6. Experts............................................................................................... 41 4.7. Detailed Testing Method ..................................................................... 42 4.7.1. Adapted Heuristics .................................................................. 43 4.7.2. Adapted Severity Classification ................................................ 44 5. RESULTS AND EVALUATION.................................................................. 45 5.1. Displays ............................................................................................. 45 5.2. Lenses................................................................................................ 45 5.3. Controllers ......................................................................................... 46 5.4. Tethered and Wireless Solutions .......................................................... 46 5.5. Audio................................................................................................. 47 5.6. Tracking............................................................................................. 48 5.7. User Experience ................................................................................. 48 5.8. Content .............................................................................................. 49 5.9. System Rankings ...............................................................................