Faculty II – School of Computing Science, Business Administration, Economics, and Law Visual Cues for Locating Out-of-View Objects in Mixed Reality A dissertation accepted by the School of Computing Science, Business Administration, Economics and Law of the Carl von Ossietzky University Oldenburg (Germany) to obtain the degree and title Doctor of Natural Sciences (Dr. rer. nat.) By Uwe Grünefeld, M.Sc. Born on 11th of June 1990, in Leer, Germany Supervisors: Dr. Wilko Heuten Prof. Dr. Susanne Boll-Westermann Reviewers: Prof. Dr. Susanne Boll-Westermann Prof. Dr. Hans Gellersen Day of Defense: 7th of February 2020 V Abstract In the past decade, Mixed Reality has emerged as a promising technology for supporting users with everyday tasks. It allows one to alter perceived reality by blending it with virtual content. Mixed Reality can thus be used to overlay perceived reality with visual cues that empower users to locate relevant objects in the environment, regardless of whether they are in view. This approach seems auspicious for various scenarios, such as a traffic encounter in which a car driver overlooks a cyclist, or the docking process of large container vessels during which the person in charge must monitor several assisting tugboats. In such situations, visual cues that help users to locate relevant objects out of view can improve situational awareness and help to avoid fatal consequences. In the presented work, we follow the “Research through Design” methodology to develop and evaluate visual cues in Mixed Reality that empower users to locate out-of-view objects. Initially, we analyzed three different scenarios, conducting an ethnographic study, an accident analysis, and literature reviews. Thereafter, inspired by the different scenarios, we reviewed all relevant background and re- lated work to derive three research questions that are studied in depth in the presented work: (RQ1) To what extent can existing off-screen visualization tech- niques be adapted to cue the direction to out-of-view objects in Mixed Reality?, (RQ2) How can Mixed Reality devices with small fields-of-view be extended to present directional cues to out-of-view objects?, and (RQ3) In what way can the directions and distances of out-of-view objects be visualized for moving or non-moving objects in Mixed Reality? Our results show that directional cues presented in the user’s periphery are easy to perceive and help the user to locate objects quickly. We showed that using three-dimensional visual cues can result in a lower direction estimation error than using two-dimensional cues. Furthermore, if the used Mixed Reality device suffers from a small field-of-view, radial light displays presented around the screen can be used to cue direction for out-of-view objects. However, sometimes a user must simultaneously locate several out-of-view objects, some of which may be occluded. Directional cues alone are insufficient for such cases, so distance information is required as well. We found that it is possible to convey this information, albeit with increased workload and additional visual clutter. Furthermore, visual cues that help a user to locate out-of-view objects should not disappear when these objects are visible on the screen, since assistance when these objects appear in view improves error rates and overall performance of the visual assistance. VII Zusammenfassung Im letzten Jahrzehnt ist Mixed Reality zu einer vielversprechenden Technologie geworden um Nutzer bei alltäglichen Aufgaben zu unterstützen. Mixed Reality er- möglicht es die wahrgenommene Realität mit virtuellen Inhalten zu verschmelzen. Dadurch kann die vom Nutzer wahrgenommene Realität mit visuellen Hinweisen überlagert werden, die helfen relevante Objekte in der Umgebung zu lokalisieren, selbst wenn diese nicht im Sichtfeld des Nutzers liegen. Dieser Ansatz ist viel- versprechend für unterschiedliche Szenarien, zum Beispiel im Straßenverkehr, in welchem ein Autofahrer beim Abbiegen einen Fahrradfahrer übersieht, oder im Fall eines andockenden Containerschiffes, in welchem die verantwortliche Person gleichzeitig mehrere unterstützende Schlepper überwachen muss. In all diesen Szenarien können visuelle Hinweise, die es Nutzern ermöglichen relevante Ob- jekte außerhalb der Sicht zu lokalisieren, helfen, die Situationswahrnehmung zu verbessern und gefährliche Konsequenzen zu vermeiden. In dieser Arbeit, folgen wir der Research-through-Design Methodik, um visuelle Hinweise in Mixed Reality zu entwickeln und zu evaluieren, die es Nutzern ermög- lichen, die Position von Objekten außerhalb der Sicht zu bestimmen. Anfänglich haben wir drei verschiedene Szenarien mit Hilfe einer ethnografischen Studie, ei- ner Unfallanalyse und Literaturrecherchen untersucht. Anschließend, inspiriert von den unterschiedlichen Szenarien, haben wir alle Grundlagen und verwandten Arbeiten analysiert, um drei Forschungsfragen abzuleiten, die in der vorliegenden Arbeit im Detail untersucht werden sollen: (RQ1) In welchem Umfang müssen be- stehende Off-Screen-Visualisierungstechniken angepasst werden, um die Richtung zu den Objekten außerhalb der Sicht in Mixed Reality anzuzeigen?, (RQ2) Wie können Mixed Reality-Geräte mit einem kleinen Sichtfeld erweitert werden, um Richtungshinweise auf Objekte außerhalb der Sicht zu präsentieren, und (RQ3) Inwiefern kann die Richtung und Distanz zu statischen oder beweglichen Objek- ten außerhalb des Sichtfeldes in Mixed Reality dargestellt werden? Unsere Ergebnisse zeigen, dass visuelle Hinweise in der Peripherie leicht zu erkennen sind und helfen Objekte außerhalb der Sicht schnell zu finden. Wir konnten zeigen, dass drei-dimensionale visuelle Hinweise zu geringeren Richtungs- schätzfehlern führen als zwei-dimensionale Hinweise. Außerdem können radia- le Lichtdisplays das vorhandene Display erweitern um Richtungsinformationen anzuzeigen, wenn das Sichtfeld des vorhanden Displays problematisch klein ist. Wenn ein Benutzer jedoch mehrere Objekte außerhalb der Sicht loaklisieren soll die ebenfalls verdeckt sind, dann reichen Richtungsinformationen nicht aus und zusätzliche Distanzinformationen werden benötigt. Wir konnten zeigen, dass es möglich ist diese zusätzlichen Informationen anzuzeigen, jedoch mit erhöhter Ar- beitslast und zusätzlicher visueller Verdeckung. Darüber hinaus sollten visuelle Hinweise, die dem Benutzer helfen, Objekte außerhalb der Sicht zu lokalisieren, nicht verschwinden wenn diese Objekte auf dem Bildschirm sichtbar sind, um Fehlerraten zu reduzieren und die visuelle Assistenz effektiv zu verbessern. IX Acknowledgments This thesis would not have been possible without many people who supported me during my time as a doctoral student. I would like to express my gratitude to my supervisor Wilko Heuten for the great support, useful discussions, remarks, and engagement throughout the learning process. Furthermore, I would like to thank Susanne Boll for her helpful advice during the discussions and presentations of this work, and for the opportunity to conduct my research. My thanks also go to my committee members Hans Gellersen, Marius Brinkmann and Martin Fränzle. Thank you for your time and efforts. Your valuable feedback helped me to further improve this thesis. A special thank you goes to my colleagues, my collaborators, my students, my friends, and my family. Without the help of every single one of you, this work would not have been possible, and I am very thankful that I received your support and advice throughout the years. Last but not least, I would like to thank Dakota Smith, who helped me to proof-read my thesis and never declined my attempts to discuss the content of this thesis with her. XI Contents 1 Introduction 1 1.1 Scenarios . 2 1.2 Approach and Methodology . 9 1.3 Thesis Outline . 12 1.4 Publications . 14 2 Background 17 2.1 Human Visual Perception . 17 2.2 Cognitive Maps . 22 2.3 Mixed Reality . 26 3 Related Work 35 3.1 Off-Screen Visualization Techniques . 35 3.2 Head-mounted Peripheral Displays . 41 3.3 Attention Guidance . 46 4 Conceptual Design 51 4.1 Problem Space . 51 4.2 Strategies for Locating Out-of-View Objects . 53 4.3 Peripheral Visualization . 55 4.4 Head-mounted Mixed Reality . 56 4.5 Challenges . 57 4.6 Research Questions . 59 5 Adapting Off-Screen Visualization Techniques 61 5.1 Comparing Off-Screen Visualization Techniques . 62 5.2 Beyond Halo and Wedge: 3D Visual Cues . 70 5.3 FlyingARrow: Flying Towards Out-of-View Objects . 89 5.4 Summary . 97 6 Extending the Field-of-View of Mixed Reality 99 6.1 PeriMR: Prototyping Peripheral Light Displays . 100 6.2 RadialLightVR: Investigating Radial Displays in Virtual Reality . 104 6.3 MonoculAR: Single Radial Display for Augmented Reality . 115 6.4 Guiding Smombies: Low-Cost Glasses for Guiding Attention . 121 6.5 Summary . 130 XII Contents 7 Encoding the Out-of-View Object’s Position 131 7.1 EyeSee360: Direction and Distance of Out-of-View Objects . 132 7.2 EyeSee360 for Optical See-Through Augmented Reality . 151 7.3 Comparing Techniques for Moving Out-of-View Objects . 158 7.4 Summary . 167 8 Conclusions and Outlook for Future Work 169 8.1 Synopsis . 169 8.2 Contributions to the Research Questions . 169 8.3 Recommendations for the Scenarios . 173 8.4 Future Work . 175 8.5 Concluding Remarks . 177 A System Usability Scale Questionnaire 179 B NASA Raw Task Load Index Questionnaire 180 Figures 181 Tables 185 Bibliography 187 1 1 Introduction Awareness of objects in the environment is an important ability required for everyday life. Without information about the locations of objects around us, there