Simulating Vision Impairments in Virtual and Augmented Reality DISSERTATION zur Erlangung des akademischen Grades Doktorin der Technischen Wissenschaften eingereicht von Dipl.-Ing. Katharina Krösl, BSc. Matrikelnummer 0325089 an der Fakultät für Informatik der Technischen Universität Wien Betreuung: Associate Prof. Dipl.-Ing. Dipl.-Ing. Dr.techn. Michael Wimmer Zweitbetreuung: Ao.Univ.Prof. Dipl.-Arch. Dr.phil. Georg Suter Diese Dissertation haben begutachtet: Mark Billinghurst Tobias Langlotz Wien, 6. November 2020 Katharina Krösl Technische Universität Wien A-1040 Wien Karlsplatz 13 Tel. +43-1-58801-0 www.tuwien.at Simulating Vision Impairments in Virtual and Augmented Reality DISSERTATION submitted in partial fulfillment of the requirements for the degree of Doktorin der Technischen Wissenschaften by Dipl.-Ing. Katharina Krösl, BSc. Registration Number 0325089 to the Faculty of Informatics at the TU Wien Advisor: Associate Prof. Dipl.-Ing. Dipl.-Ing. Dr.techn. Michael Wimmer Second advisor: Ao.Univ.Prof. Dipl.-Arch. Dr.phil. Georg Suter The dissertation has been reviewed by: Mark Billinghurst Tobias Langlotz Vienna, 6th November, 2020 Katharina Krösl Technische Universität Wien A-1040 Wien Karlsplatz 13 Tel. +43-1-58801-0 www.tuwien.at Erklärung zur Verfassung der Arbeit Dipl.-Ing. Katharina Krösl, BSc. Hiermit erkläre ich, dass ich diese Arbeit selbständig verfasst habe, dass ich die verwen- deten Quellen und Hilfsmittel vollständig angegeben habe und dass ich die Stellen der Arbeit – einschließlich Tabellen, Karten und Abbildungen –, die anderen Werken oder dem Internet im Wortlaut oder dem Sinn nach entnommen sind, auf jeden Fall unter Angabe der Quelle als Entlehnung kenntlich gemacht habe. Wien, 6. November 2020 Katharina Krösl v Acknowledgements First of all, I would like to thank my supervisor Michael Wimmer for giving me the chance to follow my research where ever it led me and supporting me on my journey to becoming an independent researcher. Thank you to my second supervisor Georg Suter for making time for me whenever I needed, and providing his expertise in Architecture. I owe my deepest gratitude to Steven Feiner for welcoming me to his lab at Columbia Uni- versity during a three-month research stay that kick-started a long-lasting collaboration, which already resulted in a number of publications. Steve never stopped encouraging me to improve my work further, which I believe made me a better researcher. I very much appreciate that Henry Fuchs took the time to discuss my research with me every time he visited Vienna. His enthusiasm for research is inspiring and I just hope I will always stay as excited as he is when he talks about VR or AR. Since my time at Columbia, I have been working closely together with Carmine Elvezio, who became a mentor, a colleague, and a friend. I am very grateful for the numerous video calls we had, discussing different approaches, finding solutions to problems, outlining studies, and planning the next paper targets. My research is very interdisciplinary and this would not have been possible without the help of Sonja Karst, who never got tired of sharing her medical expertise with me. I would also like to thank to all my co-authors and students who worked with me, especially Matthias Hürbe, who went above and beyond while helping me to finish our simulations under intense time pressure. Thank you to Johanna Schmidt, Reinhold Preiner and Gabriel Mistelbauer for showing me how to navigate the jungle that is academia, and to my colleague Markus Schütz, who became my partner in crime during long hours and weekend sessions at the lab before paper deadlines. Thanks also to our secretary Max Höfferer and our technicians, especially Andreas Weiner who helped me to set up our VR lab. Special thanks also to all my colleagues from the Institute of Visual Computing & Human-Centered Technology and from VRVis. A heartfelt thank you to Didi Drobna for her masterplan for getting my research a great deal of public attention. I owe a huge thank you to Thomas Rausch for countless reviews, corrections, suggestions, for always believing in me, constantly pushing me to leave my comfort zone, and throwing chocolate at me from a safe distance when necessary. vii Thank you to my parents for their never ending support, their encouraging words, and providing food for me to prevent me from starving before paper deadlines. Finally, I would also like to express my gratitude to Mark Billinghurst and und Tobias Langlotz for giving me invaluable feedback during my first doctoral consortium at ISMAR 2018 and for doing me the honor of reviewing this thesis. This research was enabled by the Doctoral College Computational Design (DCCD) of the Center for Geometry and Computational Design (GCD) at TU Wien and by the Competence Centre VRVis. VRVis is funded by BMK, BMDW, Styria, SFG and Vienna Business Agency in the scope of COMET - Competence Centers for Excellent Technologies (854174) which is managed by FFG. Kurzfassung Laut aktuellen Schätzungen der WHO gibt es weltweit mindestens 2,2 Milliarden Men- schen mit Sehbehinderungen oder Augenkrankheiten wie Grauer Star, diabetische Reti- nopathie, Glaukom oder Makuladegeneration. Die meisten dieser Augenkrankheiten sind altersbedingt. Aufgrund einer zunehmend älter werdenden Bevölkerung wird mit einem weiteren Anstieg an Personen mit Augenkrankheiten gerechnet. Medizinischen Publikationen, AugenärztInnen oder betroffene PatientInnen können Ein- blick in Sehbehinderungen und deren AUswirkung auf die visuelle Wahrnehmung geben. Dennoch ist es für Menschen mit normaler Sicht oft schwer nachvollziehbar wie sehr eine Augenkrankheit das tägliche Leben beeinträchtigen kann. Studien mit PatientInnen können wichtige Informationen liefern und zu einem besseren Verständis für Sehbehinde- rungen beitragen. Jedoch sind solche Studien oft schwer durchführbar, da eine statistische Auswertung der Daten nur dann möglich ist, wenn eine gewisse Anzahl an Teilnehme- rInnen mit exakt gleicher Sehbehinderung for die Studie rekrutiert werden kann. Da Augenkrankheiten aber von Betroffenen mitunter sehr unterschiedlich wahrgenommen werden, und auch mit Sehtests nicht alle Symptome objektiv genau erfasst werden können, ist es in manchen Fällen gar nicht möglich eine passende Stichprobe zu finden. In dieser Dissertation stellen wir ein System und eine Methodologie vor, die es erstmals ermöglichen Studien mit Personen mit normaler Sicht und simulierten Sehbehinderungen in Virtual Reality (VR) und Augmented Reality (AR) durchzuführen. Wir beschreiben wie einzelne Effekte für NutzerInnen kalibriert werden können um deren Sehstärke, sowie Hardware Limitierungen (z.B. die Auflösung des VR-Dsiplays) zu berücksichtigen um so das gleiche Level an Sehbehinderung für alle NutzerInnen zu simulieren. Im Rahmen dieser Arbeit haben wir drei Studien in VR bzw AR durchgeführt. Unsere Messungen von Erkennungsdistanzen von Fluchtwegsschildern unter virtuell reduzierter Sehstärke haben ergeben dass atuell gültige Normen und internationale Standards Perso- nen mit Sehbehinderungen nicht ausreichend berücksichtigen. Durch unsere Simulation von Grauem Star in VR konnten wir zeigen, dass verschiedene Arten von Beleuchtungs- systemen positive oder negative Auswirkungen auf die Wahrnehmung von Personen mit Grauem Star haben können. In einer Studie mit PatientInnen, die auf einem Auge Grauen Star hatten konnten wir unsere verbesserte AR Simulation von Grauem Star testen und die Flexibilität unseres Systems demonstrieren. In Zukunft planen wir neben unseren Simulationen von Grauem Star, Kurzsichtigkeit, Weitsichtigkeit, Hornhauterkrankung ix und Makuladegeneration noch weitere Augenkrankheiten zu simulieren und unseren Code öffentlich zugänglich zu machen. Wir hoffen, dass unsere Software Architekten und Lichtplanern dabei helfen kann ihrer Designs auf Barrierefreiheit zu testen, dass unser Tool in der Schulung von medizinischem Personal helfen und generell dazu beitragen kann mehr Verständnis für Menschen mit Sehbehinderungen zu schaffen. Abstract There are at least 2.2 billion people affected by vision impairments worldwide, and the number of people suffering from common eye diseases like cataracts, diabetic retinopathy, glaucoma or macular degeneration, which show a higher prevalence with age, is expected to rise in the years to come, due to factors like aging of the population. Medical publications, ophthalmologists and patients can give some insight into the effects of vision impairments, but for people with normal eyesight (even medical personnel) it is often hard to grasp how certain eye diseases can affect perception. We need to understand and quantify the effects of vision impairments on perception, to design cities, buildings, or lighting systems that are accessible for people with vision impairments. Conducting studies on vision impairments in the real world is challenging, because it requires a large number of participants with exactly the same type of impairment. Such a sample group is often hard or even impossible to find, since not every symptom can be assessed precisely and the same eye disease can be experienced very differently between affected people. In this thesis, we address these issues by presenting a system and a methodology to simulate vision impairments, such as refractive errors, cataracts, cornea disease, and age-related macular degeneration in virtual reality (VR) and augmented reality (AR), which allows us to conduct user studies in VR or AR with people with healthy eyesight and graphically simulated vision impairments.