Reciprocal Shading for Mixed Reality
Total Page:16
File Type:pdf, Size:1020Kb
Reciprocal Shading For Mixed Reality DISSERTATION submitted in partial fulfillment of the requirements for the degree of Doktor der technischen Wissenschaften by Martin Knecht Registration Number 0326294 to the Faculty of Informatics at the Vienna University of Technology Advisor: Associate Prof. Dipl.-Ing. Dipl.-Ing. Dr.techn Michael Wimmer The dissertation has been reviewed by: (Associate Prof. Dipl.-Ing. (Prof. Dr. Mark Billinghurst) Dipl.-Ing. Dr.techn Michael Wimmer) Wien, 15.10.2013 (Martin Knecht) Technische Universität Wien A-1040 Wien Karlsplatz 13 Tel. +43-1-58801-0 www.tuwien.ac.at Reciprocal Shading For Mixed Reality DISSERTATION zur Erlangung des akademischen Grades Doktor der technischen Wissenschaften eingereicht von Martin Knecht Matrikelnummer 0326294 an der Fakultät für Informatik der Technischen Universität Wien Betreuung: Associate Prof. Dipl.-Ing. Dipl.-Ing. Dr.techn Michael Wimmer Diese Dissertation haben begutachtet: (Associate Prof. Dipl.-Ing. (Prof. Dr. Mark Billinghurst) Dipl.-Ing. Dr.techn Michael Wimmer) Wien, 15.10.2013 (Martin Knecht) Technische Universität Wien A-1040 Wien Karlsplatz 13 Tel. +43-1-58801-0 www.tuwien.ac.at Erklärung zur Verfassung der Arbeit Martin Knecht Mottaweg 72, 6822 Röns Hiermit erkläre ich, dass ich diese Arbeit selbständig verfasst habe, dass ich die verwen- deten Quellen und Hilfsmittel vollständig angegeben habe und dass ich die Stellen der Arbeit - einschließlich Tabellen, Karten und Abbildungen -, die anderen Werken oder dem Internet im Wortlaut oder dem Sinn nach entnommen sind, auf jeden Fall unter Angabe der Quelle als Entlehnung kenntlich gemacht habe. (Ort, Datum) (Unterschrift Verfasserin) i Acknowledgements Although it is only my name that is written on the cover of this thesis, there are several people who put a lot of time and hard work into the presented contributions. First, I would like to thank Michael Wimmer and Christoph Traxler for supervising this thesis and for their incredible support over the last four years. Furthermore, I would like to thank Werner Purgathofer and Michael Gervautz for their sup- port throughout the RESHADE project and for giving me the chance to work in the office of Imagination GmbH. Moreover, I would like to thank the team at the Imagination for the great work environment, the fun and the adventures we shared. For inspiring discussions and helpful feedback I would like to express my gratefulness to my colleagues at the Institute of Computer Graphics and Algorithms. A special thank goes to Matthias Bernhard for his great help and support concerning the user study and to Reinhold Preiner for the relaxing coffee breaks. During my Ph.D., I got the chance to do research at the Human Interface Technology Lab- oratory in Christchurch, New Zealand. I greatly thank Mark Billinghurst for giving me this opportunity and also for being the second reviewer of this thesis. I had an amazing time there and would like to thank Raphael Grasset, Andreas Dünser and the whole team at HITLab NZ for this great experience. Many thanks also go to Jiri Bittner from the Czech Technical University in Prague where I spent three weeks doing research under his supervision. The students Adam Celarek, Klemens Jahrmann, Martina Rasch and Stefan Spelitz added several valuable features to our software framework – thank you very much. Especially I want to thank Georg Tanzmeister and Christoph Winklhofer, whose master theses contributed a lot to my thesis. Thanks go to the FFG Austria Research Promotion Agency, who funded the RESHADE project under the „FIT-IT Visual Computing“ program (project nr. 820916). Finally, for me writing this thesis was like a roller coaster ride with several awesome highs but also some downs. However, it is much easier to go through and recover from tough times when there are amazing people around you. I’m deeply grateful to my family, friends and Lea for their incredible help, support and patience over the last years! Thank you! iii Abstract Reciprocal shading for mixed reality aims to integrate virtual objects into real environments in a way that they are in the ideal case indistinguishable from real objects. It is therefore an attrac- tive technology for architectural visualizations, product visualizations and for cultural heritage sites, where virtual objects should be seamlessly merged with real ones. Due to the improved performance of recent graphics hardware, real-time global illumination algorithms are feasible for mixed-reality applications, and thus more and more researchers address realistic rendering for mixed reality. The goal of this thesis is to provide algorithms which improve the visual plausibility of virtual objects in mixed-reality applications. Our contributions are as follows: First, we present five methods to reconstruct the real surrounding environment. In particular, we present two methods for geometry reconstruction, a method for material estimation at inter- active frame rates and two methods to reconstruct the color mapping characteristics of the video see-through camera. Second, we present two methods to improve the visual appearance of virtual objects. The first, called differential instant radiosity, combines differential rendering with a global illumi- nation method called instant radiosity to simulate reciprocal shading effects such as shadowing and indirect illumination between real and virtual objects. The second method focuses on the vi- sual plausible rendering of reflective and refractive objects. The high-frequency lighting effects caused by these objects are also simulated with our method. The third part of this thesis presents two user studies which evaluate the influence of the pre- sented rendering methods on human perception. The first user study measured task performance with respect to the rendering mode, and the second user study was set up as a web survey where participants had to choose which of two presented images, showing mixed-reality scenes, they preferred. v Kurzfassung Reziproke Schattierung für erweiterte Realitäten zielt darauf ab, virtuelle Objekte so in eine rea- le Umgebung zu integrieren, dass diese im Idealfall nicht von realen Objekten zu unterscheiden sind. Deshalb ist reziproke Schattierung für erweiterte Realitäten eine attraktive Technologie für Architekturvisualisierungen, Produktvisualisierungen oder für Kulturstätten, bei denen vir- tuelle Objekte nahtlos in die reale Umgebung eingebettet werden sollen. Aufgrund der erhöhten Leistung heutiger Graphikhardware sind nun auch globale Beleuchtungsmethoden für Echtzeit- anwendungen möglich, wodurch das wissenschaftliche Interesse an realistischen Darstellungen für erweiterte Realitäten gestiegen ist. Das Ziel dieser Dissertation ist es die visuelle Plausibilität virtueller Objekte für Anwendun- gen im Bereich der erweiterten Realität zu erhöhen. Folgende Beiträge werden in dieser Arbeit präsentiert: Der erste Abschnitt widmet sich fünf Methoden, die zum Ziel haben die reale Umgebung zu rekonstruieren. Zwei dieser Methoden befassen sich mit der Rekonstruierung der realen Geo- metrie, eine weitere Methode dient der Schätzung von Materialeigenschaften bei Beibehaltung interaktiver Bildraten. Die verbleibenden beiden Methoden rekonstruieren das Farbabbildungs- verhalten der Kamera, über deren Bilder die virtuellen Objekte eingeblendet werden. Der zweite Abschnitt beschreibt zwei Methoden, um die visuelle Plausibilität virtueller Ob- jekte zu verbessern. Die erste Methode nennt sich „differential instant radiosity“, welche „dif- ferential rendering“ und die globale Beleuchtungsmethode „instant radiosity“ kombiniert, um reziprokale Schattierungseffekte, wie Schatten und indirekte Beleuchtung zwischen realen und virtuellen Objekten zu simulieren. Die zweite Methode beschäftigt sich mit der visuell plausiblen Darstellung reflektierender und refraktierender Objekte. Die bei solchen Objekten entstehenden hochfrequenten Lichteffekte werden mit dieser Methode ebenfalls simuliert. Der dritte Teil der Dissertation präsentiert zwei Benutzerstudien, welche den Einfluss ver- schiedener Rendering-Methoden messen. Die erste Studie untersuchte den Einfluss der Rendering- Methoden auf die Dauer mit der verschiedene Aufgabenstellungen von Testpersonen erledigt wurden. Die zweite Studie wurde in Form einer Internetumfrage gestaltet bei der Teilnehmer beurteilten, welche von zwei vorgelegten erweiterten Realitätsbildern, sie subjektiv bevorzugen. vii Contents 1 Introduction 1 1.1 Motivation . 1 1.2 Challenges . 1 1.3 Dissertation Thesis . 3 1.4 Contributions . 3 1.4.1 Reconstruction . 3 1.4.2 Reciprocal Shading . 3 1.4.3 Evaluation . 3 1.4.4 References . 4 2 Overview 5 2.1 Requirements . 5 2.2 The Mixed-Reality Pipeline . 6 2.2.1 The Reconstruction Stage . 6 2.2.2 The Reciprocal Shading Stage . 7 2.3 Further Reading . 7 3 Background and Related Work 11 3.1 Reconstruction . 11 3.1.1 Light estimation and image based lighting . 11 3.1.2 Geometry reconstruction . 12 3.1.3 BRDF Estimation . 14 3.1.4 Reconstructing the Camera Color Mapping Characteristics . 17 3.2 Reciprocal Shading . 19 3.2.1 The Rendering Equation . 19 3.2.2 Instant Radiosity . 20 3.2.3 Real-time many-light methods . 21 3.2.4 Merging Real and Virtual Scenes . 24 3.2.5 Differential Rendering . 24 3.2.6 Reflective and Refractive Objects For Mixed Reality . 25 3.3 Evaluation . 26 3.3.1 Studies on photorealism . 27 3.3.2 Visual Cues . 27 ix 3.3.3 Augmentation Style . 28 3.3.4 Further studies on perception . 29 4 Reconstruction 31 4.1 Introduction . 31 4.2 Light Estimation . 31 4.3 Geometry Reconstruction . 32 4.3.1 Microsoft Kinect Sensor . 32 4.3.2 Raw depth, raw position and filtered normal estimation . 33 4.3.3 Filtered depth, filtered position and filtered normal estimation . 34 4.3.4 Limitations . 35 4.3.5 Results . 36 4.3.6 Conclusion . 37 4.4 BRDF Estimation . 37 4.4.1 Overview . 38 4.4.2 BRDF Estimation . 38 4.4.3 Limitations . 43 4.4.4 Results . 44 4.4.5 Conclusion . 49 4.5 Adaptive Camera-Based Color Mapping . 49 4.5.1 Overview . 49 4.5.2 Sample-Based Color Mapping . 51 4.5.3 Statistics-Based Color Mapping . 54 4.5.4 Limitations . 57 4.5.5 Results . 57 4.5.6 Conclusion . 60 5 Reciprocal Shading for Mixed Reality 61 5.1 Introduction . 61 5.2 Reciprocal Shading for Mixed Reality .