Rendering Methods for Augmented Reality

Rendering Methods for Augmented Reality Dissertation der Fakultat¨ fur¨ Informations- und Kognitionswissenschaften der Eberhard-Karls-Universitat¨ Tubingen¨ zur Erlangung des Grades eines Doktors der Naturwissenschaften (Dr. rer. nat.) vorgelegt von Dipl.-Inform. Jan T. Fischer aus Mainz Tubingen¨ 2006 Tag der mundlichen¨ Qualifikation: 14.06.2006 Dekan: Prof. Dr. rer. soc. Michael Diehl 1. Berichterstatter: Prof. Dr.-Ing. Dr.-Ing. E.h. Wolfgang Straßer 2. Berichterstatter: Prof. Dr. rer. nat. Bernd Frohlich¨ (Bauhaus-Universitat¨ Weimar) 3. Berichterstatter: PD Dr. rer. nat. Dirk Bartz Erklarung¨ Hiermit erklare¨ ich, dass ich die Arbeit selbstandig¨ und nur mit den angegebenen Hilfsmitteln angefertigt habe und dass alle Stellen, die im Wortlaut oder dem Sinne nach anderen Werken entnommen sind, durch Angaben der Quellen als Entlehnung kenntlich gemacht worden sind. Tubingen,¨ Februar 2006 Jan Fischer iv Zusammenfassung In den letzten Jahren hat sich die Erweiterte Realitat¨ (englisch: Augmented Reality)zuei- ner vielversprechenden und schnell an Bedeutung gewinnenden Anwendung der Computer- graphik entwickelt. Augmented-Reality-Systeme kombinieren vom Computer erzeugte gra- phische Darstellungen mit der Ansicht der realen Welt. Mehrere zentrale Problemstellungen lassen sich im Bereich der Augmented Reality identifizieren. Dabei handelt es sich um die Entwicklung spezieller Anzeigegerate,¨ das Kamera-Tracking, den Systementwurf, die Benut- zerinteraktion und Darstellungsverfahren. Wahrend¨ sich der Großteil vorhergehender Arbei- ten mit den Problemen des Systementwurfs, des Kamera-Trackings und mit Anwendungen der Augmented Reality befasste, liegt der Schwerpunkt dieser Doktorarbeit auf dem bislang relativ wenig beachteten Thema der Darstellungstechniken. Im ersten Teil dieser Doktorarbeit (Kapitel 2) wird ein neu entwickeltes System fur¨ die me- dizinische Augmented Reality vorgestellt [22]. Das ARGUS-Projekt ist ein neues Augmented- Reality-System, das auf einem kommerziellen intraoperativen Navigationsgerat¨ basiert, wo- durch ein Einsatz in der klinischen Praxis erleichtert werden konnte.¨ Mehrere Erweiterungen des grundlegenden Projekts werden beschrieben, darunter ein hybrides Tracking-Verfahren, eine Bibliothek fur¨ die Benutzerinteraktion und eine Methode fur¨ die Verdeckungsbehandlung. Letztere macht es moglich,¨ die Verdeckung graphischer Objekte durch die Patientenanatomie korrekt darzustellen, was zu einer realistischeren und verstandlicheren¨ Ausgabe fuhrt.¨ Dieser Algorithmus ist eine der fortgeschrittenen Darstellungstechniken fur¨ Augmented Reality, die im Rahmen dieser Doktorarbeit entwickelt wurden. Der zweite Teil dieser Doktorarbeit, Kapitel 3, stellt das neue Konzept der Stylized Aug- mented Reality vor. Dabei werden kunstlerische¨ oder illustrative Stilisierungsmethoden auf Augmented-Reality-Videostrome¨ angewendet [15]. Da die gleiche Art der Stilisierung auf vir- tuelle und reale Bildelemente angewendet wird, nimmt ihre Unterscheidbarkeit stark ab. Auf diese Art und Weise wird ein neuartiges Augmented-Reality-Erlebnis vermittelt, und mogli-¨ cherweise wird eine bessere Immersion erzeugt. Echtzeitverfahren fur¨ die Cartoon-artige und malerische Stilisierung von Augmented-Reality-Bildern werden beschrieben. Auch der Ein- satz programmierbarer Graphikhardware zu diesem Zweck wurde untersucht. Zudem werden die Ergebnisse einer psychophysikalischen Studie uber¨ die Unterscheidbarkeit virtueller Ob- jekte in der Stylized Augmented Reality prasentiert.¨ Zu Beginn von Kapitel 4, das den dritten Teil dieser Doktorarbeit darstellt, wird eine neue Methode der illustrativen Visualisierung beschrieben. Dieser neue Darstellungsalgorithmus fur¨ Isoflachen¨ und polygonale Modelle erzeugt die illustrative Abbildung einer Oberflache¨ und dahinter versteckter Strukturen [12]. Die Methode wurde fur¨ die programmierbaren Architek- turen moderner Graphikhardware entworfen und kann komplexe Modelle in Echtzeit darstel- len. Eine Erweiterung dieses neu entwickelten Darstellungsstils wurde auch auf Augmented- Reality-Videostrome¨ angewendet. Diese Entwicklung stellt eine weitere Realisierung des Kon- zepts der Stylized Augmented Reality dar. v Abstract Augmented reality (AR) has become a promising and fast-growing application of computer graphics over the course of the last years. Augmented reality systems overlay computer- generated graphical information over the view of the real world. Several main research chal- lenges can be identified in the field of augmented reality. These are the design of advanced display devices (e.g., head-mounted displays), camera tracking, system design, user interaction, and rendering. While a major part of the previous work focused on the problems of system design, camera tracking, and applications of AR, this thesis puts a different emphasis on the relatively underrepresented aspect of rendering techniques. In this thesis, several novel methods for displaying augmented video streams are explored. In the first part of this thesis in Chapter 2, the design and implementation of a novel system for medical augmented reality are discussed [22]. The ARGUS framework is a new augmented reality system based on a commercial surgical navigation device. Since it does not require any additional hardware components, a transition into the clinical practice can be facilitated. Several extensions of the basic framework are described, including a hybrid tracking scheme, a user interaction library, and a method for handling occlusion. The latter algorithm makes it possible to correctly render the occlusion of graphical objects by the anatomy of the patient, leading to a more realistic and easily comprehensible output. This approach is one of the advanced rendering methods for augmented reality investigated in the context of this thesis. The second part of this thesis, Chapter 3, introduces the concept of stylized augmented reality, which applies artistic or illustrative stylization methods to augmented reality video streams [15]. Since the same type of stylization is applied to virtual and real scene elements, they become difficult to distinguish. This way, a novel augmented reality experience is cre- ated, and possibly even a better immersion. Real-time algorithms for cartoon-like and painterly brush stroke stylization of augmented video streams are described. The exploitation of programmable graphics hardware for this purpose is discussed. Moreover, the results of a psy- chophysical study on the discernability of virtual objects in stylized augmented reality are presented. At the beginning of Chapter 4, which is the third part of this thesis, a novel illustrative visualization method is described. This new rendering algorithm for iso-surfaces and polyg- onal models generates an illustrative representation of a surface and structures hidden behind it [12]. The method is designed for the programmable rendering pipelines of modern graphics hardware and is capable of displaying complex models in real-time. An extension of this newly developed illustrative display style was also applied to augmented reality video streams. This system constitutes another realization of the concept of stylized augmented reality. Acknowledgements This thesis was conducted during my occupation as research assistant in the group Visual Computing for Medicine (VCM) at the department Graphical-Interactive Systems (WSI/GRIS) of the University of Tubingen.¨ The research described in this dissertation would not have been possible without the support and encouragement of many people. First and foremost, I would like to thank my advisors Prof. Dr.-Ing. Dr.-Ing. E.h. Wolfgang Straßer (head of the department WSI/GRIS) and PD Dr. Dirk Bartz (head of VCM). They provided me with a pleasant and productive work atmosphere and the opportunity to freely explore different research topics, even if these sometimes stretched the strict definition of my research grant a little. I would also like to thank Prof. Dr. Bernd Frohlich,¨ who agreed to be part of my graduation committee. Another main reason for the good and fruitful environment were the colleagues with whom I worked together in the department. In particular, I would like to express my gratitude to- wards Angel´ del R´ıo for the inspiring scientific collaboration as well as countless pounds of great Spanish coffee. I would also like to thank Zein Salah, who is another member of the VCM group, for many interesting conversations. The colleagues who shared the office with me, Stefan Kimmerle and Bernhard Thomaszewski, deserve to be mentioned, if nothing else, for bearing with my curses and other types of monologues at the computer screen, their sense of humor, and having to cope with mine. Many other coworkers at the GRIS helped me to broaden my horizon with regard to science, the academic world, and through interesting and enjoyable common conference trips. To name only some of them, I would like to thank Andreas Schilling, Ralf Sondershaus, Peter Biber, Sven Fleck, Dirk Staneker, Michael Keckeisen, Markus Wacker, Michael Wand, Philipp Jenke, Urs Kanus, Gregor Wetekam, Jo- hannes Mezger, Stefan Guthe, Michael Hauth, Johannes Gorke,¨ Stefan Gumhold, and Jo- hannes Hirche. Of course, any scientific achievement would be impossible without the support and organization skills of the secretaries, who are often appropriately regarded as the persons who actually run the department. I would therefore like to acknowledge Constanze Christ, Adelheid Ebert, and Bernadette Graus for dealing with my constant requests

Load more