Diplomarbeit Comprehensive Calibration Procedures for Augmented Reality unter der Leitung von Univ. Prof. Dipl.-Ing. Dr.techn. Werner Purgathofer, Institut 186 für Computergraphik und Algorithmen, unter Mitbetreuung von Dipl.-Ing. Dr.techn. Anton L. Fuhrmann, Forschungszentrum VRVis in Wien, eingereicht an der Technischen Universität Wien, Fakultät für Technische Naturwissenschaften und Informatik von Rainer Splechtna, Matrikelnummer 9026565, Hauptplatz 15, 3910 Zwettl. Rainer Splechtna Comprehensive Calibration Procedures for Augmented Reality Master Thesis Supervised by Dipl.-Ing. Dr.techn. Anton L. Fuhrmann, VRVis Research Center in Vienna, Austria and Univ. Prof. Dipl.-Ing. Dr.techn. Werner Purgathofer, Institute of Computer Graphics and Algorithms Computer Graphics Group Vienna University of Technology, Vienna, Austria Abstract English: Augmented reality (AR) systems combine three-dimensional computer- generated images with the view of the real environment in order to make unseen objects visible or to present additional information. Since the user of an AR system sees both the real and the virtual environment, such a system needs more adjustments to work properly than immersive virtual environments, where the user is only presented with the virtual environment. Hence the virtual environment has to be properly aligned to the real, physical world, to be perceived as an augmentation of the real environment. The process to achieve this alignment is called calibration. This work presents a comprehensive set of calibration procedures that consists of all tasks necessary for the calibration of devices commonly used in an AR system, so that correct augmentation of the real environment, i.e. correct alignment of virtual and real world can be achieved. This includes procedures for calibrating projective and head-mounted displays, tracking systems, tracked input devices and props. Since the calibration process has to be done at least once for every hardware set-up, but may have to be repeated in part or completely for each user, prop or device to be included both in the real and the virtual world, we strived for a method that not only delivers good registration results but also can be applied fast and easily. The proposed method unifies the necessary tasks of world-to-augmentation alignment display calibration and registration of tracked and static props in one, interactive set-up process, which can be conducted in short time and by an untrained user. Deutsch: Augmented reality (AR) Systeme verschmelzen dreidimensionale, computer- generierte Bilder mit dem Blick des Benutzers auf die reale Umgebung, um nicht sichtbare Objekte zu visualisieren oder um zusätzliche Informationen darstellen zu können. Da der Benutzer eines AR-Systems sowohl die reale als auch die virtuelle Umgebung gleichzeitig wahrnimmt, benötigt solch ein System, um überzeugend zu wirken, eine genauere Abstimmung als klassische virtuelle Systeme, bei denen der Benutzer ausschließlich mit der virtuellen Umgebung konfrontiert wird. Daher muss die virtuelle Umgebung genau auf die reale, i physische Welt ausgerichtet werden, um als ‚Erweiterung’ der realen Umgebung wahrgenommen zu werden. Der Prozess, diese Übereinstimmung herzustellen, wird Kalibrierung genannt. Diese Diplomarbeit beschreibt eine umfassende Sammlung von Kalibrierungsprozeduren, welche alle Aufgaben abdeckt, die nötig sind, um die Geräte, die gebräuchlicherweise in AR-Systemen Verwendung finden, zu kalibrieren, sodass der Eindruck der ‚Erweiterung’ der realen Umgebung, d.h. die Übereinstimmung von virtueller und realer Welt, erzielt werden kann. Dies beinhaltet Prozeduren zur Kalibrierung von Projektionsschirmen, head- mounted displays, Tracking-Systemen, getrackten Eingabegeräten und Objekten. Da der Kalibrierungsprozess zumindest einmal für jedes Hardware- Setup durchgeführt werden muss, aber für jeden Benutzer, jedes Objekt, jedes Gerät, das sowohl der realen als auch der virtuellen Umgebung hinzugefügt werden soll, zum Teil oder zur Gänze wiederholt werden muss, waren wir bestrebt, eine Methode zu entwickeln, die nicht nur gute Registrierungsergebnisse erzielt, sondern auch schnell und einfach angewendet werden kann. Die vorgeschlagene Methode vereinigt die durchzuführenden Aufgaben zur Abstimmung von realer und virtueller Welt Kalibrierung von Displays und Registrierung von getrackten oder statischen Objekten in einem einzigen, interakiven Setup-Prozess, der in kurzer Zeit und auch von nicht mit dem System vertrauten Benutzern durchgeführt werden kann. ii Contents 1 Introduction .........................................................................................................1 2 Problem Statement ............................................................................................. 4 2.1. The Registration Problem ........................................................................... 4 2.2. Sources of error and focus of the calibration process ................................ 6 2.3. Static registration (static error) in Augmented Reality.............................. 7 2.4. Prerequisites................................................................................................ 9 2.5. Calibration Tasks (to achieve good static registration) ............................ 10 2.6. Human-Computer Interaction (HCI) aspects ........................................... 11 3 Related Work .....................................................................................................12 3.1. Overview .....................................................................................................12 3.2. Display Device Registration.......................................................................13 3.2.1. The “Boresight Method” ......................................................................14 3.2.2. The “Shooting Gallery”........................................................................17 3.2.3. The Dynamic Calibration Process ......................................................20 3.2.4. Single Point Active Alignment Method (SPAAM) ............................. 23 3.2.5. Projection Device Calibration............................................................. 26 3.3. Object Calibration .....................................................................................30 3.3.1. Calibration with Reference Frame......................................................30 3.3.2. Calibration with Pointing Device ........................................................31 3.4. Summary and Conclusion......................................................................... 34 4 Calibration procedures ..................................................................................... 36 4.1. Stylus Calibration ...................................................................................... 36 4.2. Display Device Calibration........................................................................40 4.2.1. The Studierstube offaxis camera model .............................................40 4.2.2. Calibrating See-Through Head-Mounted Displays ........................... 42 4.2.3. Calibrating projection systems........................................................... 52 4.3. Registration of Tracker to World Coordinate System .............................. 57 4.4. Calibration of Props ...................................................................................61 iii 5 Implementation ................................................................................................ 66 5.1. The Studierstube System - Implementation of the user interface............ 66 5.1.1. Software architecture .......................................................................... 66 5.1.2. Hardware support................................................................................67 5.1.3. Application programmer’s interface .................................................. 69 5.2. Human-Computer Interaction (HCI) aspects .......................................... 70 5.2.1. Paths through the Calibration Process................................................ 71 5.2.2. User guidance......................................................................................73 5.3. OpenTracker - An XML based Open Architecture for Reconfigurable Tracking ............................................................................................................76 5.4. Minimizing Functions - Direction Set (Powell’s) Methods in Multidimensions .............................................................................................. 82 6 Results and Conclusion .................................................................................... 86 6.0. Tracking System ....................................................................................... 86 6.1. Test setup and evaluation of stylus calibration........................................ 87 6.2. Test setup and evaluation of HMD calibration ........................................ 90 6.3. Test setup and evaluation of Projection calibration................................ 94 6.4. Conclusion................................................................................................. 96 7 Future Work.......................................................................................................97 7.1. Additional constraints and thresholds.......................................................97 7.2. Faster HMD calibration ............................................................................ 98 7.3.