IENCE C • •S T S E N C O H I N S O I V L • 3 O S G T Y H • R G I E L S H E G A I R H C H Theory and applications of marker-based augmented reality Sanni Siltanen VTT SCIENCE 3 Theory and applications of marker-based augmented reality Sanni Siltanen ISBN 978-951-38-7449-0 (soft back ed.) ISSN 2242-119X (soft back ed.) ISBN 978-951-38-7450-6 (URL: http://www.vtt.fi/publications/index.jsp) ISSN 2242-1203 (URL: http://www.vtt.fi/publications/index.jsp) Copyright © VTT 2012 JULKAISIJA – UTGIVARE – PUBLISHER VTT PL 1000 (Vuorimiehentie 5, Espoo) 02044 VTT Puh. 020 722 111, faksi 020 722 4374 VTT PB 1000 (Bergsmansvägen 5, Esbo) FI-2044 VTT Tfn. +358 20 722 111, telefax +358 20 722 4374 VTT Technical Research Centre of Finland P.O. Box 1000 (Vuorimiehentie 5, Espoo) FI-02044 VTT, Finland Tel. +358 20 722 111, fax + 358 20 722 4374 Kopijyvä Oy, Kuopio 2012 Theory and applications of marker-based augmented reality [Markkeriperustaisen lisätyn todellisuuden teoria ja sovellukset]. Sanni Siltanen. Espoo 2012. VTT Science 3. 198 p. + app. 43 p. Abstract Augmented Reality (AR) employs computer vision, image processing and comput- er graphics techniques to merge digital content into the real world. It enables real- time interaction between the user, real objects and virtual objects. AR can, for example, be used to embed 3D graphics into a video in such a way as if the virtual elements were part of the real environment. In this work, we give a thorough over- view of the theory and applications of AR. One of the challenges of AR is to align virtual data with the environment. A marker-based approach solves the problem using visual markers, e.g. 2D bar- codes, detectable with computer vision methods. We discuss how different marker types and marker identification and detection methods affect the performance of the AR application and how to select the most suitable approach for a given appli- cation. Alternative approaches to the alignment problem do not require furnishing the environment with markers: detecting natural features occurring in the environment and using additional sensors. We discuss these as well as hybrid tracking meth- ods that combine the benefits of several approaches. Besides the correct alignment, perceptual issues greatly affect user experience of AR. We explain how appropriate visualization techniques enhance human per- ception in different situations and consider issues that create a seamless illusion of virtual and real objects coexisting and interacting. Furthermore, we show how diminished reality, where real objects are removed virtually, can improve the visual appearance of AR and the interaction with real-world objects. Finally, we discuss practical issues of AR application development, identify po- tential application areas for augmented reality and speculate about the future of AR. In our experience, augmented reality is a profound visualization method for on-site 3D visualizations when the user’s perception needs to be enhanced. Keywords augmented reality, AR, mixed reality, diminished reality, marker-based tracking, tracking, markers, visualization 3 Markkeriperustaisen lisätyn todellisuuden teoria ja sovellukset [Theory and applications of marker-based augmented reality]. Sanni Siltanen. Espoo 2012. VTT Science 3. 198 s. + liitt. 43 s. Tiivistelmä Lisätty todellisuus yhdistää digitaalista sisältöä reaalimaailmaan tietokonenäön, kuvankäsittelyn ja tietokonegrafiikan avulla. Se mahdollistaa reaaliaikaisen vuoro- vaikutuksen käyttäjän, todellisten esineiden ja virtuaalisten esineiden välillä. Lisätyn todellisuuden avulla voidaan esimerkiksi upottaa 3D-grafiikkaa videokuvaan siten, että virtuaalinen osa sulautuu ympäristöön aivan kuin olisi osa sitä. Tässä työssä esitän perusteellisen katsauksen lisätyn todellisuuden teoriasta ja sovelluksista. Eräs lisätyn todellisuuden haasteista on virtuaalisen tiedon kohdistaminen ym- päristöön. Näkyviä tunnistemerkkejä eli markkereita hyödyntävä lähestymistapa ratkaisee tämän ongelman käyttämällä esimerkiksi 2D-viivakoodeja tai muita kei- nonäön keinoin tunnistettavia markkereita. Työssä kerrotaan, kuinka erilaiset markkerit ja tunnistusmenetelmät vaikuttavat lisätyn todellisuuden sovelluksen suorituskykyyn, ja kuinka valita kuhunkin tarkoitukseen soveltuvin lähestymistapa. Kohdistamisongelman vaihtoehtoiset lähestymistavat eivät vaadi markkereiden lisäämistä ympäristöön; ne hyödyntävät ympäristössä olevia luonnollisia piirteitä ja lisäantureita. Tämä työ tarkastelee näitä vaihtoehtoisia lähestymistapoja sekä hybridimenetelmiä, jotka yhdistävät usean menetelmän hyötyjä. Oikean kohdistamisen lisäksi ihmisen hahmottamiskykyyn liittyvät asiat vaikut- tavat lisätyn todellisuuden käyttäjäkokemukseen. Työssä selitetään, kuinka tarkoi- tuksenmukaiset visualisointimenetelmät parantavat hahmottamiskykyä erilaisissa tilanteissa, sekä pohditaan asioita, jotka auttavat luomaan saumattoman vaikutel- man virtuaalisten ja todellisten esineiden vuorovaikutuksesta. Lisäksi työssä näy- tetään, kuinka häivytetty todellisuus, jossa virtuaalisesti poistetaan todellisia asioita, voi parantaa visuaalista ilmettä ja helpottaa vuorovaikutusta todellisten esineiden kanssa lisätyn todellisuuden sovelluksissa. Lopuksi käsitellään lisätyn todellisuuden sovelluskehitystä, yksilöidään potenti- aalisia sovellusalueita ja pohditaan lisätyn todellisuuden tulevaisuutta. Kokemuk- seni mukaan lisätty todellisuus on vahva visualisointimenetelmä paikan päällä tapahtuvaan kolmiulotteiseen visualisointiin tilanteissa, joissa käyttäjän havain- nointikykyä on tarpeen parantaa. Avainsanat augmented reality, AR, mixed reality, diminished reality, marker-based tracking, tracking, markers, visualization 4 Preface First of all, I would like to thank the VTT Augmented Reality Team for providing an inspiring working environment and various interesting projects related to augment- ed reality. I am also grateful for having great colleagues elsewhere at VTT. In addition, I would like to thank the Jenny and Antti Wihuri Foundation for its contri- bution to financing this work. I am happy to have had the opportunity to receive supervision from Professor Erkki Oja. His encouragement was invaluable to me during the most difficult mo- ments of the process. I have enjoyed interesting discussions with my advisor Timo Tossavainen and I would like to thank him for his encouragement, support and coffee. The postgraduate coffee meetings with Paula were a life-saver and an enabler of progress. Not to mention all the other creative activities and fun we had together. The Salsamania group made a great effort to teach me the right coordinates and rotations. The salsa dancing and the company of these wonderful people were of great benefit to my physical and mental wellbeing. I also give my heartfelt thanks to all my other close friends. I have been lucky enough to have so many great friends I cannot possibly mention all of them by name. I am ever grateful for the presence of my mother Sirkka and my brother Konsta who persuaded me to study mathematics at high school, which eventually led me to my current career. My sister Sara has always been my greatest support. I am happy to have the best sister anyone could wish for. My children Verneri, Heini and Aleksanteri are truly wonderful. They bring me back to everyday reality with their activity, immediacy and thoughtfulness. I am so happy they exist. Most of all I want to thank my dear husband Antti who took care of all the prac- tical, quotidian stuff while I was doing research. He has always been by my side and supported me; I could not have done this without him. 5 Contents Abstract ........................................................................................................... 3 Tiivistelmä ....................................................................................................... 4 Preface ............................................................................................................. 5 List of acronyms and symbols ........................................................................ 9 1. Introduction ............................................................................................. 12 1.1 Contribution ...................................................................................... 13 1.2 Structure of the work......................................................................... 14 2. Augmented reality ................................................................................... 16 2.1 Terminology ..................................................................................... 16 2.2 Simple augmented reality.................................................................. 19 2.3 Augmented reality as an emerging technology ................................... 21 2.4 Augmented reality applications.......................................................... 23 2.5 Multi-sensory augmented reality ........................................................ 32 2.5.1 Audio in augmented reality ..................................................... 32 2.5.2 Sense of smell and touch in mixed reality ............................... 34 2.6 Toolkits and libraries ......................................................................... 35 2.7 Summation ....................................................................................... 37 3. Marker-based tracking ............................................................................ 38 3.1 Marker detection..............................................................................