Masterarbeit
Total Page:16
File Type:pdf, Size:1020Kb
MASTERARBEIT Titel der Masterarbeit Integrating Linked Data in Mobile Augmented Reality Interfaces - Development of a Mobile AR Mountain Guide Verfasserin Silvia F¨urst,BSc angestrebter akademischer Grad Diplom-Ingenieurin (Dipl.-Ing.) Wien, 2012 Studienkennzahl lt. Studienblatt: A 066 935 Studienrichtung lt. Studienblatt: Medieninformatik Betreuer: Univ.-Prof. Dipl.-Ing. Dr. Wolfgang Klas Abstract Today's mobile phones (so-called \smartphones") present powerful platforms and can be used as gateway from the real to a virtual world. Therefore, they are an attractive target in the domain of mobile Augmented Reality (AR). The basic idea of AR is to mix the real with the virtual world by overlaying the user's field of view with digital information (virtual graphics) to describe the immediate physical environment. Thus, AR on mobile phones allows users to directly access information that is relevant to a specific place or monument at anytime and anywhere. Currently, many mobile AR applications present client-server-based environments that make use of proprietary data formats and access restricted data sources. Furthermore, they may be based on a vision-based tracking system which includes hardware resource consuming image pattern algorithms that require permanent connection to a server-side platform and do not allow real-time execution on mobile phones. Thus, this work focuses on sensor-based tracking which relies on the GPS radio, accelerometer, and digital compass of a mobile device to determine the current position, orientation, and heading of the device. Sensor-based AR tracking systems include a mathematical model that uses the information of the camera pose and GPS location to project real-world objects into the captured view of the device. The main contribution of this thesis is the conceptual and formal description of such a mathematical model. Furthermore, AR systems need access to data sources to be able to identify real-world objects. Therefore, the Linked Open Data (LOD) project which provides a huge amount of interlinked data and is based on open standards and APIs, presents an appealing data source for AR systems. In consequence, this work also investigates the exploitation of Linked Data resources for integrating them into mobile AR systems in order to visualize LOD resources in AR interfaces and to identify and describe real-world objects. We demonstrate the feasibility of the presented approach in this work through the development of a proof-of-concept AR application that runs in real-time and allows the identification of real-world mountains. The system fetches Linked Data resources from two different LOD sets of the Web and consolidates (filters duplicate resources and merges them) and stores the resources directly on the mobile phone, to finally visualize them onto the screen of the device. The prototype is executable without permanent network connection and therefore does not depend on any server-side platforms. i Zusammenfassung Heutige Handys, sogenannte \Smartphones", stellen m¨achtige Umgebungen dar, die als Gateway von der realen zu einer virtuellen Welt eingesetzt werden k¨onnen.Deshalb sind sie ein attraktives Ziel in der Dom¨aneder mobilen Augmented Reality (AR). Die Grundidee von AR ist das Kombinieren der realen mit einer virtuellen Welt, indem das Livebild der Kamera mit digi- taler Information ¨uberlagert wird, um auf diese Weise die unmittelbare physikalische Umgebung zu beschreiben. Folglich, erlauben mobile AR Systeme, dass User direkt auf standortspezifisch relevante Information jederzeit und ¨uberall zugreifen k¨onnen. Derzeit stellen viele mobile AR Applikationen Client-Sever-basierte Umgebungen dar, die propriet¨areDatenformate verwenden und nur auf beschr¨ankte Datenquellen zugreifen. Weit- ers sind einige AR Systeme auf visuelle Trackingsysteme aufgebaut. Visuelles Tracking bein- haltet komplexe Bildanalysealgorithmen, die die Hardware Ressourcen von Mobilger¨atenleicht ¨uberfordern k¨onnenund meistens eine permanente Verbindung zu einer serverseitigen Plattform erforden. Dies f¨uhrtdazu, dass visuelle AR Trackingsysteme oft nicht in Echtzeit auf Handys ausgef¨uhrtwerden k¨onnen. Aus diesem Grund basiert der Ansatz dieser Arbeit auf ein Sensor- basierendes Trackingsystem, welches den GPS-Chip, Beschleunigungssensor und digitalen Kom- pass des Handys benutzt, um die Position, Orientierung sowie Ausrichtung des Ger¨ateszu messen. Solche Systeme beinhalten ein mathematisches Modell, welches die Information ¨uber die Kameraausrichtung und der GPS Positionierung des Handys verwendet, um Objekte aus der realen Welt auf das aufgenommene Bild des Ger¨ateszu projizieren. Der Kernpunkt dieser Ar- beit stellt die konzeptionelle sowie formale Beschreibung eines solchen mathematischen Modells dar. AR Systeme ben¨otigenZugriff auf Datenquellen, um Objekte aus der realen Welt identi- fizieren zu k¨onnen. Das Linked Open Data Projekt, welches eine enorme Menge an verlink- ten Daten umfasst und auf offenen Standards und APIs basiert, stellt dabei eine verlockende Datenquelle f¨urAR Systeme dar. Daher wird in dieser Arbeit die Exploitation von Linked Data Ressourcen in mobilen AR Systemen untersucht, um diese in AR Interfaces integrieren zu k¨onnen.Die vorliegende Arbeit beinhaltet die Entwicklung einer mobilen AR Applikation, die in Echtzeit ausf¨uhrbarist und die es erlaubt Berge der realen Welt zu identifizieren. Das System greift auf Linked Data Ressourcen von zwei verschiedenen LOD Plattformen des Webs zu und konsolidiert (das Herausfiltern von identischen Ressourcen und das Zusammenf¨uhren dieser) und speichert die Ressourcen direkt auf dem Handy. Der Prototyp ist ausf¨uhrbar,ohne dass eine permanente Netzwerkverbindung zu einer Serverumgebung besteht. Daher ist die pr¨asentierte AR Applikation unabh¨angigvon jeglicher serverseitigen Plattform. ii Acknowledgements First of all, I would like to thank my supervisor Univ.-Prof. Dr. Wolfgang Klas and my secondary supervisors Dr. Stefan Zander and Dipl-Ing. Chris Chiu for all their thoughts, ideas, support, and help along the way and who gave me the possibility to complete this thesis. A special thanks goes out to my fellow student and friend Evelyn Hinterramskogler with whom I had many useful discussions. Finally, I would like to express my gratitude to my family and friends for all their support and encouragement. iii Table of Contents Abstract i Zusammenfassung ii Acknowledgements iii Table of Contents iv List of Figures vii List of Tables ix Listings x 1 Introduction 1 1.1 Motivation.......................................1 1.1.1 AR Tracking Systems.............................2 1.2 Problem Description..................................3 1.2.1 2D Maps versus AR Interfaces........................3 1.2.2 Closed Datasets................................4 1.3 Attempt for Linked Data Integration.........................5 1.4 Contribution......................................6 1.5 Thesis Organization..................................9 2 Background 10 2.1 Augmented Reality................................... 10 2.1.1 Area of Application.............................. 12 2.2 Linked Open Data................................... 13 2.2.1 Integrated LOD Sets.............................. 16 2.2.1.1 GeoNames.............................. 16 2.2.1.2 LinkedGeoData........................... 17 2.2.1.3 DBpedia............................... 19 2.2.2 Resource Description Framework....................... 20 2.2.3 SPARQL.................................... 21 2.3 Global Positioning................................... 22 2.3.1 Geodesy..................................... 22 2.3.2 Global Positioning System........................... 23 2.4 Android......................................... 26 2.4.1 Android Architecture............................. 26 iv Table of Contents v 2.4.2 Android SDK.................................. 27 2.4.3 Android Application Components...................... 28 2.4.4 Sensor Support................................. 30 2.5 Summary........................................ 31 3 Related Work 32 3.1 AR Tracking Methods................................. 32 3.1.1 Vision-based Tracking............................. 33 3.1.2 Sensor-based Tracking............................. 34 3.1.3 Hybrid Tracking................................ 35 3.1.4 Discussion.................................... 37 3.2 Sensor-based AR Applications............................. 38 3.2.1 Introduction of Works............................. 38 3.2.1.1 Commercial AR Applications.................... 38 3.2.1.2 Open-Source AR Applications................... 40 3.2.1.3 Mountain Identification Applications............... 42 3.2.1.4 Linked Data as AR Content.................... 42 3.2.2 Table of Discussed Works........................... 43 3.2.3 Feature Description and Discussion...................... 45 3.3 Summary........................................ 48 4 Approach 50 4.1 Requirements and Design Considerations....................... 50 4.2 Abstract and Conceptual Architecture........................ 52 4.2.1 Abstract Model................................. 52 4.2.2 Conceptual Constituents............................ 53 4.3 LOD Integration.................................... 55 4.3.1 Ontology Structures.............................. 55 4.3.2 Discovering Identical Resources........................ 57 4.3.2.1 The Silk Framework......................... 57 4.4 Formal Model...................................... 60 4.4.1 Symbols and Formal Definitions....................... 60 4.4.1.1 Angle of View of Camera.....................