Eingereicht von Daniel Putschögl, BSc

Angefertigt am Institut für Wirtschaftsinformatik – Software Engineering

Beurteiler Ass.-Prof. DI Dr. Rainer Weinreich

Partner Land Oberösterreich, Direktion Präsidium, Abteilung im Kontext der öffentlichen Landesverwaltung Informationstechnologie

Oktober 2020

Masterarbeit zur Erlangung des akademischen Grades Master of Science (MSc) im Masterstudium Wirtschaftsinformatik

JOHANNES KEPLER UNIVERSITÄT LINZ Altenberger Straße 69 4040 Linz, Österreich www.jku.at DVR 0093696

EIDESSTATTLICHE ERKLÄRUNG

Ich erkläre an Eides statt, dass ich die vorliegende Masterarbeit selbstständig und ohne fremde Hilfe verfasst, andere als die angegebenen Quellen und Hilfsmittel nicht benutzt bzw. die wörtlich oder sinngemäß entnommenen Stellen als solche kenntlich gemacht habe.

Die vorliegende Masterarbeit ist mit dem elektronisch übermittelten Textdokument identisch.

______

Ort, Datum Unterschrift

2020 Putschögl, Daniel 2/109

GENDERERKLÄRUNG

Aus Gründen der leichteren Lesbarkeit wird in der vorliegenden Masterarbeit die gewohnte männliche Sprachform bei personenbezogenen Substantiven und Pronomen verwendet. Dies impliziert jedoch keine Benachteiligung des weiblichen Geschlechts, sondern soll im Sinne der sprachlichen Vereinfachung als geschlechtsneutral zu verstehen sein.

2020 Putschögl, Daniel 3/109

INHALTSVERZEICHNIS 1. Einleitung ...... 10 1.1. Problembeschreibung ...... 11 1.2. Forschungsfragen ...... 12 1.3. Vorgehensweise und Gliederung ...... 13 1.4. Methodik ...... 14 1.5. Ziel und erwartetes Ergebnis ...... 16 2. Augmented Reality ...... 18 2.1. Begriffe und Konzepte ...... 18 2.1.1. Sensorbasierte Verfolgungsmethoden ...... 20 2.1.2. Bildbasiert Verfolgungsmethoden ...... 20 2.2. Hardware ...... 22 2.2.1. ...... 23 2.2.2. Glass ...... 24 2.2.3. HoloLens ...... 26 2.3. Software ...... 27 2.3.1. ARKit ...... 27 2.3.2. ARCore ...... 29 2.3.3. ...... 31 2.3.4. Vuforia ...... 33 2.3.5. Wikitude ...... 34 2.3.6. Augmented Reality im Browser ...... 35 2.4. Herausforderungen ...... 37 3. Einsatzgebiete von Augmented Reality ...... 38 3.1. Militär ...... 39 3.2. Industrie ...... 39 3.3. Medizin und Forschung ...... 40 3.4. Marketing und Vertrieb ...... 41 3.5. Soziale Medien ...... 43 3.6. Videospiele ...... 43 3.7. Fernsehen ...... 44 3.8. Motorsport ...... 44 3.9. Kultur und Tourismus ...... 45 3.10. Zeitung ...... 46 3.11. Sonstige ...... 47 3.12. Zukünftige Einsatzgebiete ...... 48 4. Augmented Reality im Kontext des Landes Oberösterreich ...... 49 4.1. Aufgaben des Landes Oberösterreich ...... 49

2020 Putschögl, Daniel 4/109

4.2. Mögliche Einsatzgebiete von Augmented Reality ...... 52 4.2.1. Kultur ...... 52 4.2.2. Presse ...... 52 4.2.3. Bauen und Wohnen ...... 53 4.2.4. Tourismus und Freizeit ...... 54 4.3. Einsatzszenarien und Funktionen für die Prototypen ...... 54 4.3.1. Auswahl der Szenarien ...... 55 4.3.2. Szenario 1: Bilderkennung und Darstellung von AR Objekten ...... 55 4.3.3. Szenario 2: Darstellung geografischer Daten mit AR ...... 56 4.3.4. Übersicht der Szenarien ...... 56 5. Umsetzung der Prototypen ...... 57 5.1. ARKit ...... 57 5.1.1. Implementierungsbeschreibung ...... 57 5.2. ARCore ...... 65 5.2.1. Implementierungsbeschreibung ...... 65 5.3. Vuforia ...... 69 5.3.1. Implementierungsbeschreibung ...... 70 5.4. Wikitude ...... 70 5.4.1. Implementierungsbeschreibung ...... 71 5.5. Erfahrungsbericht ...... 74 5.5.1. ARKit ...... 74 5.5.2. ARCore ...... 75 5.5.3. Vuforia ...... 75 5.5.4. Wikitude ...... 76 5.5.5. Allgemein ...... 76 6. Evaluierung der Prototypen ...... 78 6.1. Kriterien zur Evaluierung ...... 78 6.1.1. Szenario 1: Bilderkennung und Darstellung von AR Objekten ...... 78 6.1.2. Szenario 2: Darstellung geografischer Daten mit AR ...... 82 6.2. Resultate der Evaluierung ...... 84 6.2.1. Szenario 1: Bilderkennung und Darstellung von AR Objekten ...... 84 6.2.2. Szenario 2: Darstellung geografischer Daten mit AR ...... 88 6.3. Diskussion ...... 90 7. Schlussfolgerung ...... 92 7.1. Zusammenfassung der Ergebnisse ...... 92 7.2. Beantwortung der Forschungsfragen ...... 92 7.3. Ausblick ...... 93

2020 Putschögl, Daniel 5/109

ABKÜRZUNGSVERZEICHNIS

API Application Programming Interface AR Augmented Reality AV Augmented Virtuality bzgl. bezüglich bzw. beziehungsweise ca. circa ggf. gegebenenfalls GPU Graphics Processing Unit HMD Head-Mounted Display IDE Integrated Development Environment inkl. inklusive IT Informationstechnologie JS JavaScript MAR Mobile Augmented Reality MR Mixed Reality OS POI Point of Interest SDK Software Development Kit SLAM Simultaneous Localization and Mapping u.a. unter anderem vgl. vergleiche VR z.B. zum Beispiel

2020 Putschögl, Daniel 6/109

ABBILDUNGSVERZEICHNIS

Abbildung 1: Mixed Reality (Mehler-Bicher & Steiger, 2014) ...... 10 Abbildung 2: Vorgehensmodell ...... 13 Abbildung 3: Ausprägungen von Basis Prototyping (Amberg et al., 2011) ...... 15 Abbildung 4: Zielabhängigkeiten ...... 16 Abbildung 5: TrueDepth-Kamera (Becker, 2017) ...... 24 Abbildung 6: LiDAR Scanner (Sathiah, 2020) ...... 24 Abbildung 7: Display ...... 25 Abbildung 8: Microsoft HoloLens Sensorleiste (Kress & Cummings, 2017) ...... 26 Abbildung 9: Waveguide Linse ...... 26 Abbildung 10: Animoji (Apple, 2019c) ...... 28 Abbildung 11: Bildschirmaufnahme iPhone 8, iOS 13.3, Safari https://developer.apple.com/augmented-reality/quick-look/ ...... 29 Abbildung 12: Bildschirmaufnahme Google 3a, .0, Chrome https://modelviewer.dev ...... 30 Abbildung 13: VuMarks (Vuforia, 2020c) ...... 34 Abbildung 14: Azimut zwischen zwei Punkten ...... 62 Abbildung 15: Azimut im ARKit Koordinatensystem ...... 62 Abbildung 16: Netzdiagramm zur Bewertung der Möglichkeit Referenzbilder zur Verfügung zu stellen ...... 86 Abbildung 17: Netzdiagramm zur Bewertung der Möglichkeit zur Darstellung unterschiedlicher virtueller Inhalte ...... 87 Abbildung 18: Netzdiagramm zur Bewertung der Unterstützung durch Sensordaten ...... 89

2020 Putschögl, Daniel 7/109

TABELLENVERZEICHNIS

Tabelle 1: Ideen in Relation zu angesprochenen AR Konzepten ...... 55 Tabelle 2: Vom Szenario abgedeckte Konzepte ...... 56 Tabelle 3: Kriterien zur Evaluierung der Prototypen ...... 78 Tabelle 4: Richtig positiv, richtig negativ, falsch positiv und falsch negativ im Kontext von Genauigkeit und Trefferquote ...... 79 Tabelle 5: Ergebnisse der ARKit Bilderkennung ...... 84 Tabelle 6: Ergebnisse der ARCore Bilderkennung ...... 84 Tabelle 7: Ergebnisse der Vuforia Bilderkennung ...... 84 Tabelle 8: Ergebnisse der Wikitude Bilderkennung ...... 84 Tabelle 9: Genauigkeit, Trefferquote und Richtig-negativ-Rate der Bilderkennung ...... 85 Tabelle 10: Bewertung der Möglichkeit Referenzbilder zur Verfügung zu stellen ...... 85 Tabelle 11: Bewertung der Möglichkeit zur Darstellung unterschiedlicher virtueller Inhalte ...... 87 Tabelle 12: Bewertung der Unterstützung durch Sensordaten ...... 88 Tabelle 13: Bewertung der Unterstützung durch markerlose Verfolgung ...... 90 Tabelle 14: Bewertung der Unterstützung durch die Technologie 1 ...... 90 Tabelle 15: Bewertung der Unterstützung durch die Technologie 2 ...... 90

2020 Putschögl, Daniel 8/109

CODESEGMENTVERZEICHNIS

Codesegment 1: Quick Look (HTML) (Apple, 2019b) ...... 29 Codesegment 2: Google Sceneview (HTML) (Google, 2020g) ...... 31 Codesegment 3: Initialisierung der AR-View (Swift) ...... 58 Codesegment 4: ARSession Konfiguration (Swift) ...... 59 Codesegment 5: Platzieren eines Objektes auf einem Anker (Swift) ...... 60 Codesegment 6: Erstellen von AR Objekten (Swift) ...... 61 Codesegment 7: Berechnung eines Azimuts und Höhenwinkels (Swift) ...... 63 Codesegment 8: Translation (Swift) ...... 64 Codesegment 9: Rotation (Swift) ...... 64 Codesegment 10: ArFragment (Java) ...... 67 Codesegment 11: Nachverfolgung des Verfolgungsstatus (Java) ...... 67 Codesegment 12: Platzieren eines Objektes auf einem Anker (Java) ...... 68 Codesegment 13: TextView mit ViewRenderable gerendert (XML/Java) (Google, 2020g) ...... 69 Codesegment 14: Wikitude Startseite (HTML) ...... 71 Codesegment 15: Wikitude Bildverfolgung (JS) ...... 72 Codesegment 16: Wikitude Objekte (JS) ...... 73 Codesegment 17: Platzieren eines POIs (JS) ...... 74 Codesegment 18: Optionals und Guards (Swift) ...... 75

2020 Putschögl, Daniel 9/109

1. Einleitung

Augmented Reality (AR) beschreibt den Einsatz von Informationstechnologien zur Erweiterung der menschlichen Realitätswahrnehmung. Grundsätzlich können dabei alle menschlichen Sinne angesprochen werden. Unter AR versteht man jedoch hauptsächlich das Anreichern der realen Welt durch visuelle Zusatzinformationen. Bei AR kommt es daher in Echtzeit, mit teilweisen Überlagerungen, zu einer Kombination von virtuellen Objekten und der realen Welt (Mehler-Bicher & Steiger, 2014).

AR ist ein Teilgebiet der Mixed Reality (MR). MR wird als eine Umgebung definiert, in der reale und virtuelle Objekte kombiniert werden. Neben AR gibt es die Augmented Virtuality (AV), wobei hier im Vergleich zu AR der virtuelle Anteil überwiegt (Mehler-Bicher & Steiger, 2014).

Abbildung 1: Mixed Reality (Mehler-Bicher & Steiger, 2014)

Eine zu AR verwandte Technologie ist Virtual Reality (VR). Sowohl AR als auch VR haben das Ziel der Sinneserweiterung. Im Unterschied zu AR nimmt der Nutzer bei VR die reale Welt jedoch nicht mehr wahr (Mangold, 2017). Bei VR wird die Wirklichkeit mir ihren physikalischen Eigenschaften in Echtzeit in einer computergenerierten, interaktiven und virtuellen Umgebung dargestellt und die reale Welt wird dabei komplett ausgeblendet (Mehler-Bicher & Steiger, 2014). AR im Gegenzug bedeutet die Erweiterung der realen Welt um zusätzliche Informationen und bildet daher eine Erweiterung der Realität. Es werden somit keine gänzlich neuen Welten erschaffen. Vor allem aufgrund der einfachen Anwendung mit alltäglichen Geräten wie Smartphones und Tablets ergibt sich bei AR ein bedeutender Vorteil (Mangold, 2017).

Die Entwicklung von AR begann bereits in den 1950er Jahren, jedoch wurde diese Technologie nicht von Beginn an so bezeichnet. Einer der ersten Simulatoren, welcher AR ähnliche Funktionen zur Verfügung stellte, war der Sensorama, entwickelt von Morton Heilig. Dieser arbeitete mit visuellen Effekten, Geräuschen, Vibrationen und Gerüchen. 1968 wurde von Ivan Sutherland ein visuelles Ausgabegerät entwickelt, welches am Kopf getragen wurde und am Rechner erzeugte Bilder am Bildschirm darstellte oder sie direkt auf die Netzhaut projizierte (Sutherland, 1968). Dieses Ausgabegerät war jedoch so schwer, dass es zusätzlich auf der Raumdecke fixiert werden musste. Der Begriff Augmented Reality kam erstmalig in den 1990er Jahren auf. Tom Caudell entwickelte eine AR Anwendung für Kabelverlegungsarbeiten bei Flugzeugen. Im selben Jahr wurde von L.B. Rosenberg in den U.S. Air Force Armstrong Labs auch eines der ersten funktionsfähigen AR Systeme entwickelt, welches erstmals einen Nutzen für die menschliche

2020 Putschögl, Daniel 10/109

Leistungsfähigkeit zeigte. Dabei wurden zwei reale physische Roboter verwendet, die von einem vom Benutzer getragenen Oberkörper-Exoskelett gesteuert wurden. Im Laufe der Jahrzehnte wurde AR nicht nur technologisch stark weiterentwickelt, sondern auch die dazu benötigte Hard- und Software. Aufgrund dessen fand AR auch vermehrt Einzug in den Alltagsgebrauch der User (Mehler-Bicher & Steiger, 2014).

Heute wird AR bereits in diversen Lebensbereichen eingesetzt. Ein Einsatzgebiet liegt in der industriellen Entwicklung, wo beispielsweise dem Bedienpersonal zu allen Maschinenteilen direkt die Wartungshistorie angezeigt werden kann (Boccaccio et al., 2019). AR findet aber auch im privaten Bereich vermehrt Einzug. Neben diversen Anwendungen im Handelsbereich wurde AR vor allem durch das -Spiel Pokemon Go erstmals bei vielen Nutzern bekannt. Bei diesem Spiel mussten animierte Monster in öffentlichen Straßen und auf Plätzen gesucht werden (Moorstedt, 2017). Durch solche zuvor beschriebenen Anwendungen konnten Nutzer bereits erste Erfahrungen mit AR sammeln. Aufgrund der hohen Akzeptanz seitens der Nutzer wird daher auch davon ausgegangen, dass AR ein bedeutender Teil unserer Zukunft wird (Moorstedt, 2017).

1.1. Problembeschreibung

Wie bereits erwähnt, findet AR neben gewerblichen Verwendungszwecken auch vermehrt Einzug in den Privatgebrauch. Anwendungen, wie Pokemon Go oder Kamerafilter, welche auf Social Media Plattformen wie Snapchat und Instagram verwendet werden, schufen ein erstes Bewusstsein für diese Technologie. Diese Anwendungen zeigten ebenfalls, dass der Wille zur Verwendung dieser Technologien bei den Benutzern vorhanden ist. Aufgrund dessen ergibt sich aus diesem Trend ein großes Potential für alle möglichen Einsatzgebiete (PwC, 2019). Das Land Oberösterreich möchte dieses Potential nutzen.

Hierbei wird unter anderem geprüft, welche Möglichkeiten sich durch die Anwendung dieser neuen Technologie ergeben, um dem Bürger eine zusätzliche bzw. neue Form der Informationsdarstellung zur Verfügung zu stellen. Ziel ist es, die Services der Landes Oberösterreich attraktiver zu gestalten und damit einen neuen Mehrwert für die Bürger zu generieren. Da der Einsatz von AR Technologien für das Land Oberösterreich jedoch Neuland darstellt, gilt es zuerst einige Rahmenbedingungen, Voraussetzungen und Anforderungen abzuklären. Das Hauptproblem dabei liegt in der Auswahl einer möglichst passenden Technologie. Im AR Bereich haben sich im Laufe der vergangenen Jahre diverse Technologien und Frameworks zur Umsetzung von AR Anwendungen entwickelt.

Da die Einsatzgebiete von AR sehr vielseitig und unterschiedlich sein können und davon auch die Auswahl der idealen Technologie abhängt, müssen vorab Einsatzgebiete für das Land Oberösterreich definiert werden. Das Land Oberösterreich bietet für seine Bürgerinnen und Bürger viele unterschiedliche Services an. Diese reichen von Meldeämtern zur Passausstellung oder Wohnortänderungen bis zu Angeboten im Kulturbereich wie Museen und Theatern. Aufgrund

2020 Putschögl, Daniel 11/109 dessen muss vorab erhoben werden, welche Angebote des Land Oberösterreichs sich für den Einsatz von AR eigenen. Im weiteren Schritt muss überprüft werden, inwieweit welche Technologien die Umsetzung einer AR Anwendung für die definierten Einsatzszenarien des Landes Oberösterreich unterstützt und welche Technologie zur weiteren Umsetzung der AR Anwendung verwendet werden soll.

1.2. Forschungsfragen

Zur systematischen Bearbeitung des Themas wurden drei Forschungsfragen (FF) aufgestellt. Diese werden im Laufe der Arbeit beantwortet. Die Gliederung der Arbeit orientiert sich ebenfalls an den Forschungsfragen.

FF1: Welche Technologien und Einsatzgebiete gibt es aktuell für AR?

Diese Forschungsfrage wird in Kapitel 2 – „Augmented Reality“ und Kapitel 3 – „Einsatzgebiete von Augmented Reality“ behandelt. Mit ihrer Hilfe soll der aktuelle Stand von AR ermittelt werden. Dazu werden mögliche Technologien zur Umsetzung von AR Systemen recherchiert und deren Eigenschaften zusammengefasst. Dabei wird sowohl die Software als auch die Hardware berücksichtigt. Weiters werden verschiedene Einsatzgebiete erhoben und anschließend die jeweiligen konkreten Umsetzungen und Funktionen von AR in diesem Einsatzgebiet beschrieben. Das Ziel dieser Forschungsfrage ist es, einen allgemeinen Überblick über den aktuellen Stand von AR zu schaffen.

FF2: Welche Einsatzgebiete und Umsetzungsmöglichkeiten von AR ergeben sich für das Land Oberösterreich und welche Evaluierungskriterien lassen sich daraus ableiten?

Anhand dieser Forschungsfrage werden in Kapitel 4 – „Augmented Reality im Kontext des Landes Oberösterreich“, basierend auf den Ergebnissen der ersten Forschungsfrage, mögliche Einsatzgebiete und Anwendungsszenarien von AR für das Land Oberösterreich definiert. Davon werden konkrete Anwendungsszenarien und Funktionen für die prototypische Entwicklung abgeleitet. Ebenso werden auf Basis der Funktionsanforderungen konkrete Kriterien zur Evaluierung der Technologien entwickelt. Ziel ist es, alle Rahmenbedingungen und Anforderungen an die Prototypen zu definieren, sowie die Grundlage für die Evaluierung dieser zu schaffen.

FF3: Welche Erkenntnisse zur Technologieauswahl lassen sich aus den umgesetzten Prototypen für das Land Oberösterreich ableiten?

Basierend auf dem Prototyp werden im Zuge dieser Forschungsfrage Erkenntnisse zur Technologieauswahl abgeleitet. Anhand der Prototypen wird mithilfe der festgelegten Evaluierungskriterien analysiert, welche Technologie am besten für die Umsetzung eines AR Projektes im Land Oberösterreich geeignet ist.

2020 Putschögl, Daniel 12/109

1.3. Vorgehensweise und Gliederung

Für die Vorgehensweise in dieser Arbeit wurde ein Vorgehensmodell entwickelt. Das nachfolgende Vorgehensmodell beschreibt alle Phasen dieser Arbeit. Es definiert dabei die Gliederung der nachfolgenden Arbeit und leitet sich aus den Forschungsfragen ab.

• Mögliche Technologien zur Umsetzung von AR Literatur- • Aktuelle Einsatzgebiete von AR recherche

• Mögliche Einsatzgebiete von AR für das Land Oberösterreich • Definition von Einsatzszenarien für die Prototypen Praxisteil A • Definition der Kriterien zur Evaluierung der Prototypen

• Entwicklung der AR Prototypen • Evaluierung der Erkentnisse und Vergleich der Technologien anhand der Prototypen Praxisteil B • Empfehlung zur Technologienauswahl zur weiteren Umsetzung

Abbildung 2: Vorgehensmodell

Der erste Teil der Arbeit besteht aus einer Literaturrecherche. Das Ziel der Literaturrecherche ist es einerseits eine Auswahl von zur Verfügung stehenden Technologien zu erheben und anhand ihrer Funktionen zu beschreiben. Dies umfasst sowohl Software als auch Hardware. Ebenso werden anhand der Literaturrecherche aktuelle Einsatzgebiete ermittelt. Die Literaturrecherche liefert damit die Grundlage für den Praxisteil A und die Ergebnisse werden in den Kapiteln 2 und 3 präsentiert.

Im zweiten Teil der Arbeit werden zunächst mögliche Einsatzgebiete und -szenarien von AR für das Land Oberösterreich definiert (Praxisteil A). Dazu werden zuerst die allgemeinen Aufgaben des Landes Oberösterreich beschrieben, um einen ersten Eindruck vom Aufgabenumfang zu erhalten. Von den möglichen Einsatzgebieten werden anschließend konkrete Einsatzszenarien und Funktionsanforderungen für die Entwicklung der Prototypen abgeleitet.

Der zweite Teil des Praxisteils (Praxisteil B) beschäftigt sich mit der konkreten Umsetzung und der Evaluierung der AR Prototypen. Dazu werden die Einsatzszenarien mit ausgewählten Technologien prototypisch umgesetzt. Die Umsetzung der Prototypen wird anschließend, kategorisiert nach der verwendeten Technologie, dokumentiert und die Ergebnisse beschrieben. Ebenso werden die allgemeinen Erfahrungen und Schwierigkeiten dokumentiert. Anschließend werden die Prototypen anhand von zuvor definierten Kriterien bewertet und verglichen, um herauszufinden, welche Technologien am besten für die Einsatzszenarien des Landes

2020 Putschögl, Daniel 13/109

Oberösterreich einsetzbar sind. Die Evaluierung der Technologien erfolgt daher anhand der Bewertung der Prototypen. Zusammengefasst wird die Arbeit von einer Schlussfolgerung und der Beantwortung der Forschungsfragen.

1.4. Methodik

Im Zuge dieser Arbeit kommt die Methodik des Prototypings zum Einsatz.

Prototyping ist in der Wirtschaftsinformatik eine der meistverwendeten Methoden. Laut Wilde & Hess (2007) werden 13% der wissenschaftlichen Arbeiten im Bereich der Wirtschaftsinformatik auf diese Methodik gestützt. Beim Prototyping wird eine Vorabversion eines Systems entwickelt und evaluiert, mit dem Ziel neue Erkenntnisse zu generieren (Wilde & Hess, 2007). Prototyping ist daher eine Methode zur Technologieentwicklung (Amberg et al., 2011).

Mithilfe des Prototypings sollen frühzeitig lauffähige Modelle entwickelt werden, um die genauen Anforderungen und mögliche entstehende Fragen frühzeitig konkretisieren zu können. Bei Prototypen können die Anforderungen verändert werden, ohne bereits viel Aufwand in das Projekt investiert zu haben. Dadurch werden Projekte leichter kalkulierbar. Ebenso vereinfachen Prototypen die Kommunikation zwischen den Entwicklern und den Kunden bzw. Endbenutzern. Diese klare Kommunikation führt zur Vermeidung von Missverständnissen und daher zur Senkung von Kosten (Amberg et al., 2011).

Für das Erstellen von Prototypen stehen diverse Werkzeuge zur Verfügung. Zusätzlich können auch herkömmliche Methoden wie das Papier-Prototyping angewendet werden. Grundsätzlich unterscheidet man zwischen zwei verschiedenen Arten von Prototypen, dem Software-Prototyp und dem technischen Prototyp. Der Software-Prototyp wird zur Darstellung von ausgewählten Eigenschaften und Funktionen des Zielprodukts verwendet. Es wird somit eine erste betriebsfähige Version erstellt, mit welcher neue Informationen zum späteren Endprodukt generiert werden. Die technischen Prototypen werden vornehmlich in der Fertigung verwendet. Dabei ist der Prototyp das Muster einer Produktserie (Amberg et al., 2011).

Weiters gibt es drei Varianten des Prototyping. Diese sind das Basis Prototyping, das Rapid Prototyping und das Virtual Prototyping (Amberg et al., 2011).

Basis Prototyping wird vor allem zur Klärung von Anforderungen an ein System verwendet. Hier lässt sich zwischen horizontalen und vertikalen Prototypen unterscheiden. Bei vertikalen Prototypen wird lediglich ein Subset von Funktionen dargestellt, dieses jedoch bis in die Tiefe (Grechenig, 2010). Beispielsweise wird für ein Feature sowohl die Benutzeroberfläche als auch die dahinterliegende Anwendungslogik inklusive Schnittstellen und Datenbank entwickelt (Amberg et al., 2011). Mithilfe des vertikalen Prototyps werden vor allem Machbarkeitsanalysen und Evaluierungen komplexer Funktionen umgesetzt. Bei horizontalen Prototypen werden alle Funktionen eines Layers abgebildet. Beispielsweise können alle Anforderungen,

2020 Putschögl, Daniel 14/109

Zusammenhänge und Abhängigkeiten der Benutzeroberfläche abgebildet werden. Diese Prototypen sind meist leichter erstellt, Funktionalitäten sind aber nicht oder nur kaum voneinander abhängig. Ziel ist es den Umfang der Funktionen darzustellen (Grechenig, 2010).

Abbildung 3: Ausprägungen von Basis Prototyping (Amberg et al., 2011)

Weiters unterscheidet man beim Basis Prototyping anhand des verfolgten Ziels. Daher ergeben sich die Arten exploratives, experimentelles und evolutionäres Prototyping (Amberg et al., 2011).

Exploratives Prototyping wird meist in einer sehr frühen Projektphase eingesetzt, da es der Erhebung der Anforderungen der Benutzer dient. Es hilft bei der Klärung der Problemstellung und generiert konkrete Vorstellungen an das System durch Visualisierungen. Hier kommt meist das horizontale Prototyping zur Anwendung (Grechenig, 2010).

Das experimentelle Prototyping wird eingesetzt, wenn Zweifel an der Umsetzungsmöglichkeit, der Machbarkeit oder dem Verwendungszweck besteht. Durch die Überprüfung von Ideen können Erfahrungen gesammelt werden. Insbesondere die Klärung technischer Fragen wird hierbei ebenfalls beachtet. In diesem Zusammenhang wird auch oft von einem Wegwerfprototypen gesprochen, da der Prototyp in den meisten Fällen nach der Evaluierung verworfen wird. Im experimentellen Prototyping wird das vertikale Prototyping angewandt. Es kommt meist in einer frühen Projektphase zum Einsatz (Grechenig, 2010).

Beim evolutionären Prototyping werden Prototypen kontinuierlich verfeinert und weiterentwickelt. Der Prototyp wird daher nicht weggeworfen, sondern entsprechend der Ergebnisse der Evaluierung weiterentwickelt, bis er die Anforderungen an das echte System erfüllt (Grechenig, 2010).

Ziel des Rapid Prototyping ist es, kostengünstig und in sehr kurzer Zeit einen Prototyp zu entwickeln. Diese sind lauffähig und können direkt eingesetzt werden. Die Prototypen werden anschließend laufend an die neuen Anforderungen angepasst. Diese Methode kommt oft in der Softwareentwicklung zum Einsatz (Amberg et al., 2011).

Beim Virtual Prototyping wird kein physischer Prototyp erstellt. Stattdessen wird ein Produkt virtuell modelliert und getestet und anschließend wird, auf Basis der Ergebnisse das fertige

2020 Putschögl, Daniel 15/109

Produkt entwickelt. Diese Methode wird häufig auch für die Verbesserung von Produkten nach der Markteinführung angewendet. Sie findet hauptsächlich in der ingenieurmäßigen Entwicklung Anwendung (Amberg et al., 2011).

Im Zuge dieser Arbeit wird ein Software-Prototyp erstellt. Dieser wird nach der Methode des Basis Prototyping entwickelt, da im Zuge dieser Arbeit vor allem die Anforderungen an eine AR Anwendung für das Land Oberösterreich geklärt werden sollen. Dazu wird das experimentelle Prototyping angewendet. Es wird ein Wegwerfprototyp entwickelt, der nach der Evaluierung nicht oder zumindest nicht in der während des Prototypings erstellten Form weiterverwendet wird. Ziel ist es die Umsetzungsmöglichkeiten und die Einsatzzwecke von AR für den öffentlichen Bereich zu evaluieren. Ebenso sollen im Zuge der Entwicklung des Prototyps auch technische Fragen, wie der Einsatz der konkreten Technologie überprüft werden. Aufgrund dessen wird, wie es auch in der Literatur für experimentelles Prototyping vorgeschlagen wird, ein vertikaler Prototyp erstellt. Somit werden für einzelne Anforderungen bzw. Einsatzmöglichkeiten sowohl die Benutzeroberfläche als auch notwendige Logik und Schnittstellen abgebildet. Das Ziel ist es zu klären, ob AR im Landesbereich eingesetzt werden kann. Dazu müssen die möglichen Funktionalitäten von AR im Kontext des Landes Oberösterreich im Prototyp abgebildet werden.

1.5. Ziel und erwartetes Ergebnis

Das Hauptziel dieser Arbeit ist es, dem Land Oberösterreich eine Technologieempfehlung für die zukünftige Umsetzung von AR Projekten zu geben. Zur Erreichung dieses Zieles werden zwei weitere Teilziele benötigt, welche voneinander abhängig sind.

Einerseits wird hierfür der aktuelle Stand der AR Entwicklung erhoben. Ein Teilziel ist es somit, einen Überblick über möglichen Technologien zur Umsetzung und deren konkreten Funktionalitäten zu schaffen. Ebenso ist die Erhebung von aktuellen Einsatzgebieten von AR Teil dieses Ziels.

Das zweite Teilziel ist abhängig von diesen Ergebnissen. Dabei sollen, beruhend auf den Ergebnissen, sowohl mögliche Einsatzgebiete von AR Abbildung 4: Zielabhängigkeiten für das Land Oberösterreich erhoben als auch konkrete Einsatzgebiete inkl. der Funktionen als Anforderungen für die Prototypen abgeleitet werden. Ebenso sollen Kriterien zur Evaluierung der Technologien anhand der Einsatzszenarien definiert werden. Das zweite Teilziel umfasst somit die Definition aller Anforderungen und

2020 Putschögl, Daniel 16/109

Rahmenbedingungen für die Umsetzung der Prototypen, sowie die Kriterien zur Evaluierung dieser. Abbildung 4 visualisiert die Abhängigkeiten der Ziele.

Das erwartete Ergebnis dieser Arbeit ist ein Erkenntnisgewinn aus den Prototypen. Daraus soll abgeleitet werden, mithilfe welcher Technologie im Kontext des Land Oberösterreich AR Anwendungen umgesetzt werden sollen. Ebenso wird ein Überblick über die aktuelle Lage in Bezug auf AR Anwendungen und Vorschläge zu konkreten Einsatzgebieten und -szenarien im Kontext des Landes Oberösterreich gegeben.

2020 Putschögl, Daniel 17/109

2. Augmented Reality

Bei AR kommt es in Echtzeit zu einer Kombination von virtuellen Objekten und der realen Welt (Mehler-Bicher & Steiger, 2014). Um dies zu ermöglichen, gibt es unterschiedliche Mechanismen sowie Technologien, welche nachfolgend beschrieben werden. Ebenso werden bisherige Einsatzgebiete von AR zusammengefasst. Zuerst werden jedoch einige Begriffe und Konzepte erläutert, welche in weiterer Folge für ein besseres Verständnis sorgen sollen.

2.1. Begriffe und Konzepte

AR ist eine visuelle Technologie zwischen VR und der Realität (vgl. Abbildung 1). Durch die Überlagerung von computergenerierten virtuellen Inhalten über die reale Welt kann AR den Benutzern helfen, seine Umgebung besser zu verstehen. Dabei werden die Kamera und andere Arten von Sensoren verwendet, um kontinuierlich Informationen über die Umgebung des Benutzers zu sammeln und einen virtuellen 3D-Koordinatienraum zu erzeugen. Die über die Sensoren erfassten Informationen für die Erkennung und Wahrnehmung der realen Welt sowie Interaktionsinformationen des Benutzers werden erfasst und zum Zweck der Objektverfolgung analysiert. Somit ergeben sich verschiedene Implementierungsmechanismen, welche sich in Bezug auf die verwendeten Technologien in sensorbasierte und bildbasierte Verfolgungsmethoden (Tracking) unterteilen lassen (Qiao, Ren, et al., 2019). Nachfolgend werden relevante Begriffe eingeführt, die für das weitere Verständnis von Bedeutung sind:

• Anker (Anchor): Anker repräsentieren eine statische Position und Ausrichtung eines realen oder virtuellen Objekts relativ zur Kamera (Apple, 2019a). Anker bleiben an einem festen Ort im physischen Raum. Die Informationen zur Position des beschriebenen Objekts werden laufend aktualisiert, um die Position relativ zur Kamera konstant zu halten und so eine spürbare Verschiebung des Ankers zu vermeiden.

• Marker: Bei Markern handelt es sich um vordefinierte beschriftete Referenzobjekte, welche in einer Datenbank zum Vergleich bereitstehen (Ye et al., 2018). Diese können eine vordefinierte Form, Größe, Farbe und andere Eigenschaften ähnlich einem QR-Code aufweisen (Qiao, Ren, et al., 2019). Ist von Markern die Rede, ist meistens diese QR-Code-ähnliche Darstellungsform gemeint. Marker können aber auch in anderer Form auftreten, zum Beispiel in Form von Kunstwerken in Museen, sowohl in 2D als auch in 3D.

• Markerbasierte Verfolgungsmethoden (Marker-based): Die markerbasierte Methode hat zum Ziel, zuvor definierte Marker zu erkennen.

◦ Bilderkennung und -verfolgung (Image Recognition/Tracking): Mit Bilderkennung ist die Erkennung von 2D Markern gemeint, als die z.B. Kunstwerke verwendet werden können oder wie sie in Zeitschriften abgebildet sind.

2020 Putschögl, Daniel 18/109

◦ Objekterkennung und -verfolgung (Object Recognition/Tracking): Bei der Objekterkennung ist die Erkennung von dreidimensionalen Objekten gemeint, wie zum Beispiel einen Stuhl.

• Markerlose Verfolgungsmethoden (Markerless) oder Natural Feature Tracking: Im Vergleich zur markerbasierten Verfolgung wird versucht, den Raum und sich darin befindende Objekte zu erkennen, ohne sich an Markern zu orientieren. Das Ziel hierbei ist es somit nicht, bestimmte Marker wiederzuerkennen, sondern z.B. horizontale oder vertikale Flächen als solche zu erkennen oder Objekte, die sich darauf befinden, wahrzunehmen.

◦ Ebenenerkennung (Plane Detection): Das Erkennen von horizontalen und vertikalen Ebenen.

◦ (Körper-)Bewegungserfassung ((Body-) Motion Capturing): Bei der Bewegungserfassung wird die Bewegung von Objekten erfasst, um diese beispielsweise auf AR Objekte zu übertragen. Dabei werden Änderungen in den einzelnen Frames verglichen und ausgewertet.

• Kollisionstest (Hit Test): Wenn virtuelle Objekte reale Überlappen, allerdings von der gedachten Position her hinter dem realen Objekt erscheinen sollten, werden AR Erlebnisse beeinträchtigt. Man spricht von Kollisionstests, wenn versucht wird zu ermitteln, ob reale sowie virtuelle Objekte sich überschneiden. Ist dies der Fall, sollen virtuelle Objekte nur soweit abgebildet werden, wie sie im Sichtfeld der Kamera liegen.

• Gesichtserkennung (Face Recognition): Je nach Anwendungsfall ist Gesichtserkennung markerbasiert oder markerlos. Bei Anwendungsfällen wo die Wiedererkennung im Vordergrund steht, zum Beispiel bei Apples Face ID (Apple, 2020d) zur Entsperrung des Smartphones, gibt es eine Reihe von Referenzdaten, anhand welcher die Szene abgeglichen wird. Es handelt sich also um ein markerbasiertes Vorgehen. Der Begriff wird aber auch verwendet, wenn nicht das Wiedererkennen des Gesichts im Vordergrund steht, sondern das Erkennen der Kopfform und der Gesichtszüge sowie von Bewegungen, um zusätzliche AR Inhalte einzublenden. Die bekannten Snapchat Lenses (Snapchat, o. J.) sind ein Anwendungsbeispiel, bei welchen ein Gesicht um virtuelle Inhalte wie Katzenohren erweitert wird.

• Ausrichtungserkennung (Orientation Tracking): Um sicherzustellen, dass der reale Raum und der virtuelle Raum übereinstimmen, muss unter anderem die Ausrichtung des Gerätes verfolgt und der virtuelle Raum entsprechend der Messergebnisse aktualisiert werden. Unter Ausrichtungserkennung versteht man das Erkennen der Drehbewegung des Gerätes (3DoF – 3 Degrees of Freedom).

• Positionserkennung (Positional Tracking): Zusätzlich kann nun die translatorische Bewegung verfolgt werden, also ob sich das Gerät im Raum horizontal oder vertikal bewegt. Werden diese beiden Verfolgungsmethoden kombiniert, können AR Objekte bei allen Bewegungen an einer konstanten Position abgebildet werden (6DoF).

2020 Putschögl, Daniel 19/109

2.1.1. Sensorbasierte Verfolgungsmethoden Abgesehen von der Gerätekamera, werden Sensoren wie Beschleunigungsmesser, Gyroskop, Magnetometer oder GPS dazu verwendet, AR Erlebnisse zu schaffen. Ein prominentes Beispiel ist Pokemon GO, welches GPS verwendet, um AR Inhalte standortabhängig darzustellen (Moorstedt, 2017). Das Kamerabild wird dabei nur als Hintergrundbild verwendet. Die Verwendung und Kombination diverser Sensoren und deren kontinuierliche Verbesserung tragen zu einer Vielfalt unterschiedlicher AR Anwendungen bei. In Bezug auf die Komplexität und Rechenleistung sensorbasierter AR Anwendung, handelt es sich dabei um vergleichsweise leichtgewichtige Systeme (Qiao, Ren, et al., 2019). Die Ausrichtungserkennung und die Positionserkennung zählen zu den sensorbasierten Verfolgungsmethoden und bedienen sich der genannten Sensoren, um Ergebnisse zu liefern.

2.1.2. Bildbasiert Verfolgungsmethoden Die Gerätekamera erfasst die Umgebung und liefert somit die Grundlage für die bildbasierte Erkennung und Verfolgung der Umgebung selbst, sowie von Objekten, die sich in dieser Umgebung befinden. Dabei werden Merkmale der realen Objekte erkannt, um virtuelle Inhalte an den realen Objekten auszurichten. Grundsätzlich werden zur Erkennung und Verfolgung der Objekte Frame-by-Frame Tracking und Detection Methoden angewandt (Ye et al., 2017). Beim Frame-by-Frame Tracking wird jedes Bild des Videostreams einzeln analysiert. Über die Szene werden sogenannte Referenzpunkte (Feature Points) gelegt, mithilfe deren die Form und Ausrichtung eines Objektes erkannt werden soll. An kontrastreichen Stellen eines Bildes findet man besonders viele Referenzpunkte, wie zum Beispiel an Ecken und Kanten, wodurch sich eine Nachbildung der Szene in Form einer Punktwolke (Feature Cloud oder Feature Map) ergibt (Radkowski, 2015). Detection Methoden führen eine Objekterkennung durch und schätzt die Position des Objekts, um die Verfolgung zu initialisieren. Die Korrelation zwischen den Video- Frames soll ausgenutzt werden, um die Referenzpunkte an den Stellen zu verfolgen, an denen sie am wahrscheinlichsten in jedem Frame vorkommen (Ye et al., 2018). Auf diese Weise soll eine nahtlose Verfolgung von Objekten ermöglicht werden. Die bildbasierten Verfolgungsansätze werden in markerbasierte (Marker-based) und markerlose (markerless) Methoden unterteilt.

Die Kombination sensor- und bildbasierter Ansätze ermöglicht zuverlässige Ergebnisse. Die bildbasierte Verfolgung ist von Natur aus ein rechenintensiver Prozess, was vor allem auf mobilen Geräten zu Problemen aufgrund von Prozessor- und Akkuleistung führen kann (Qiao, Ren, et al., 2019). Durch die Kombination verschiedener Informationen zusätzlicher Sensoren können Ungenauigkeiten von weniger komplexen Bildverarbeitungsalgorithmen ausgeglichen werden, um trotz beschränkter Hardware überzeugende AR Erlebnisse zu erschaffen.

2.1.2.1. Markerbasierte Verfolgungsmethoden Die markerbasierte Methode verwendet vordefinierte Marker, welche vorab bereitgestellt werden und zum Vergleich bereitstehen (Ye et al., 2018). Treten sie in QR-Code ähnlicher Form auf,

2020 Putschögl, Daniel 20/109 entsteht ein sehr robustes Ergebnis, da diese explizit für die Erkennung von Maschinen erzeugt werden (Qiao, Ren, et al., 2019). Andere 2D oder 3D Objekte sind schwieriger zu erkennen. Wird ein Marker erkannt, wird an der realen Position des Markers ein Anker platziert. Mithilfe der Frame- by-Frame Tracking und Detection Methoden werden Punktwolken erzeugt, um so ein Verständnis der Umgebung zu erhalten und den Anker an der richtigen Position zu halten, wenn sich der Marker oder die Kamera bewegen.

Da bei Markern meist zweidimensionale QR-Code ähnliche Formen gemeint sind, wird der Begriff der markerbasierten Verfolgung häufig auch nur mit diesen Darstellungsformen in Verbindung gebracht. Jedoch zählen auch andere zweidimensionale Objekte wie Gemälde und dreidimensionale Objekte in diesem Kontext zu Markern. Somit sind die Bilderkennung und die Objekterkennung Teilgebiete der markerbasierten Verfolgungsmethoden. Unter Bilderkennung versteht man das Erkennen von zuvor definierten Markern, die keine QR-Code ähnliche Darstellungsform besitzen. Darunter fallen z.B. Gemälde in Museen. Die Objekterkennung bezeichnet das Erkennen von dreidimensionalen Markern. Da Marker dieser Darstellungsformen nicht ausdrücklich für die Maschinenlesbarkeit geschaffen wurden, wird in der Regel ein zusätzlicher Schritt benötigt, wobei aus dem ursprünglichen Marker, z.B. ein Foto des originalen Gemäldes, welches erkannt werden soll, ein besser zu vergleichendes Referenzobjekt erzeugt wird.

2.1.2.2. Markerlose Verfolgungsmethoden Markerlose Ansätze (häufig auch Natural Feature Tracking) bedienen sich dem sogenannten Simultaneous Localization and Mapping (SLAM), wobei keine Vorkenntnis der realen Umgebung erforderlich ist. Für SLAM gibt es viele verschiedene Ansätze, doch wird im Kontext von AR meist ein Ansatz gewählt, bei dem versucht wird, räumliche Daten der Umgebung zu erhalten, um eine globale Referenzkarte zu erstellen und gleichzeitig die Position des Subjekts zu verfolgen. Ebenso wie bei der Erkennung von vordefinierten Objekten werden Punktwolken aus Referenzpunkten erstellt (Rehman & Cao, 2016). Im Vergleich zur markerbasierten Verfolgung besteht jedoch die Schwierigkeit, dass man sich hier nicht an einem vordefinierten Objekt orientieren kann. Deshalb werden an wiederkehrenden Punkten Anker erstellt, um bei Bewegungen des Gerätes die virtuellen Inhalte konstant an der realen Position zu halten. Ebenso können mithilfe des Natural Feature Tracking allgemein Flächen und Gegenstände erkannt werden.

Der für SLAM im Kontext von AR häufig gewählte Ansatz erzeugt zur Erkennung der Szene Referenzpunkte mittels Computer-Vision-Analyse. Dabei wird in der Regel nicht nur die markerlose bildbasierte Verfolgung angewandt, sondern ein Bild wird dabei um Informationen der Trägheitsnavigation ergänzt, wobei zusätzliche Hardware-Informationen von Beschleunigungssensoren und Gyroskop zur Bestimmung der eigenen Position und Ausrichtung herangezogen werden.

2020 Putschögl, Daniel 21/109

Um AR Objekte im Raum zu platzieren und in Folge an der ihnen zugewiesen Position zu fixieren, wird intern ein virtuelles 3D-Koordinatensystem angelegt und eine Kamera im Mittelpunkt auf den Koordinaten (0, 0, 0) erzeugt. Diese Kamera stellt die Position des Benutzers und seinen Blick auf die virtuelle Szene dar. Die reale Gerätekamera stimmt zum Zeitpunkt des Erstellens des Koordinatensystems mit der Position der virtuellen Kamera überein. Somit befindet sich die Gerätekamera zu Beginn an den Koordinaten (0, 0, 0) des virtuellen Koordinatensystems. Angenommen an den Koordinaten (1, 0, 0) befindet sich eine Kugel, die sich in der Mitte des Sichtfeldes der virtuellen sowie der realen Kamera befindet. Wenn sich die reale Kamera nun um 180° dreht, würde man erwarten, dass die Kugel aus dem Sichtfeld verschwindet. Damit dies auch tatsächlich passiert, muss sich die virtuelle Kamera analog zur realen auch um 180° drehen. Um diesen Effekt zu erreichen, ist die Ausrichtungserkennung von Bedeutung. Entsprechend den Informationen, die bei der Ausrichtungserkennung produziert werden, wird die virtuelle Kamera analog und gleichzeitig zur realen Kamera bewegt. Somit erscheint die Kugel, als würde sie sich an einer fixen Position im realen Raum befinden.

Weiters wird versucht, über die Gerätekamera markante reale Objekte zu erkennen und es wird eine Vielzahl von Referenzpunkten über diese gelegt. Jedem Referenzpunkt ist eine Koordinate im virtuellen Koordinatensystem zugeordnet, wodurch sich auf dem Koordinatensystem eine Abbildung der Realität in Form einer Punktwolke ergibt. Diese Abbildung der Realität ist nicht notwendig, so lange sich die Gerätekamera nicht im Raum bewegt. Solange keine translatorischen Bewegungen ausgeführt werden, reichen die Informationen der Ausrichtungserkennung aus, um die Kugel an einer Position fixiert erscheinen zu lassen. Um diese Illusion jedoch auch bei Bewegungen entlang der horizontalen bzw. vertikalen Achsen zu erhalten, werden im Rahmen der Positionserkennung Daten von GPS, Netzwerkpositionierung und Trägheitsnavigation herangezogen, um die virtuelle Kamera analog zur realen im virtuellen Koordinatensystem zu verschieben. Die Koordinaten der Kamera ändern sich folglich und somit auch die Sichtweise auf die virtuelle Szene.

2.2. Hardware

Mobile Augmented Reality (MAR) gewinnt sowohl in der Wissenschaft als auch in der Industrie zunehmend an Aufmerksamkeit, wobei Hardware-basiertes MAR eine der dominanten Plattformen für MAR Anwendungen darstellt (Qiao, Ren, et al., 2019). Es gibt verschiedene Ansätze, um dem Endbenutzer AR näher zu bringen, welche sich in der Weise der Benutzung und im Umfang der AR Leistung unterscheiden. Das 1968 von Ivan Sutherland geschaffene „Sword of Damocles“, gilt als erstes AR Equipment (Sutherland, 1968). Das System von Sutherland zeigte die Ausgabe eines Computerprogrammes in einer stereoskopischen Anzeige an. Die Perspektive, die die Software dem Benutzer zeigte, hing von der Position des Blicks des Benutzers ab, weshalb ein Head Tracking notwendig war. Das Head-Mounted Display (HMD),

2020 Putschögl, Daniel 22/109 also eine Vorrichtung, die am Kopf getragen wird, musste an einem mechanischen Arm befestigt werden, der aufgrund seines Gewichts an der Decke des Labors aufgehängt war und die Kopfbewegungen über Gestänge verfolgte.

Das Konzept von HMDs hat nach wie vor Bestand und wird heute hauptsächlich im Unternehmensumfeld eingesetzt. Diese unterscheiden sich jedoch sehr stark im Umfang der Funktionen. Viele Modelle am Markt bieten dem Benutzer die Möglichkeit, zusätzliche Informationen im Blickfeld anzuzeigen. Diese Variante mit weniger Funktionen nimmt häufig die Form einer Brille an, die mit zusätzlicher Hardware ausgestattet ist. Dazu kann eine Kamera zählen, die zur Aufzeichnung und Streaming verwendet wird, sowie Projektoren, welche die Informationen, die dem Benutzer im Blickfeld angezeigt werden sollen, auf die Gläser der Brille oder zusätzliche Glas-Prismen im Sichtfeld projizieren. Ein prominentes Beispiel hierfür ist die Google Glass. Sonderformen dieser Smart Glasses stellen EyeTaps, Monokel ähnliche HMDs die über einem Auge befestigt werden, und Kontaktlinsen, welche aber noch keine Produktionsreife erreicht haben, dar.

Deutlich mehr Funktionalität bieten HMDs wie die Microsoft HoloLens oder die Magic Leap, welche umfassendere AR Erlebnisse bieten. Diese sind neben der Kamera mit zusätzlichen Sensoren wie Beschleunigungssensoren und Gyroskop ausgestatten. Ebenso werden leistungsfähigere Prozessoren und Akkus sowie größere Speicher verbaut. Daher fallen diese HMDs jedoch auch deutlich größer aus. Hier können nun auch 2D und 3D Objekte erkannt und verfolgt sowie dargestellt werden. Eine Bedienung kann über Gesten erfolgen, welche von der HMD erkannt und verarbeitet werden. Auf die Google Glass und die Microsoft HoloLens wird in Folge näher eingegangen, ebenso auf Smartphones, welche im privaten Bereich am häufigsten verwendet werden, um dem Benutzer AR näher zu bringen.

2.2.1. Smartphones In jüngster Zeit sind MAR Anwendungen immer beliebter geworden, bei denen virtuelle Objekte mit Objekten in der realen Umgebung in Echtzeit kombiniert und auf der Grundlage des Blickwinkels des Benutzers über das Display seines Mobilgerätes ausgerichtet werden (Chatzopoulos et al., 2017). Mit Smartphones als Plattform ist es möglich, AR Erlebnisse der breiten Masse zur Verfügung zu stellen. Die Geräte werden immer leistungsfähiger und sind somit eine immer bessere Alternative, die keine zusätzliche Hardware benötigt.

Vor allem Apple erweitert seine Geräte zielgerichtet hinsichtlich AR. Ein Beispiel ist die TrueDepth- Kamera, die 2019 eingeführt wurde. Wie die meisten iPhone/iPad-Front-Kameras wird die TrueDepth-Kamera mit einem Mikrofon, einer 7-Megapixel(MP)-Kamera, einem Umgebungslichtsensor, einem Näherungssensor und einem Lautsprecher geliefert. Was die TrueDepth-Kamera selbst ausmacht, ist Angaben von Apple (2020c) zufolge die Ergänzung durch einen Punktprojektor, einen Flutlichtstrahler und einer Infrarotkamera (Abbildung 5). Der

2020 Putschögl, Daniel 23/109

Punktprojektor projiziert mehr als 30.000 Punkte auf das Gesicht, um eine lokale Karte zu erstellen. Die Infrarotkamera liest das Punktmuster, nimmt ein Infrarotbild auf und sendet die Daten an den A12 Chip, um eine Übereinstimmung zu bestätigen. Letztlich flutet der Flutlichtstrahler die Szene zusätzlich mit Infrarot Licht, um die Tiefenkarte zu ergänzen und eine bessere Erkennung bei Dunkelheit zu ermöglichen. Neben FaceID werden dadurch zusätzliche Möglichkeiten für AR geschaffen.

Abbildung 5: TrueDepth-Kamera (Becker, 2017) Abbildung 6: LiDAR Scanner (Sathiah, 2020) Mit 18. März 2020 veröffentlichte Apple das neue iPad Pro, welches mit einem innovativen Kamera-System ausgestattet wurde. Die Hauptkamera des neuen iPad Pro ist neben einer 10 MP Ultraweitwinkelkamera und einer 12 MP Breitwinkelkamera mit einem LiDAR (Light detection and ranging) Sensor ausgestattet (Abbildung 6) (Apple, 2020e). Der LiDAR Sensor nutzt dasselbe Prinzip wie Radar, um zu messen, wie lange das Licht braucht, um ein Objekt zu erreichen und zurückzureflektieren (Sathiah, 2020). Die Funktion ist dabei ähnlich zu den zuvor verwendeten 3D ToF(Time of Flight)-Kamerasensoren, übertrifft diese jedoch an Genauigkeit. Während ein 3D ToF-Sensor die Umlaufzeit eines künstlichen Lichtsignals misst, das von einer LED geliefert wird, um eine ganze Szene zu erfassen, verwendet der LiDAR-Sensor einen Scanner, um Elemente einer Szene mit Hilfe von Lasern Punkt für Punkt zu erfassen. Der Apple iPad Pro LiDAR Sensor soll sowohl bei Tag als auch bei Nacht auf eine Entfernung von bis zu fünf Metern auf Photonenebene mit Geschwindigkeiten im Nanosekundenbereich funktionieren (Apple, 2020e). Diese Technologie wird gezielt dazu eingesetzt, die AR Möglichkeiten zu erweitern.

2.2.2. Google Glass Die Google Glass ist ein Vertreter der im Vergleich zu HMDs einfach gehaltenen Datenbrillen (Smart Glasses) (Kress & Cummings, 2017). Erstmals 2012 angekündigt wurde die Google Glass Explorer Edition 2013 in einer Beta-Phase für Entwickler freigegeben. Nach Beendigung der Beta- Phase 2015 ist die Google Glass seit 2019 in der aktuellen Version, der Enterprise Edition 2, für Firmen erhältlich.

Die Explorer Edition ist mit einer 5 MP Kamera, WiFi, Bluetooth, Gyroskop, Beschleunigungssensor, Magnetometer, 16 GB Speicher und 1 GB RAM ausgestattet (Google, 2014). Zusätzlich sind Umgebungslicht- und Näherungssensoren verbaut, sowie zur

2020 Putschögl, Daniel 24/109

Audiowiedergabe mit einem Knochenleitungs-Umwandler. Bei der Knochenleitung werden die das Innenohr umgebende Schädelknochen in Schwingung versetzt, um Audioinhalte zum Innenohr weiterzuleiten ohne dabei den Gehörgang zu blockieren (Behgam & Grant, 2014). Die Explorer Edition läuft unter Glass OS, ein für die Google Glass entwickeltes Betriebssystem, welches auf Android 4.4, KitKat, basiert und mit der Version XE24 2020 sein finales Update erhält (Google, 2020d). Die seit 2017 weiterentwickelte Enterprise Edition setzt auf diesen Komponenten auf und ist zusätzlich mit einem Barometer und GPS ausgestattet. Glass OS wird von Android API 26, Oreo, Version 8.0 abgelöst. Ebenso wird die Knochenleitung zur Audiowiedergabe durch einen Lautsprecher abgelöst. Zur Bedienung besitzen die Geräte neben der Möglichkeit der Sprachsteuerung ein Touchpad, welches sich an der Seite der Google Glass befindet (Google, 2020c).

Das Display der Google Glass hat sich im Wesentlichen über die verschiedenen Versionen hin nicht verändert. Es handelt sich um ein 640 x 360 Pixel großes prismenförmiges LCoS (Liqid Crystal on Silicon) Display, welches vom rechten Brillenbügel ausgehend im Sichtfeld des rechten Auges hängt (Google, 2014). Das Licht wird von sequentiellen Farb-LEDs (vgl. Abbildung 7: Google Glass Display Abbildung 7) über einen polarisierenden Strahlenleiter (PBS) auf das LCoS Display gelenkt, wo Flüssigkristalle die auf einer Siliziumfolie aufgetragen sind unter elektrischer Spannung so ausgerichtet werden, dass das Licht in der gewünschten Helligkeit reflektiert wird (Gupta et al., 2013). Die Farben werden nacheinander angezeigt und vom Auge des Betrachters kombiniert, wodurch sich Farbabstufungen ergeben können. Um dies zu gewährleisten, muss das LCoS Display in entsprechender Geschwindigkeit reagieren, da das Auge ansonsten nicht in der Lage ist, die Farben zu kombinieren. Das Licht wird entlang des Prismas durch einen teilreflektieren Spiegel geworfen, welcher einerseits das aus dieser Richtung kommende Anzeigelicht als auch das Umgebungslicht durchlassen soll. Das Anzeigelicht wird am Ende des Prismas reflektiert und zurück auf den Spiegel geworfen. Das aus dieser Richtung kommende Licht wird in Richtung des Trägers der Google Glass geworfen. Auf diese Weise kann sowohl die Umgebung als auch die Anzeige über das Prisma wahrgenommen werden.

Im Gegensatz zu AR oder MR HMDs (Kress & Cummings, 2017) ist die Google Glass nur begrenzt dazu in der Lage, seine Umgebung warzunehmen. So beschränken sich die Inhalte auf Informationen in Form von Text, Bildern oder Videos, die zwar im Bezug zur Umgebung stehen

2020 Putschögl, Daniel 25/109 können, jedoch nicht auf den realen Raum abgestimmt dargestellt werden. Das heißt, die Inhalte werden wie auf jedem anderen Display dargestellt mit dem Unterschied, dass dieses Display durchsichtig ist. Der eigentliche Vorteil ergibt sich daraus, dass man bei der Verwendung die Hände für andere Tätigkeiten frei hat. Und so findet die Google Glass auch mit Bezug auf die Enterprise Edition hauptsächlich im Unternehmensbereich Anwendung. Sie wird beispielsweise verwendet, um Baupläne während der Montage anzuzeigen, Packlisten und die zugehörige Position im Lager von Produkten während der Kommissionierung anzuzeigen oder auch nur um bei der Dokumentation während der Patientenbehandlung zu unterstützten (Google, 2020b).

2.2.3. Microsoft HoloLens Die Microsoft HoloLens war eines der weltweit ersten MR HMD Systeme und wurde erstmals im März 2016 für Entwickler veröffentlicht (Kress & Cummings, 2017). Das Geräte beinhaltet ein Logic Board, welches unter Windows 10 läuft, sowie neben einer CPU (Central Processing Unit) und GPU (Graphics Processing Unit) eine HPU (Holographic Processing Unit), ein speziell Abbildung 8: Microsoft HoloLens Sensorleiste (Kress & Cummings, 2017) für Microsoft und die HoloLens entwickelter Coprozessor, welcher die besonderen AR Anforderungen verarbeiten soll. Die Sensorleiste ist mit einer IMU (Intertial Measurement Unit), welche einen Beschleunigungssensor, ein Gyroskop und ein Magnetometer beinhaltet, zwei Paaren von Environment Tracking Kameras, einer zentralen RGB-Kamera, vier Mikrofonen sowie einem ToF-Kamerasensor mit Anordnungen von Infrarot- LED Leisten ausgestattet (vgl. Abbildung 8).

Das Anzeigesystem besteht aus einer holographischen Wellenleiter(Waveguide)-Linse und zwei HD 16:9 Projektoren die insgesamt 2.3 Millionen Lichtpunkte auf die Linse projizieren. Ein Waveguide Display besteht typischerweise aus zwei Lichtwellenleitern (siehe Abbildung 9) (Liu et al., 2018). Licht, das auf die Linse trifft, durchdringt den ersten Wellenleiter und trifft auf das Eintrittsgitter des zweiten Wellenleiter, der das Licht in einem anderen Austrittswinkel reflektiert (Baker & Handerek, 2013). Dadurch breitet sich das Licht entlang der Wellenleiter aus und wird zwischen den Beiden hin und her geworfen, da diese Licht in diesem Winkel reflektieren und nicht hindurch lassen. Das Licht trifft in Folge auf das Austrittsgitter des zweiten Wellenleiters, der wiederum den Austrittswinkel so verändert, dass das Licht durch den ersten Wellenleiter hindurch aus der Linse austreten kann. Das eintretende Licht stammt aus einem der Projektoren, das Austretende trifft Abbildung 9: Waveguide Linse

2020 Putschögl, Daniel 26/109 auf das Auge des Benutzers. Gleichzeitig wird Licht aus der anderen Richtung, also aus der realen Umgebung, von den Wellenleitern ungehindert durchgelassen. Auf diese Weise kann der Benutzer zum einen die reale Umgebung sehen, zum anderen Objekte, die über den Projektor dargestellt werden.

HoloLens verwendet eine Technologie zur Erkennung von Gesten und Blicken und erfordert keine Verwendung von Handheld-Controllern, obwohl ein Klicker im Lieferumfang enthalten ist, der anstelle von Tippgesten verwendet werden kann (Ogdon, 2019). Die Benutzer interagieren mit der virtuellen Schnittstelle und den Hologrammen durch eine Kombination von Blicken, Klopfen oder Greifen. Microsoft verwendet sein Modell zur Interaktion im MR Bereich über mehrere Plattformen hinweg, darunter die HoloLens und die HoloLens 2. Je nachdem welche Hardware enthalten ist, können mehr oder weniger Funktionen genutzt werden. Während die HoloLens durch Gesten und Kopfbewegungen gesteuert werden kann, wobei zum Beispiel das Drehen des Kopfes und anschließendes Verharren in Richtung eines virtuellen Objekts als Eingabe verwendet kann, steht der HoloLens 2 diese Möglichkeit ebenfalls aufgrund der Augenbewegung zur Verfügung, da diese mit Kameras zum Eye-Tracking ausgestattet ist (Gough, 2019). Ähnlich zur Image Recognition wird bei der Gesture Recognition jeder Frame einzeln klassifiziert und versucht, die Handbewegung zu erkennen. Zuerst muss in dem Frame die Hand als solche erkannt und extrahiert werden, um anschließend die Geste zu erkennen (Dong et al., 2019). Anschließend wird das Bild der Hand mit dem bereits zuvor auf eine Auswahl an definierten Gesten trainierten Modell getestet. Der virtuelle Assistent Cortana und die Sprachbefehlsfunktionen sind ebenfalls in HoloLens integriert (Cooley & Moore, 2019).

2.3. Software

Software-basiertes MAR stellt die zweite dominante Plattform für MAR Anwendungen dar, welche im Vergleich zu Hardware-basiertem MAR die meist kostengünstigere Alternative darstellt, jedoch zusätzliches Herunterladen und Installieren der Anwendung erfordern. Mit Apples ARKit und ARCore wird AR nativ auf mobilen Geräten mit iOS bzw. Android Betriebssystem umgesetzt. Darüber hinaus gibt es eine Vielzahl von kleineren und größeren Projekten bzw. Frameworks, welche eine Cross-Plattform Entwicklung ermöglichen. Einige der umfangreicheren Frameworks und eine Auswahl an Features werden in diesem Kapitel vorgestellt. Diese zielen hauptsächlich auf iOS und Android ab, es werden aber auch jene behandelt, die AR für Windows 10 (für die Microsoft HoloLens) oder im Browser ermöglichen.

2.3.1. ARKit Apples „ARKit“ ist ein Framework, welches es Entwicklern ermöglicht, native AR Anwendungen für iPhone und iPad zu entwickeln (Apple, 2020c). Auf Geräten mit A9 Chips und mindestens iOS 11.0 werden mit dem ARKit verschiedenste Funktionen unterstützt.

2020 Putschögl, Daniel 27/109

2.3.1.1. Funktionen Das ARKit umfasst folgende Standard-Funktionen, die vom Entwickler nicht selbst implementiert werden müssen (Apple, 2020a):

• Natural Feature Tracking (Apple bezeichnet seinen Ansatz als World Tracking)

• Bewegungserfassung

• Gesichtserkennung

• Zugriff auf Informationen der Ausrichtungs- und Positionserkennung

• Bilderkennung und -verfolgung

• Objekterkennung und -verfolgung

• Kollisionstests

• Mehrbenutzerunterstützung

2.3.1.2. Besonderheiten World Tracking ist jener Teil des ARKits, welches es gegenüber anderen AR Frameworks hervorhebt und bezeichnet Apples Ansatz des Natural Feature Trackings. Die Grundvoraussetzung für World Tracking Anwendungen mit dem ARKit, ist einen Bezug zwischen dem realen Raum, in dem sich der Benutzer befindet, und einem virtuellen Raum, in dem man visuelle Inhalte modellieren möchte, herzustellen. Dazu wird die visuelle Trägheits-Odometrie verwendet (Dilek & Erol, 2018). Dieser Prozess kombiniert Informationen der (Bewegungs-) Sensoren des Gerätes mit den Informationen der Computer-Vision-Analyse der für die Kamera sichtbaren Szene (Apple, 2019b). Neben dem genauen Positionieren von virtuellen Objekten im Raum, ermöglicht das World Tracking die Erkennung von horizontalen und vertikalen Flächen und das Platzieren von Objekten auf diesen Flächen. Ebenso bedienen sich die Bild- und Objekterkennung und - verfolgung dem World Tracking, um kontinuierliches Verfolgen zu ermöglichen.

ARKit 3 führt erstmals auf den neuesten Geräten mit TrueDepth Kamera und A12 Bionic Chips (ARKit 3—Augmented Reality, o. J.) die Gesichtserkennung ein und erweitert somit das AR Spektrum um Anwendungen wie die auf iOS und MacOS verfügbaren Memojis und Animojis (Apple, 2019c). Hierbei kann ein Video des Gesichtes aufgenommen werden und ein 3D Modell eines Cartoon-Mensch- oder Tierkopfes wird an die Form und die Bewegungen des eigenen Gesichtes angepasst (Abbildung 10). Das TrueDepth Kamerasystem ermöglicht mithilfe einer zur herkömmlichen Front-Kamera Abbildung 10: Animoji (Apple, 2019c) zusätzlichen Infrarotkamera und einem Infrarotprojektor auch Face ID,

2020 Putschögl, Daniel 28/109 ein System zur Authentifizierung mittels Gesichtserkennung. Dabei werden über 30.000 Punkte auf das Gesicht projiziert, um daraus eine Tiefenkarte zu erstellen und somit eine verbesserte Erkennung aber auch Verfolgung zu ermöglichen (Apple, 2020d).

2.3.1.3. Sonstiges Mit „Quick Look“ liefert Apple ein kleines Werkzeug, welches es dem Benutzer ermöglicht, virtuelle Objekte auf einer Oberfläche zu platzieren. Quick Look kann mit wenigen Codezeilen (siehe Codesegment 1) in eigenen Anwendungen verwendet werden. Die Neuerung die Quick Look aber mit sich bringt ist, dass es automatisch im Safari Browser sowie in anderen in iOS integrierten Apps aktiviert ist (Abbildung 11, Quick Look in Safari). Somit ist es ausreichend, eine USDZ (Universal Scene Description – ein Dateiformat von Apple für 3D Modelle) Datei auf einer Website zu laden und Safari stellt dieses Modell in einer AR Umgebung dar.

Abbildung 11: Bildschirmaufnahme iPhone 8, iOS 13.3, Safari https://developer.apple.com/augmented-reality/quick- look/

Codesegment 1: Quick Look (HTML) (Apple, 2019b) 2.3.2. ARCore „ARCore“ ist Googles Antwort auf Apples ARKit und wird seit 2018 weiterentwickelt. Mittlerweile hat ARCore im Umfang der Features weitestgehend nachgezogen, bietet aber im direkten Vergleich mit dem ARKit einen geringeren Funktionsumfang (Nowacki & Woda, 2020). Auf Github erfolgt ca. alle 3 Monate der Release einer neuen Minor Version und ARCore ist somit aktuell in

2020 Putschögl, Daniel 29/109 der Version 1.16 verfügbar (Google, 2017/2020). Während Apple sowohl die SDKs (Software Development Kit) als auch die Geräte selbst kontrolliert und somit Software und Hardware perfekt aufeinander abstimmen kann, leidet ARCore, sowie andere SDKs für Android auch, unter der Geräte- und damit einhergehenden Hardware-Vielfalt von Android (Nowacki & Woda, 2020). ARCore läuft ab API Level 24, Nougat, Version 7.0 und zusätzlich wird aus dem Store die „Google Play-Dienste für AR“ Anwendung benötigt, welche aber nicht auf allen Geräten verfügbar ist (Google, 2020a).

2.3.2.1. Funktionen ARCore implementiert folgende Funktionen (Nowacki & Woda, 2020) (Google, 2019):

• Natural Feature Tracking

• Gesichtserkennung

• Zugriff auf Informationen der Ausrichtungs- und Positionserkennung

• Bilderkennung und -verfolgung

• Objekterkennung und -verfolgung

• Kollisionstests

• Mehrbenutzerunterstützung

2.3.2.2. Besonderheiten Mithilfe von Cloud Ankern können Benutzer mit Ihrer Anwendung virtuelle Objekte zu einer AR Szenerie hinzufügen. Mehrere Benutzer können diese Objekte gleichzeitig von verschiedenen Positionen in einem gemeinsamen physischen Raum betrachten und mit ihnen interagieren. Cloud Anker sind im Verhalten und in der Funktion ähnlich wie andere Anker, unterscheiden sich aber dadurch, dass sie auf dem ARCore Cloud Anchor Service gehostet werden (Google, 2020e). Dieses Hosting ermöglicht es den Benutzern, die Erfahrungen auszutauschen. Während des Hostings lädt ARCore Daten für den Anker in den „ARCore Cloud Anchor Service“ hoch, der eine eindeutige ID für diesen Anker zurückgibt. Die App verteilt die eindeutige ID an andere Benutzer. Während der Auflösung können Benutzer mit der eindeutigen ID denselben Anker mit dem ARCore Cloud Anchor Service neu erstellen. Um einen Anker zu erstellen, verwendet ARCore eine Punktwolke (3D-Feature-Map) des Raums, der den Anker umgibt. Um Abbildung 12: Bildschirmaufnahme Google diese Punktwolke zu erstellen, muss der Raum rund um den Anker von , Android 10.0, Chrome verschiedenen Positionen und Blickwinkeln gescannt werden. https://modelviewer.dev Ausgewählte Informationen der letzten 30 Sekunden der Kamera

2020 Putschögl, Daniel 30/109 werden am ARCore Cloud Anchor Service gehostet, wo aus diesen Informationen die Punktwolke erzeugt wird. Wenn ein anderer Benutzer in derselben Umgebung seine Gerätekamera auf den Bereich richtet, in dem der Cloud Anker positioniert ist, vergleicht der ARCore Cloud Anchor Service regelmäßig visuelle Merkmale der Szene mit der zuvor erzeugten Punktwolke. Aus diesem Grund werden 30 Sekunden vor der Hosting-Anfrage genutzt, um so viel von der Umgebung um den Anker herum abzubilden wie möglich. ARKit ermöglicht ebenso das Betrachten von gemeinsamen Objekten, wobei die Anker von Gerät zu Gerät gesendet werden und kein fremder Service genutzt werden muss. Google Cloud Anker heben sich jedoch dadurch hervor, dass sie mithilfe der ARCore SDK für iOS zwischen Android und iOS Geräten geteilt werden können.

2.3.2.3. Sonstiges Ebenso wie Apple liefert Google eine Möglichkeit, im Browser AR zu nutzen und 3D Objekten in der Umgebung zu platzieren (Abbildung 12). Im Gegensatz zu Apples Lösung funktioniert Googles „Sceneview“ in jedem Browser, jedoch nur auf Geräten, die die Google Play-Dienste für AR aktiviert haben. Im Vergleich zu Apples Variante fühlt sich die von Google deutlich träger an. Dadurch dass zuerst eine Flächenerkennung durchgeführt wird und diese im Vergleich zum ARKit deutlich länger braucht (Nowacki & Woda, 2020), benötigt der ganze Prozess des Objekt- Platzierens auch länger. Ebenso ist die Framerate nicht so stabil. Das Einbetten in eine Website erfolgt ebenso mit wenigen Codezeilen (Codesegment 2).

Avocado

Codesegment 2: Google Sceneview (HTML) (Google, 2020g) 2.3.3. Unity „Unity 3D“ ist eine plattformübergreifende Spiele-Engine und vollständige IDE von Unity Technologies zur Erstellung von Videospielen und Simulationen sowie VR und AR Anwendungen für Computer, Konsolen und mobile Geräte. Spiele mit der Unity 3D-Engine können dank des Unity Web Player-Plug-ins über einen Webbrowser ohne Installationsprozess bedient werden und ein mit Unity entwickeltes Spiel kann ohne Änderungen der Infrastruktur für verschiedene Plattformen (PC, Mac, Web, IOS, Android und ) kompiliert werden (Koca et al.,

2020 Putschögl, Daniel 31/109

2019). Im Gegensatz zu den nativen Frameworks ARKit und ARCore ist Unity eine kostenpflichtige Plattform. Unity ist in # implementiert.

Unity stellt in dieser Liste einen Außenseiter dar, da es sich hierbei nicht um eine Plattform handelt, die auf AR ausgerichtet ist. Vielmehr stellt die AR und VR eine Erweiterung des Umfangs dar und profitiert von Unitys Stärken in der Spieleentwicklung. Ebenso implementiert Unity die angebotenen AR Funktionen nicht selbst, sondern setzt auf den bestehenden Funktionen der Zielplattform auf.

2.3.3.1. Funktionen Unity umfasst folgende Funktionen (Unity Technologies, 2020):

• Natural Feature Tracking

• Bewegungserfassung (nur ARKit)

• Gesichtserkennung

• Zugriff auf Informationen der Ausrichtungs- und Positionserkennung

• Bilderkennung und -verfolgung

• Objekterkennung und -verfolgung (nur ARKit)

• Kollisionstests

• Mehrbenutzerunterstützung

2.3.3.2. Besonderheiten „AR Foundation“ ist Unitys eigenes Framework zur plattformübergreifenden Entwicklung von AR Anwendungen. Dabei implementiert es selbst keine AR Funktionalitäten, sondern nutzt jene der Zielplattform (Unity Technologies, 2019a). Um dies zu ermöglichen, ist AR Foundation in sogenannten Subsystemen aufgebaut. Ein Subsystem ist eine plattformunabhängige Schnittstelle zur Darstellung verschiedener Arten von Informationen, wobei jedes Subsystem einige spezifische Funktionen handhabt (Unity Technologies, 2019b).

Ein Provider ist eine konkrete Implementierung eines Subsystems. So enthält das „ARCore XR Plugin“ beispielsweise die ARCore-Implementierung für viele der AR-Subsysteme. Da die verschiedenen Anbieter unterschiedliche Unterstützung für bestimmte Funktionen haben, hat jedes Subsystem auch einen Deskriptor, der angibt, welche spezifischen Subsystemfunktionen es unterstützt. Während es den Anbietern überlassen bleibt, zu bestimmen, wie sie die einzelnen Subsysteme implementieren, umhüllen sie im Allgemeinen die native SDK der Plattform (z.B. „ARKit XR Plugin“ für iOS oder „ARCore XR Plugin“ für Android). Somit ergeben sich trotz der übergreifenden Entwicklung für iOS und Android Unterschiede in den zur Verfügung stehenden Funktionalitäten.

2020 Putschögl, Daniel 32/109

2.3.4. Vuforia Die „Vuforia Engine“ ist eine AR-Plattform mit Unterstützung für die Entwicklung von plattformübergreifenden Unity- sowie nativen Android-, iOS- und Windows-Anwendungen. Einige der Funktionen von Vuforia, unter anderem das Image Tracking, funktionieren bereits ab iOS- und Android-Versionen die noch keinen ARKit- bzw. ARCore-Support anbieten, da diese Funktionen eigens implementiert wurde. Andere Funktionen wie die Objekt-Erkennung nutzen Funktionen, die vom ARKit bzw. ARCore bereitgestellt werden und sind daher erst ab entsprechender OS- Version verfügbar (Vuforia, 2020c). Neben den Funktionalitäten, die die SDK liefert, umfasst die Plattform verschiedene Modell-Generatoren und Managers, welche zur Verwaltung von darstellbarem Inhalt benötigt werden. Ebenso wie Unity handelt es sich bei Vuforia um eine kostenpflichtige Plattform. Da Vuforia häufig in Kombination mit Unity zum Einsatz kommt, entstehen hier vermehrt Kosten.

2.3.4.1. Funktionen Vuforia stellt folgende Funktionen zur Verfügung (Vuforia, 2020b):

• Natural Feature Tracking

• Zugriff auf Informationen der Ausrichtungs- und Positionserkennung

• Bilderkennung und -verfolgung

• Objekterkennung und -verfolgung

2.3.4.2. Besonderheiten Gegenüber den nativen Frameworks besteht der Vorteil von Vuforia darin, dass einerseits einige wenige der Funktionen bereits ab Versionen vor ARKit- bzw. ARCore-Support laufen, andererseits in den zusätzlichen Werkzeugen, die angeboten werden. Der Area Target Generator ist eine Desktop-Anwendung, die es ermöglicht, Ziele aus 3D-Scans einer Umgebung zu erstellen. Diese Datensätze können in weiterer Folge von der SDK verarbeitet werden. Der Model Target Generator ist eine Desktop-Anwendung, mit der Ziele aus bereits vorhandenen 3D-Modellen erstellt werden können. Zusätzlich zu den Ziel-Generatoren gibt es Testanwendungen, die beurteilen, wie gut sich die erzeugten Modelle zum Erkennen und Verfolgen eignen. Der Target Manager ist eine Webanwendung, mit der Datenbanken von Zielen zur Verwendung lokal auf dem Gerät bzw. in der Cloud erstellt werden können (Vuforia, 2020d). Die Verwaltung der Bilder in einer Datenbank kann über einen REST-Webservice erfolgen. Google bietet ein Command Line Tool an, mit welchem entsprechende Datenbanken für ARCore erstellt werden können. Apple stellt kein entsprechendes Feature zur Verfügung. Die verschiedenen ARKit Datenbanken können nur mithilfe von Xcode, welches nur für MacOS verfügbar ist, bzw. zur Laufzeit erstellt werden, wodurch sich ein deutlicher Nachteil ergibt.

2020 Putschögl, Daniel 33/109

2.3.4.3. Sonstiges „VuMarks“ stellen eine Form der Bar- bzw. QR-Codes dar (Abbildung 13). Diese kodieren einerseits Daten und fungieren andererseits als Ziele für Marker-basierte AR Anwendungen. Auf Basis eines Grunddesigns können verschiedene VuMarks generiert werden, die sich optisch stark ähneln aber verschiedene Informationen enthalten (Vuforia, 2020e). So können jene Informationen enthalten Abbildung 13: VuMarks (Vuforia, 2020c) sein, die angeben, welches 3D Modell über dem Marker dargestellt werden soll. Vuforia bietet das Image Recognition Feature in Form von Cloud Recognition an. Dabei werden Bilder bzw. Bildausschnitte des Kamera-Streams an einen von Vuforia gehosteten Webservice gesendet und diese Bildausschnitte mit den Bildern aus der Datenbank verglichen. Laut Vuforia (2020a) können dabei Bilddatenbanken mit mehr als einer Million Bildern verwendet werden.

2.3.5. Wikitude „Wikitude GmbH“ ist ein österreichischer Anbieter von AR Technologien. Wikitude wurde 2008 gegründet und konzentrierte sich zunächst auf die Bereitstellung von standortbasierten AR Erlebnissen über den „Wikitude World Browser“, verfügbar für iOS und Android (Hauser, 2010). Der Browser wurde ungefähr zeitgleich mit dem ersten Android-Gerät, dem HTC Dream, veröffentlicht und ermöglicht vom aktuellen Standort des Benutzers abhängige AR Erlebnisse. Der Browser scannt die Umgebung mit Hilfe der Kamera und der Sensoren des Gerätes nach georeferenzierten Inhalten. Die Informationen der Objekte werden anschließend dort angezeigt, wo sich das reale Objekt befindet. Seit 2012 gibt es die Wikitude SDK, mit welchem sich Bilderkennungs- und -verfolgungs- sowie Geolokalisierungs-basierte AR Applikationen entwickeln lassen (Wikitude, 2020a). Aktuell in der Version 9 verfügbar, wird eine native iOS, Android und Windows (für die Microsoft HoloLens) API angeboten, sowie eine JavaScript API für iOS und Android, auf deren Basis Plugins für die Plattformen Unity, Apacha Cordova, und angeboten werden (Wikitude, 2020c). Die Wikitude SDK ist ein kostenpflichtiges Angebot.

2.3.5.1. Funktionen Die Wikitude SDK umfasst folgende Funktionen:

• Natural Feature Tracking

• Zugriff auf Informationen der Ausrichtungs- und Positionserkennung

• Bilderkennung und -verfolgung

• Objekterkennung und -verfolgung

• „Geo AR“

2020 Putschögl, Daniel 34/109

2.3.5.2. Besonderheiten Neben den bekannten Funktionen wie Bild- und Objekterkennung sowie Natural Feature Tracking, bietet Wikitude mit „Geo AR“ basierend auf den Standort-Informationen des Gerätes die Möglichkeit, Points of Interest (POI) in der näheren Umgebung darzustellen. Ebenso wie Vuforia, bietet Wikitude einen Cloud Recognition Service an, über welchen über den Cloud Service eine Bilderkennung betrieben werden kann. Mithilfe des „Wikitude Studios“ ist es möglich, rudimentäre AR Erlebnisse ohne Programmierkenntnisse über einen Web-basierten Editor zu erstellen. Ebenso kann das Studio dazu verwendet werden, die benötigen Bild- und Objektdatenbanken, welche für ein lokales bzw. Cloud-basiertes Erkennen notwendig sind, zu erstellen. Dieser Service kann auch über eine REST-Schnittstelle genutzt werden. Zusätzlich wird ein Script angeboten, welches es erlaubt, diese Bild- und Objektdatenbanken lokal zu erstellen. Dies ermöglicht eine Nutzung der Wikitude SDK, ohne dass Informationen auf fremde Server hochgeladen werden müssen (Wikitude, 2020b).

2.3.6. Augmented Reality im Browser Aktuell werden MAR Anwendungen dem Endbenutzer hauptsächlich in Form von Apps angeboten, die über die Stores der Geräte installiert werden können. So wie viele andere Anwendungen auch, könnte AR in den kommenden Jahren den Weg ins finden. Auf diese Weise können AR Inhalte einer noch breiteren Masse noch einfacher zugänglich gemacht werden. Bestehende Web AR Ansätze stützen sich auf zwei Technologien, WebRTC und WebGL (Qiao, Ren, et al., 2019)

WebRTC (Web Real Time Communication) ermöglicht Browsern die Kommunikation in Echtzeit und ist eine der wichtigsten und grundlegendsten Technologien für Web-AR (Qiao, Ren, et al., 2019). Es ermöglicht die Audio- und Videokommunikation innerhalb von Webseiten, indem es eine direkte Peer-to-Peer-Kommunikation ermöglicht, wodurch die Installation von Plugins oder das Herunterladen nativer Anwendungen überflüssig wird (W3C, 2019). Die Kamera erfasst die Umgebung in Form eines Videostreams mit Hilfe der WebRTC-Technologie, die die Grundlage für die weiteres Tracking der Umgebung, das Rendering und andere Operationen in einer Web AR Anwendung bildet.

WebGL ist ein Browser Feature, das eine JavaScript(JS)-basierte Steuerung der GPU zum Rendern interaktiver 2D- und 3D-Grafiken ohne den Einsatz von Plug-Ins ermöglicht (Belkin et al., 2019). Für die rechenintensive Bildverarbeitung von AR Anwendungen ist eine effiziente Plattform von enormer Bedeutung, vor allem bei der Verwendung auf mobilen Endgeräten. Die Verwendung des Grafikprozessors im mobilen Gerät macht die Darstellung von AR im Web flüssiger und realistischer. Die WebGL 2 Spezifikation wurde im Januar 2017 fertiggestellt und wird in modernen Browsern weitgehend unterstützt. Darauf aufsetzend und häufig verwendet ist die JS Bibliothek und API Three.js, welche eine Abstraktion von WebGL darstellt und eine leichtere Verwendung

2020 Putschögl, Daniel 35/109 ermöglicht (Danchilla, 2012). Zusätzlich liefert Three.js automatisch einen Fallback, sofern WebGL nicht unterstützt wird.

Um AR im Browser darstellen zu können, gibt es zwei Ansätze (Qiao, Ren, et al., 2019). Der Web- Browser-basierten Implementierungsansatz zielt darauf ab, eine nahezu native Leistung für Web AR Anwendungen zu erreichen, indem die Rechenkapazität des Gerätes vollständig genutzt wird. Der Wikitude Browser war eines der ersten Beispiele für diesen Ansatz, wobei der Content über das Internet geladen wird, die AR Komponenten jedoch nativ ausgeführt werden (Hauser, 2010). WebARonARKit (basierend auf ARKit) und WebARonARCore (basierend auf ARCore) sind aktuelle Beispiele, wobei diese Browser zur Darstellung der AR Inhalte auf die darunterliegenden nativen AR Frameworks ARKit bzw. ARCore setzen (WebARonARCore, 2017/2020). All diese Bemühungen zielen auf eine Leistungsverbesserung ab, um die Entwicklungsschwelle zu senken. Allerdings ist die plattformübergreifende Anforderung für Web AR Anwendungen aufgrund der mangelnden Standardisierung zwischen verschiedenen AR unterstützten Browsern immer noch eine Herausforderung (Qiao, Pei, et al., 2019).

Der zweite Ansatz ist JS basiert. Web AR Bibliotheken wie AR.js nutzen WebRTC und WebGL um AR Erlebnisse zu schaffen (Carpignoli & Etienne, 2020/2020). Obwohl es inzwischen viele Bemühungen gibt, Web AR mit Hilfe von JS zu implementieren, ist die Leistung der Anwendungen aufgrund der geringen Recheneffizienz von JS noch immer begrenzt, was die Benutzerfreundlichkeit weiter verschlechtert. Erstens sind diese Lösungen aufgrund er Rechenleistungen von JS in einem mobilen Web-Browser auf niedrige Frame-Per-Second (FPS) beschränkt (Qiao, Ren, et al., 2019).

Abhilfe könnte eine Auslagerung der Rechenleistung in die Cloud bieten, dies führt jedoch zu großen Latenzzeiten für Interaktionen und Tracking, die durch drahtlose Netzwerke verursacht werden. Das Aufkommen von 5G-Mobilkommunikationsnetzen hat das Potenzial, die Kommunikationseffizienz von im webbasierten Ansatz zu verbessern (Qiao, Pei, et al., 2019). Das zweite Problem ist, dass beide Implementierungen unter einem Mangel an Standardisierung bei mobilen Web-Browsern, Web-AR-Basistechnologien, Werkzeugen zur Inhaltserstellung und 5G- Basistechnologien leiden (Qiao, Ren, et al., 2019). Beispielsweise liefern Chrome oder Firefox und integrierte Browser in sozialen Plattformen unterschiedliche FPS-Ergebnisse für die gleiche mobile Web AR Anwendung auf einem Mobiltelefon (Karhu et al., 2014). Verschiedene Browser haben auch unterschiedliche Unterstützung für Technologien wie WebRTC und WebGL. Unterdessen sind 3D Objekte, die von verschiedenen Tools wie 3D Max, Maya und Blender erzeugt werden, nicht miteinander kompatibel (Qiao, Pei, et al., 2019). Alles in allem hat Web AR jedoch großes Potential und die zunehmende Leistungsfähigkeit der Geräte sowie das Aufkommen von 5G ebnen ihm den Weg.

2020 Putschögl, Daniel 36/109

2.4. Herausforderungen

AR bringt einige Herausforderungen mit sich, die sowohl von der Software- als auch der Hardwareseite herrühren. Während die zuvor genannten Technologien beeindruckende AR Erlebnissen schaffen können, ist immer mit gewissen Einschränkungen zu rechnen. Das Erkennen und Verfolgen von Objekten bzw. der Umgebung ist immer von verschiedenen Einflussfaktoren abhängig.

Das Tracking beinhaltet eine Bildanalyse, die ein klares Bild mit vorhersehbaren Lichtverhältnissen erfordert (Apple, 2019b). Die Verfolgungsqualität wird reduziert, wenn die Kamera keine Details erkennen kann, z.B. wenn die Kamera auf eine leere Wand gerichtet ist oder die Szene zu dunkel ist. Dieses Problem kann möglicherweise zumindest teilweise durch Hardwareunterstützung ausgeglichen werden, z.B. mit LiDAR Sensoren wie sie im neuen iPad Pro (Apple, 2020e) verbaut sind. Jedoch bleibt die Genauigkeit von den Details der physischen Umgebung des Geräts Abhängigkeit, die nicht immer konsistent oder schwer in Echtzeit ohne einen gewissen Grad an Fehlern zu messen sind. Ebenso kann übermäßige Bewegung zu einem verschwommenen Bild oder zu großem Abstand für die Verfolgung von Merkmalen zwischen den Videobildern führen, was die Verfolgungsqualität verringert (Apple, 2019b).

Verzögerungen sind oft die häufigste Ursache für Fehlerquellen, welche aufgrund der komplexen Berechnungen, welche durchgeführt werden müssen, auftreten (Azuma et al., 2001). AR ist eine rechen- und datenintensive Anwendung. Die begrenzten Rechen- und Rendering-Möglichkeiten von mobilen Endgeräten machen es schwieriger, eine hochleistungsfähige und energieeffiziente AR Anwendung zu erreichen. Erstens wird die begrenzte Leistung einer AR Anwendung das Benutzererlebnis verschlechtern und zweitens wird die Batterie des Mobilgeräts durch die komplexen Berechnungen einem enormen Druck ausgesetzt sein (Qiao, Ren, et al., 2019). Diese wird im Web AR Bereich noch einmal deutlicher. Die Auslagerung von Berechnungen in die Cloud kann zu besseren Ergebnissen führen, kann jedoch auch zusätzliche Kommunikationsverzögerung und Kosten für die Netzwerkkommunikation mit sich bringen.

2020 Putschögl, Daniel 37/109

3. Einsatzgebiete von Augmented Reality

AR wird bereits in den unterschiedlichsten Gebieten eingesetzt. Dieser Einsatz erstreckt sich vom Militär über die Industrie bis hin zur Unterhaltungsbranche. Obwohl AR bereits in vielen Lebenssituationen verwendet wird, hat die Technologie noch großes ungenutztes Potential. Basierend auf Prognosen von Nowacki & Woda (2020) lag der Markt von VR und AR 2018 bei 27 Milliarden USD. 2021 soll dieser Markt auf 209 Milliarden USD steigen (Nowacki & Woda, 2020).

Dieses Potential liegt unter anderem an der zunehmenden Rechenleistung der Endgeräte, welches es ermöglicht, aufwändige AR Objekte in Echtzeit konsumieren zu können (Mehler-Bicher & Steiger, 2014). Diese Fortschritte sind besonderes bei mobilen Endgeräten von Bedeutung, da diese weit verbreitet sind und so mobilen AR Anwendungen eine große Reichweite erreichen können. Ebenso bildet der Fortschritt im Tracking Bereich einen großen Vorteil in Bezug auf die geolokalisierte Informationsgewinnung, sowie die flächendeckende Verfügbarkeit von leistungsfähigen Kameras. Vor allem durch die Möglichkeit, Kameras in zwei Richtungen nutzen zu können, ergeben sich viele weitere Anwendungsszenarien (Mehler-Bicher & Steiger, 2014). Aufgrund dessen hat sich neben den AR Anwendungen im Unternehmens- und Militärbereich auch ein großer privater Markt eröffnet (Azuma et al., 2001).

Bei allen Einsatzgebieten hat AR das Ziel, die menschliche Wahrnehmung, um computergenerierte Objekte zu erweitern. Der Sinn dabei ist die Visualisierung von komplexen Informationen, um die Inhalte intuitiv vermitteln zu können. Damit soll der Anwender bei der Bewältigung komplexer Aufgaben unterstützt werden. Ebenso soll die „Time-to-Content“ reduziert werden. Dies ist die Zeit, die zur Informationsbeschaffung benötigt wird. Der zu vermittelnde Inhalt soll mithilfe von AR so aufbereitet werden, dass dieser vom Anwender innerhalb kürzester Zeit konsumiert werden kann. Der Anwender kann dabei selbst entscheiden, ob er diese zusätzlichen Inhalte in der jeweiligen Situation braucht und konsumieren möchte. Ebenso kommt es durch AR zu einer Verschmelzung von haptischen und digitalen Erlebnissen (Mehler-Bicher & Steiger, 2014). Während der Anwender beispielsweise eine Broschüre in der Hand hält, kann er zusätzlich digitale Objekte wahrnehmen. Somit werden verschiedene Sinne beim Anwender angesprochen. Grundsätzlich können mittels AR alle Sinne des Anwenders angesprochen werden, da AR beispielsweise auch mit Gerüchen und Geräuschen arbeiten kann. Dies führt zu einem nachhaltigen Informationsgewinn (Azuma et al., 2001).

Diese Vorteile führen zu einem großen Spektrum an Einsatzmöglichkeiten, welche sich über die unterschiedlichsten Branchen erstrecken. Nachfolgend werden aktuelle Einsatzgebiete von AR vorgestellt.

2020 Putschögl, Daniel 38/109

3.1. Militär

Wie bei vielen anderen technischen Fortschritten ist auch hier die Rüstungsindustrie eine der treibenden Kräfte. Schon in den 1990er Jahren wurden in den U.S. Air Force Armstrong Labs eines der ersten funktionsfähigen AR Systeme entwickelt, wobei zwei reale physische Roboter verwendet wurden, die von einem vom Benutzer getragenen Oberkörper-Exoskelett gesteuert wurden (Mehler-Bicher & Steiger, 2014).

Bereits in den 1940er Jahren wurden erste Heads-up-Displays (HUD) in Kampfflugzeugen eingebaut, um dem Piloten Informationen direkt im Sichtfeld anzeigen zu können. Diese Technologie wurde stetig verbessert und findet nun auch Einzug in der Infanterie. Sind HUDs für Fußsoldaten bereits gängiger Bestandteil in Videospielen, so findet dieses Konzept unter dem Namen TAR (Tactical Augmented Reality) Einzug in der US Army (Knupfer, 2016). TAR ist ein am Helm befestigtes Okular, welches die Position der Soldaten, ihrer Kameraden sowie der Feinde exakt bestimmen kann und kann ebenso mit smarten Visiereinrichtungen am Gewehr vernetzt sein (Abramovich, 2018). Auf diese Weise kann zum Beispiel um eine Deckung herum gesehen werden, indem lediglich das Gewehr in den Sichtbereich bewegt wird. Zusätzlich können Informationen mit Teammitgliedern geteilt werden. Ein Tablet am Gürtel des Soldaten bietet ein zusätzliches Interface. Langfristig soll damit auch das Nachtsichtgerät ersetzt werden, da diese Okular sowohl nachtsicht- als auch wärmebildfähig sein soll. Unter dem Projekttitel Integrated Visual Augmentation System (IVAS) oder auch HUD 3.0 hat Microsoft 2018 mit der HoloLens 2 eine Ausschreibung gewonnen, wobei TAR konkret umgesetzt werden soll (Bright, 2018).

3.2. Industrie

In der Industrie finden sich zahlreiche Beispiele für die Verwendung von Augmented Reality. Dabei werden hauptsächlich HMDs wie die Google Glass oder die Microsoft HoloLens verwendet, um dem Anwender den Vorteil zu liefern, AR zu nutzen und trotzdem beide Hände frei zu haben.

Zum Beispiel kann AR im Wartungsbereich eingesetzt werden. Hierbei kann sich der Wartungstechniker das zu reparierende Teil in 3D anzeigen lassen und dieses von allen Seiten betrachten, wodurch ein wesentlich besserer Eindruck gewonnen werden kann. Dazu kann er sich eine Liste der Bauteile einblenden lassen und wo genau die Teile in der Maschine vor ihm verbaut sind. Ebenso kann ein Videostream eingestellt werden, wodurch sich der Techniker Hilfe bei einer zentralen Stelle holen kann. Das Ziel des AR Einsatzes ist es hierbei schwierige Aufgaben sicherer, leichter und qualitativ hochwertiger erfüllen zu können (Mehler-Bicher & Steiger, 2014).

In der Konstruktion liefert AR die Möglichkeit, reale Geometrien und digitale Planungsdaten miteinander abzugleichen. Damit können beispielsweise digitale Planungen mit realen Prototypen oder Konstruktionen abgeglichen und somit sichergestellt werden, dass das geplante Objekt zur Konstruktion passt. Diese Vorgehensweise kommt in der Automobilindustrie zum Einsatz (Mehler-

2020 Putschögl, Daniel 39/109

Bicher & Steiger, 2014). Ebenso werden HMDs bei der Montage von Fahrzeugen herangezogen, um dem Monteur während der Arbeit den Bauplan anzuzeigen (Google, 2020b). Das Frauenhofer- Institut für Graphische Datenverarbeitung IGD (2013) hat eine Tablet-Anwendung entwickelt, welche beim Flugzeugbau eingesetzt wird. Dabei werden zu bedienende Einzelteile hervorgehoben, wodurch eine schnellere Orientierung im Arbeitsablauf ermöglicht werden soll. Ebenso können 3D Ansichten von Bauteilen sowie Explosionszeichnungen eingeblendet werden.

Ein weiteres Einsatzgebiet stellt die Baubranche dar. Häuser werden in der Planungsphase visualisiert und können anschließend, noch vor dem Hausbau, direkt am Bauplatz mittels AR betrachtet werden. Dies hilft beispielsweise dabei, die Wirkung des Gebäudes auf das restliche Stadtbild zu prüfen (Knupfer, 2016). Ebenso wird auf diese Weise die Umsetzung der Bauvorgaben überprüft.

3.3. Medizin und Forschung

Die Medizin sieht in AR großes Potential. Bereits seit 2005 ermöglicht AR mit dem Einsatz einer Infrarotkamera den Verlauf von Venen auf die Haut zu projizieren, um somit die Punktion zu erleichtern (Knupfer, 2016).

Das Berner Inselspital hat ein HMD in Verwendung, welches Chirurgen ermöglicht während einer Operation wichtige Daten wie Herzfrequenz oder Sauerstoffsättigung im Sichtfeld zu behalten, um sich so nicht mehr vom Patienten abwenden zu müssen (Knupfer, 2016). Ebenso unterstützt sie den Operateur bei der Navigation durch den menschlichen Körper. Das HMD wird beispielsweise bei der Entfernung von Tumoren in der Neurochirurgie oder für minimalinvasive Eingriffe verwendet. Die besondere Herausforderung an diese Technologie ist das Erkennen von und Navigieren durch Objekte, die nicht immer ident geformt sind. Ebenso müssen die zusätzlichen digitalen Elemente stets an der richtigen Stelle eingeblendet werden, um den Operateur nicht im Sichtfeld zu stören (Patrzyk & Heidecke, 2015). Grundlage dafür bilden vorherige Tomographien und Bilddaten von Ultraschallgeräten oder Kernspintomografen. Damit kann dem Operateur ein „Röntgenblick“ simuliert werden, indem virtuelle Objekte eingeblendet werden. Diese Technologie kann Operationen aber auch Untersuchungen deutlich vereinfachen (Mehler-Bicher & Steiger, 2014). Die AR Brille kann jedoch auch bei der Visite verwendet werden, um dem Arzt genaue Informationen, Befunde, Röntgenbilder und andere Daten direkt beim Patienten anzuzeigen.

Ebenso wird AR im medizinischen Bereich eingesetzt, um mit Echtdaten an Dummys zu trainieren. AR bietet gänzlich neue Möglichkeiten die Anatomie des menschlichen Körpers zu studieren, indem es die schichtenweise Abbildung von Körpern und das Trainieren von Operationen ermöglicht (Patrzyk & Heidecke, 2015).

Zusammengefasst kann gesagt werden, dass AR bereits einen großen Einfluss auf den Medizinbereich hatte und auch weiterhin haben wird. AR erhöht die Präzision bei Operationen, es

2020 Putschögl, Daniel 40/109 unterstützt die Navigation durch zusätzliche 3D Objekte und führt damit zu einer Erhöhung der Sicherheit. Ebenso ermöglicht es eine bessere, praxisnahere Ausbildung (Patrzyk & Heidecke, 2015).

Aber auch in anderen Forschungsgebieten findet AR vermehrt Einzug. Eine Möglichkeit ist der Einsatz im Bereich der Archäologie. Vor AR mussten Ausgrabungen vor Ort durchgeführt werden und die Analyse der Daten fand anschließend in einem Büro statt. Mit AR können direkt vor Ort virtuelle Elemente oder Zusatzinformationen zu den Fundstücken abgerufen werden. Ebenso können bereits verschwundene Gebäude als dreidimensionale Objekte an die jeweilige Stelle in der Landschaft gesetzt werden. Weiters ermöglicht AR den Einbezug von Informationen aus Satellitenbildern und Karten (Knupfer, 2016). Dieses Vorgehen findet auch in der Geoinformatik oder beim Abbau von Bodenschätzen Einsatz (Mehler-Bicher & Steiger, 2014).

3.4. Marketing und Vertrieb

Im Marketing Bereich gibt es viele verschieden Anwendungsszenarien von AR. Produkte aller Kategorien werden mittels AR beworben, bzw. werden zusätzliche AR Inhalte zu Produkten bereitgestellt. Zum Beispiel können Produkte mithilfe von Apps vorab zu Hause getestet werden. Ikea lieferte bereits 2014 eine erste AR App, welche Kataloge um digitale AR Objekte ergänzte. Seit 2017 ist die AR-App IKEA Place verfügbar, welche es ermöglicht, IKEA Produkte virtuell in den eigenen vier Wänden zu platzieren. Ziel ist es, dass sich Käufer eine Vorstellung von der Größe, dem Design und der Funktionalität des Produktes machen können und somit Fehlkäufen vorgebeugt wird (Steuerwald, 2019).

Citroen veröffentlichte ebenfalls einen Produktkatalog, welcher die Informationen im Katalog unter Zuhilfenahme einer App um digitale AR Objekte ergänzt (Mehler-Bicher & Steiger, 2014). Ebenso nutzt Nissan AR zu Verkaufszwecken. Die AR Anwendung wird dem Kunden von Händlern angeboten, um alle Merkmale und Unterschiede des Nissan LEAFs, die nicht auf den ersten Blick erkennbar sind, zeigen zu können. Dazu kann mit einem mobilen Endgerät das Auto gescannt werden um anschließend digitale Erklärungen zu interessanten Fahrzeugfunktionen anzuzeigen. Zusätzlich demonstriert die AR-App die Funktionsweise des Elektromotors, die e-Pedal-Funktion, sowie das Aufladen der Batterie und die Funktionsweise des Autopiloten (Wikitude, 2020e).

Sowohl bei Fahrertrainings, Besuchen der Werkstätten und anderen Events, als auch beim Abholen neuer Fahrzeuge setzt auch Porsche Leipzig auf den Einsatz von AR. Bereits vorab kann die interaktive Infobroschüre mit einer AR App um zusätzliche Einblicke ergänzt werden. Animierte Fahrten als auch 360° Videos von Rennstrecken helfen den Besuchern bereits vor dem Besuch von Porsche erste Erlebnisse zu sammeln. Vor Ort hilft die App dem Nutzer bei der Navigation und bietet weitere Informationen sowie Videos an (APPSfactory, 2017).

2020 Putschögl, Daniel 41/109

Media Markt verwendet AR Technologie mit dem Ziel besserer Markentreue und der Schaffung einer unterhaltsamen Marktplattform. Mit der AR App von Media Markt können die Kunden den traditionellen Print Katalog mitnehmen und die Inhalte überall dynamisch, ansprechend und lebendig konsumieren. Mittels Image Recognition werden die im Katalog abgebildet Produkte erkannt und um ihre wichtigsten Informationen ergänzt (Wikitude, 2016).

Ebenso gibt es bei Kosmetikhersteller wie L’Oréal die Möglichkeit Kosmetikprodukte wie Lippenstift und Rouge vor dem Kauf am eigenen Gesicht mittels AR zu testen (Knupfer, 2016). L‘Oréal lieferte dazu gemeinsam mit Perfect Corp die Make-up-App „YouCam“. Die App kann sowohl in den Geschäften auf bereitgestellten iPads verwendet werden, als auch von zu Hause aus auf dem eigenen Smartphone oder Tablet (Abramovich, 2018). Herbal Essences verwendet in seiner Produktreihe „bio:renew“, bei welcher die Produktverpackung aus recyceltem Plastik, welches an Stränden angespült wird, besteht, AR um auf die Verschmutzung der Meere durch Plastik aufmerksam zu machen. Dazu gibt es die AR-App „Herbal Essences AR Erlebnis“, mit welchem die Produktverpackung gescannt werden kann. Anschließend bekommt der Konsument verschiedene digitale Inhalte angezeigt, wie zum Beispiel die Geschichte der Plastikflaschen des Unternehmens, wie Kunststoff hergestellt wird und wie dieser auf den Stränden gesammelt wird (Wikitude, 2019d).

Destillerien wie Jim Beam und Jack Daniels verwenden ebenfalls die AR zu Marketingzwecken. Jim Beam hat sich zum Ziel gesetzt, ihren Kunden auf innovative Weise die Geschichte ihrer Marke näher zu bringen und damit eine höhere Markentreue herzustellen. Dazu wurde wiederum eine Produktverpackung entwickelt, welche mit der zugehörigen Jim Beam AR App gescannt werden kann. Nach dem Erkennen der Flasche erwacht Johannes Jakob Böhm, der Gründer der Jim Beam Brennerei, direkt auf der Flasche zum Leben. Die Familiengeschichte wird durch dynamische Audio- und 3D Visualisierungen erzählt (Wikitude, 2020d). Jack Daniels hingegen hatte das Ziel, seinen Konsumenten eine digitale Version der offiziellen Tour durch die Jack Daniel Destillerie zu geben und dabei Einblicke in den Prozess der Whiskeyherstellung zu bieten. Dazu wurde ebenfalls eine App entwickelt, welche das Etikett der Flasche erkennt und so die Inhalte einblendet. Bereits 30 Tage nach dem offiziellen Start der App sahen mehr als 30.000 iOS- und Android-Benutzer über 110.000 „Jack Stories“ als AR Erlebnis an (Wikitude, 2019b).

Pepsi installierte 2014 bei einigen Bushaltestellen in England eine Werbetafel für Pepsi Max, welche gleichzeitig eine Kamera integriert hatte. Auf der Rückseite der Werbetafel wurde die von der Kamera erfasste Straße gezeigt, sodass es wirkte, als handle es sich um eine Glasscheibe. So sorgte diese AR Werbetafel für einige Schreckmomente, als sich Passanten plötzlich einem Tiger, Roboter oder auch Aliens auf der anderen Seite der Scheibe gegenüber sahen (Abramovich, 2018).

Ebenso verwendet Lufthansa die AR Technologie für Verkaufszwecke. Vor dem Einsatz von AR wurden für jede Messe teure Demogeräte versendet und installiert, welche dem Kunden

2020 Putschögl, Daniel 42/109 detaillierte Informationen und Lösungen der Lufthansa Produkte aufzeigten. Diese Demogeräte wurden von einer AR App abgelöst, welche diese Informationen demonstriert. Dazu wird nun die AR App eingesetzt, um den Airline Kunden technischen Details näherzubringen. Für Messen wurde ein 2m x 3m großer Segmentausschnitt eines Flugzeugrumpfes hergestellt und am Stand positioniert. Die darauf eingeblendeten AR Flugzeugteile haben einen Maßstab von 1:1, wodurch eine sehr real wirkende Demonstration möglich ist. Das Verkaufspersonal kann somit anschaulich detaillierte Informationen und Alleinstellungsmerkmale vorzeigen. Die AR App ist für unterschiedliche Flugzeugtypen mit unterschiedlichen Eigenschaften verwendbar (Wikitude, 2018).

3.5. Soziale Medien

Eine der meistgenutzten AR Funktionen ist jene von sogenannten AR Linsen in Social Media Anwendungen. Anwendungen wie Snapchat stellen ihren Nutzern AR Linsen zur Verfügung, bei welchen Fotos nachträglich um 3D-Effekte, Objekte und Figuren ergänzt werden können. Dazu stellt Snapchat Gesichts-Lenses, Welt-Lenses, eine AR Bar und Snappables zur Verfügung (Snapchat, o. J.). Mit der Gesichts-Lens kann das eigene Gesicht durch Ausschnitte von anderen Menschen oder Tieren ersetzt bzw. erweitert werden. Die Welt-Lenses ermöglicht es, die Umgebung, um einen herum neu zu gestalten bzw. um 3D Objekte zu ergänzen. Die AR Bar kann genutzt werden, um nützliche Informationen zur Umgebung einblenden zu lassen. Bei Snappables handelt es sich um besonders interaktive AR Funktionen. Sie können gemeinsam mit Freunden gestaltet und genutzt werden, indem beispielsweise eine gemeinsame Band gegründet oder gemeinsam gegen Aliens gekämpft wird. Mit dem Lens Explorer und dem Lens Studio ermöglicht Snapchat seinen Usern neue AR Funktionen freizuschalten bzw. selbst zu entwickeln (Snapchat, o. J.). Snapchat konnte seine täglichen aktiven User von 2014 bis 2019 um beinahe 150 Millionen User steigern. Die steigenden User und Umsatzzahlen zeigen, dass die angebotenen AR Funktionen auch von Privatusern zur Unterhaltung sehr gut angenommen werden (Brandt, 2019).

3.6. Videospiele

Auch Videospiele bedienen sich der AR Technologie. Bereits mit der Sony Play Station 2 wurde das Spiel „Eye Toy Play“ veröffentlicht. Dieses wird mit einer Kamera ausgeliefert, welche den Spieler auf dem Fernseher zeigt und zusätzlich digitale AR Objekte einblendet, mit welchen der Spieler interagieren kann. Der Spieler konnte beispielsweise Fensterscheiben putzen oder Tennis spielen (Sony, 2003). Eines der erfolgreichsten Spiele in diesem Zusammenhang ist Pokémon Go. Basierend auf dem Nintendospiel von 1996 wurde ein AR Spiel für Smartphones und Tablets entwickelt. Ziel des Spieles ist es, Pokemons zu sammeln, welche sich aufgrund der AR Implementierung in der Umgebung finden lassen (Knabl, 2019). Dabei dient der Videostream der Kamera hauptsächlich als Hintergrundkulisse, das Haupt-AR-Feature stellen aber die abhängig vom Standort des Spielers auf Basis von OpenStreetMap platzierten Pokémon dar. Nicht zuletzt

2020 Putschögl, Daniel 43/109 aufgrund zahlreicher Unfälle, die sich durch die Unachtsamkeit der Spieler beim Suchen der Pokémons in der Umgebung ergeben haben, genoss das Spiel starke mediale Aufmerksamkeit. Seit dem Release im Juli 2016 brachte das Spiel den Machern binnen ca. 2 Jahren rund 2 Milliarden US-Doller ein. Nintendo nutzte diese Chance und entwickelte für die Konsole Nintendo Switch ein Pokémon Spiel, bei welchem die über Pokémon Go gefangenen Pokémons weiterverwendet werden können (Rixecker, 2018). Aber auch andere Spiele nutzen die AR Technologie. Das Spiel „Scrat’s Nut Hunt“, welches zu Ice Age 4 entwickelt wurde, ermöglicht es den Benutzern, wie das Eichhörnchen Scrat selbst, virtuelle Nüsse in der eigenen Umgebung zu sammeln. Für die gesammelten Nüsse können reale Preise gewonnen werden. Die App wurde eingesetzt, da der Markt für entsprechendes Merchandising- und Post Release-Werbematerial zu Ice Age gesättigt war (Bliss Interactive, 2014). Disney entwickelte 2015 eine Technologie, welche es ermöglicht, Figuren von Malbüchern in 3D erscheinen zu lassen, sobald sie fertig ausgemalt sind (Abramovich, 2018). Auch das bekannte Smartphone Spiel Angry Birds ist in einer AR Version verfügbar (Knabl, 2019).

3.7. Fernsehen

Im Fernsehen ist AR schon lange fester Bestandteil diverser Sendungen. ZDF verwendet beispielsweise ein virtuelles Studio, bei dem reale Moderatoren in Echtzeit um die Objekte der virtuellen Realität ergänzt werden (Mehler-Bicher & Steiger, 2014). Bei Sportübertragungen bzw. Nachanalysen findet AR beispielsweise beim Fußball Anwendung, wo die Entfernung vom Freistoßpunkt zum Tor eingeblendet wird. Ebenso wird beim Skispringen die „Best-to-beat“ Linie eingeblendet und beim Tennis wird mittels der Hawk-Eye-Technologie anhand von Bildern von Hochgeschwindigkeitskameras die exakte Flugbahn des Balles kalkuliert und dem Zuschauer anschließend angezeigt (Knupfer, 2016).

3.8. Motorsport

Auch im Motorsport ist AR bereits angekommen. Der Automobilhersteller Acura organisierte ein AR-Rennen, welches über einen Live Stream übertragen wurde und bei welchen Influencer hinter dem Steuer der Rennautos saßen. Jede Rennrunde fand auf einer anderen AR Rennstrecke statt. Die Rennstrecke enthielt viele visuelle Effekte und Hindernisse, welche sowohl der Fahrer als auch die Zuseher mittels Live Stream sehen konnten. Die Fahrer trugen extra angefertigte Helme, bei denen die Visiere mit AR Technologie ausgestattet waren. Der Helm war mit einem Computer am Rücksitz und einem Hochleistungs-Rendering-System vernetzt. Damit war sichergestellt, dass auch bei hohem Tempo unterbrechungsfrei ein scharfes Bild angezeigt werden konnte (Abramovich, 2018).

2020 Putschögl, Daniel 44/109

3.9. Kultur und Tourismus

Im Kulturbereich findet AR zahlreich Anwendung. Einerseits erfolgt ein Einsatz in Museen, um Ausstellungen durch virtuelle Objekte zu ergänzen bzw. um zusätzliche Informationen zu ausgestellten Objekten darzustellen (Mehler-Bicher & Steiger, 2014). Museumsbesucher sind mit einfachen Besucherlebnissen zumeist nicht mehr zufrieden und wünschen sich spannende und einnehmbare Erlebnisse. Der Uffizi Gallery in Rom wurde dieses Problem bewusst, weshalb sie eine Lösung für diese geänderten Anforderungen schufen (Wikitude, 2019c). Die größte Herausforderung dabei war die große Vielzahl an ausgestellten Objekten. Die Uffizi Gallery beinhaltet über 500 Ausstellungsstücke, welche auf über hundert Ausstellungsräume verteilt sind und deshalb nicht anhand des Standortes identifiziert werden können. Man hat eine App entwickelt, welche auf Basis der Bild- bzw. Objekterkennung der Wikitude SDK die Kunstwerke identifiziert und dem Besucher sofort weitere Informationen zum Werk und zum Künstler anzeigt. Die Informationen werden sowohl visuell auch als auditiv angeboten. Die Uffizi Gallery gibt an, dass die App mit ihren neuen Erfahrungen sehr gut von den Museumsbesuchern aufgenommen wurde (Wikitude, 2019c).

Die Stadt Wien entwickelte eine AR App, welche Bürger und Touristen zum zu Fuß gehen motivieren soll. Eines der strategischen Ziele Wiens ist es, dass Bürger weniger ihre Autos oder anderen Verkehrsmittel nutzen und dafür mehr zu Fuß gehen. Um dieses Ziel zu unterstützen, wurde die App „Wien zu Fuß“ entwickelt, welche die urbanen Spaziergänge zu einem Erlebnis machen sollen. Die App beinhaltet einen Schrittzähler, eine Stadtplanroute mit Points of Interest und die Möglichkeit, Gutscheine für verdiente Schritte einzulösen. Zusätzlich gibt es eine Schatzsuche, bei der die Benutzer in ganz Wien 1000 digitale Diamanten sammeln können. Die Diamanten werden auf einer Karte angezeigt und können als Routenpunkte definiert werden. Innerhalb des ersten Monats der Veröffentlichung verwendeten bereits 600 Benutzer aktiv die App (Wien zu Fuß, 2014).

Die Reise Website TripAdvisor hat eigenen Angaben zu Folge monatlich 460 Millionen Besucher und enthält über 859 Millionen Bewertungen und Meinungen zu 8,6 Millionen Unterkünften, Restaurants, Erlebnissen, Airlines und Kreuzfahrten (TripAdvisor, 2019). Diese Bewertungen stehen auch im Rahmen einer AR Anwendung zu Verfügung. Bewertungen sowie einige allgemeine Informationen zu Hotels, Restaurants und Attraktionen, welche sich in unmittelbarer Nähe befinden und bei TripAdvisor gelistet sind, werden in deren Richtung angezeigt. Zusätzlich gibt es eine Navigationsfunktion. Dieses Angebot wurde von der TripAdvisor Gemeinschaft überragend angenommen (Wikitude, 2013). Eine ähnliche Anwendung entwickelte auch das Unternehmen Lonely Planet, welches diverse Reiseführer anbietet. Gemeinsam mit dem Unternehmen Mobilizy, welches ein Pionier im Bereich Mobile-AR ist, entwickelte Lonely Planet eine AR Anwendung, genannt „Kompass-Führer“, welche Informationen zur Navigation in einer Stadt anbietet. Die Anwendung funktioniert auf die gleiche Weise wie jene von TripAdvisor. Es

2020 Putschögl, Daniel 45/109 werden Informationen zu den Unterkünften, Sehenswürdigkeiten, Bars und Restaurants in der Umgebung angezeigt, sowie auf Basis von GPS-fähigen Karten und standortbasierten Informationen ebenso die Entfernung zu den Zielen. Die Inhalte können auch offline genutzt werden. Die Anwendung ist für unterschiedliche Reiseziele wie New York City, Amsterdam, Miami, Barcelona und Bangkok verfügbar (Lonely Planet, 2013).

Ebenso testete TUI bereits den Einsatz von AR in Urlaubsdestinationen. Dazu bietet TUI in Palma de Mallorca Aktivitäten und Ausflüge an, bei welchen AR-Brillen verwendet werden, mit welchen die Urlauber die Orte erkunden können und zusätzliche Informationen wie Fotos, Videos und 3D- Modelle angezeigt bekommen. In der beispielhaften Anwendung in Palma bekommen die Nutzer zum Beispiel zusätzliche Informationen zum Künstler von betrachteten Bildern und werden anschließend ins Mittelalter zurückversetzt, wo sie einen Drachen beobachten können, der in der Vergangenheit in der Stadt gelebt haben soll. (Mixed Reality I/O, 2019). Hotels.com nutzt eine AR Anwendung, um Hotels in der Nähe anzuzeigen, inkl. der Zimmerpreise und Bewertungen. Die App kann einerseits genutzt werden, wenn man auf der Suche nach einem verfügbaren Hotel ist, anderseits auch, um sich den Rückweg zum eigenen Hotel anzeigen zu lassen (Hotels.com, 2013). Zum bis 2020 erschienen Reisekatalog „Abenteuer und Reisen“, gibt es eine AR App, welche die Interaktivität und Wirksamkeit beim Leser erhöhen sollten. Der Leser kann damit tiefer in spannende Themen eintauchen und sich intensiver mit den Inhalten auseinandersetzen. Mithilfe der AR Funktionen bekommen die Leser zusätzlich zu den physischen Magazinseiten digitale Inhalte, welche mit Videos, Animationen, Podcasts, herunterladbare Stadtführern und anderen hilfreichen Informationen Einblicke in ferne Länder geben und bei der Reiseplanung unterstützen (Wikitude, 2019a).

3.10. Zeitung

Neben Reisekatalogen verwenden aber auch diverse andere Printmedien AR-Technologien, um die analogen Inhalte durch Digitale zu ergänzen. Die Washington Post beispielsweise nutzte AR, um den Benutzern Architektur näher zu bringen. Dazu schufen sie eine sechsteilige Serie, um ihren Lesern die Möglichkeit zu geben neue, sehenswerte Konstruktionen aus aller Welt erforschen zu können. Dies basierte auf den Rezensionen des Kunst- und Architekturkritikers Philip Kennicott. Seine Rezensionen wurden durch AR Erlebnisse ergänzt, wodurch der Benutzer nicht nur die Rezension lesen, sondern das Objekt selbst auch sehen und erforschen konnte. In der ersten Ausgabe wurde die Elbphilharmonie gezeigt. Die Benutzer konnten mithilfe der Smartphone App AR Projektionen sehen, welche beispielsweise die Herstellung der Akustikpaneele zeigte (The Washington Post, 2017). Ein ähnliches Einsatzszenario hat das TIME Magazin geboten. Das TIME Magazin hat Sonderausgaben, welche sich auf die wichtigsten Themen und Menschen der Welt fokussieren. Zur Feier des achtjährigen Jubiläums von Barak Obama im Weißen Haus wurde die Sonderausgabe des TIME Magazins um eine AR Funktion

2020 Putschögl, Daniel 46/109 erweitert. Dazu wurde die App „TIME Special Edition“ entwickelt, wobei das analoge Magazin um zusätzliche digitale Inhalte ergänzt wurde (Wikitude, 2017).

3.11. Sonstige

Google liefert mit dem Tool Google Live View eine Erweiterung zu , welches statt der normalen 2D-Kartenansicht verwendet werden kann (Google Maps, o. J.). Dazu blendet die App, entsprechend der ausgewählten Route, Zusatzinformationen und Pfeile als Wegweiser über dem Kamerabild ein (Berger, 2019). Der Einsatz dieser Funktion ist jedoch nur für Fußgänger empfohlen (Google Maps, o. J.). Der Einsatz von AR zur Navigation in Fahrzeugen wird mit einem Navigationsgerät und einer Kamera umgesetzt, wobei das eingebaute Navigationssystem mit einer Kamera auf der Windschutzscheibe verbunden ist. Damit wird am Navigationssystem die Straße abgebildet und um zusätzliche Objekte, wie Navigationspfeile, ergänzt (Jordan, 2018). Dabei ist die Verwendung der Windschutzscheibe zur Anzeige der Navigationshilfen anstatt des Bildschirmes des Navigationsgerätes denkbar, vergleichbar mit Head-up-Displays wie sie in Flugzeugen Anwendung finden. Das Navigationsgerät projiziert die Route dabei direkt auf die Windschutzscheibe, wodurch der Fahrer nicht das Navigationsgerät und die Straße im Auge behalten müsste.

Im Bereich des kollaborativen Arbeitens bietet AR die Möglichkeit, abstrakte und komplizierte Prozesse gemeinsam zu visualisieren. Dazu gibt es AR Apps, über welche die Teilnehmer gemeinsam ein Produkt entwickeln können, welches direkt in die reale Welt projiziert wird. Virtuelle Teams können damit 3D Modelle simulieren und gemeinsam daran arbeiten (Schiffeler, 2018).

Auch im Bildungsbereich findet AR Verwendung. AR soll dabei das „Edutainment“ unterstützen, sprich es soll ermöglichen, dass Bildung und Unterhaltung besser miteinander verbunden werden können (Esch, 2018). Dafür gibt es bereits unterschiedliche Anwendungen, bei welchen der Lernende eine Kamera beim Lernen laufen hat bzw. bei welcher die Lernmaterialien gefilmt werden und anschließend zusätzliche Informationen zum Lernmaterial angezeigt werden. Damit kann zu Fehlern eine Erklärung eingeblendet werden, weshalb etwas falsch ist. Auch weiterführende Videos oder Tonsequenzen können angespielt werden. Ziel ist es, dem Lernenden ein Gefühl von individueller und interaktiver Hilfe zu geben und damit Lernbarrieren zu beseitigen. Ebenso soll damit das Interesse verstärkt werden (Mehler-Bicher & Steiger, 2014). Diesen Ansatz verfolgt unter anderem der Hueber Verlag. Der Hueber Verlag ist ein Unternehmen, welches sich auf Lehrbücher zum Sprachenlernen spezialisiert hat. Zusätzlich zu den Büchern wurde eine AR App entwickelt, welche den Schülern den Zugriff auf Audio- und Videodateien ermöglicht. Die CDs, welche den meisten Lehrbüchern beilagen, wurden durch die App abgelöst. Zum Aktivieren der Inhalte wird lediglich die Lehrbuchseite mit dem Smartphone erkannt. Anschließend zeigen

2020 Putschögl, Daniel 47/109

Icons die verfügbaren digitalen Inhalte an. Hueber Verlag stellt die App bereits für diverse Lehrbücher aus unterschiedlichen Fächern zur Verfügung (Hueber Verlag, 2018).

3.12. Zukünftige Einsatzgebiete

Wie bereits erwähnt wird der AR Technologie großes Potential eingeräumt. Aufgrund der zunehmenden Rechenleistung von Endgeräten bei Privatnutzern eröffnen sich große Chancen. So ist es denkbar, dass zukünftige Standard-GUIs der Betriebssysteme um AR Funktionen erweitert werden. So könnten Icons und Programmfenster als virtuelle Objekte im realen Raum dargestellt werden, wie es bei der Microsoft HoloLens der Fall ist, wobei die Bedienung mittels Mimik und Gestik funktioniert.

Im Bereich des Marketing und Verkauf wird ebenfalls vermehrt auf AR gesetzt. Snapchat veröffentlichte bereits den „Lens Web Builder“, welcher Marken helfen soll, einfach AR Anzeigen zu erstellen. Da AR Anzeigen im Social Media Bereich bis dato noch wenig Einzug gefunden haben, versucht Snapchat dies mit diesem Tool zu ändern. Somit könnten auf Social Media Plattformen zukünftig auch vermehrt AR Werbung zu finden sein (Gillner, 2020).

Aber auch die Arbeitsweise von Einzelhändlern weist Potential für Neuerungen mittels AR auf. AR Spiegel können dabei das Einkaufserlebnis, wie wir es bisher kennen, stark verändern. In Bekleidungsgeschäften kann der Kunden die zu verkaufende Kleidung mittels virtueller Projektionen am AR Spiegel anprobieren. Datenanalysen von bisherigen Einkäufen ermöglichen es, dass dem Kunden nur Kleidung vorgeschlagen wird, welche seinem Kaufverhalten entspricht. Damit kann der Kunde innerhalb kürzerer Zeit mehr Kleidung probieren. Der AR Spiegel wird bereits vereinzelt in Geschäften getestet. Ebenso könnte AR die Beratungstätigkeit verändern, indem Produktinformationen dem Kunden virtuell zur Verfügung gestellt werden. Saturn testet in einigen Geschäften den Einsatz von AR Brillen, um den Kunden Produkte durch 3D Projektionen näher zu bringen. Dies bringt einerseits den Vorteil der verringerten Verkaufsfläche, da nicht alle Produkte ausgestellt werden müssen, andererseits bekommen Kunden ein neuartiges Verkaufserlebnis (Bovensiepen et al., 2016).

Auch im Bereich von Social Media wird davon ausgegangen, dass AR zukünftig einen noch wichtigeren Stellenwert darstellt. Facebook stellte bereits klar, dass die zukünftige Kommunikation über soziale Medien nicht nur über Texte, Sprache und Videos stattfinden wird. Facebook möchte dazu auf digitale Avatare setzen und die Technologien von AR und VR kombinieren (DK News, 2019). Ebenso forscht Facebook an der Entwicklung einer AR Brille. Snapchat hat bereits ein Patent für bildbasiertes Tracking in AR Systemen angemeldet, welches Methoden zur Anwendungen von AR in Wearables umfasst und die Kommunikation zwischen Smartphones und Wearables wie AR Helmen, AR Visieren, AR Brillen oder AR Brillenbefestigungen ermöglichen soll (Medikix, 2017).

2020 Putschögl, Daniel 48/109

4. Augmented Reality im Kontext des Landes Oberösterreich

Um mögliche Einsatzgebiete von AR beim Land Oberösterreich zu finden, müssen vorab aktuelle Aufgaben und Leistungen des Landes beschrieben werden. Auf Basis der Ergebnisse werden anschließend mögliche Einsatzgebiete für AR abgeleitet.

4.1. Aufgaben des Landes Oberösterreich

Die Oberösterreichische (Oö.) Landesverwaltung gliedert sich organisatorisch in das Amt der Oö. Landesregierung, welches den Geschäftsapparat der Oö. Landesregierung darstellt, 15 Bezirkshauptmannschaften und 438 Gemeinden, wovon die Statutarstädte Linz, Wels und Steyr jeweils ihren eigen politischen Bezirk darstellen. Die Bezirkshauptmannschaften (BH) stellen die erste Instanz zuständiger Behörden der allgemeinen staatlichen Behörden dar, sowohl in der unmittelbaren Landesverwaltung als auch in der mittelbaren Bundesverwaltung. Gemeinsam mit dem Amt der Oö. Landesregierung stellen sie den administrative Hilfsapparat für das Land und seine Organe dar, also für den Oö. Landtag, Landeshauptmann und die Landesregierung. Zu den Aufgaben der BHs zählen unter anderem der Vollzug der Gesetze im Forst-, Gesundheits-, Gewerbe-, Umwelt- und Verkehrsrecht in der mittelbaren Bundesverwaltung, der Gesetze im Naturschutz-, Behinderten- und Sozialrecht in der unmittelbaren Landesverwaltung, sowie die Unterstützung der Gemeindebehörden und der Auftritt als Behörde im Katastrophenschutz.

Die Geschäftseinteilung des Amtes der Oö. Landesregierung schreibt aktuell 10 Direktionen und 31 Abteilungen vor, wobei die Abteilungen den Direktionen untergeordnet sind und die Direktionen sowie Abteilungen weiter in Aufgabengruppen unterteilt sein können. Diese nehmen gemäß der Verordnung des Landeshauptmannes von Oberösterreich über die Geschäftseinteilung des Amtes der Oö. Landesregierung (2018) unterschiedliche Aufgaben wahr und arbeiten im Vollzug ihrer Aufgaben mit den BHs und Gemeinden zusammen. Nachfolgend werden kurz die Aufgaben der Aufgabengruppen der Direktionen und einiger Abteilungen zusammengefasst:

1. Direktion Finanzen: Der Direktion Finanzen obliegt die Oberleitung und Beaufsichtung der gesamten Finanz- und Vermögensgebarungen des Landes sowie der Verwaltung der Abgaben und Gebühren im Landesbereich und von Förderungen. Ebenso übernimmt die Aufgabengruppe Justitiariat die Leitung der Prozesse des Landes Oberösterreich, welche im Zusammenhang mit Besorgungen grundsätzlicher zivilrechtlicher Angelegenheiten des Landes auftreten bzw. vertritt das Land in Verfahren vor dem Verfassungsgerichtshof. Die Direktion umfasst die nachgeordneten Organisationseinheiten Landesbuchhaltung und Personalverrechnung.

2. Direktion Gesellschaft, Soziales und Gesundheit: Die Direktion umfasst u.a. die Abteilungen Ernährungssicherheit und Veterinärwesen, welche die Aufgabengruppen Lebensmittelaufsicht und Veterinärdienst umfassen und ebenso die Abteilung Gesundheit, welche den

2020 Putschögl, Daniel 49/109

Sanitätsdienst sowie das Sanitäts- und Veterinärrecht in Oberösterreich regelt. Dazu zählen u.a. Apotheken, Krankenanstalten und das Rettungswesen sowie rechtliche Beratung zu Patientenverfügungen. Ebenso sind die Abteilungen Gesellschaft und Soziales Teil der Direktion, womit allgemeine Angelegenheiten des Schulwesens und das Oö. Sozialhilfegesetzes sowie Integrationsmaßnahmen und Maßnahmen für Fremde in den Aufgabenbereich fallen.

3. Direktion Inneres und Kommunales: Die Direktion umfasst u.a. die Aufgabengruppen Baurecht und Gemeinden. Somit fallen Aufgaben im Bereich der äußeren Kennzeichnung der Gemeinden an, Volksbefragungen und Volksabstimmungen, des Haushalts-, Kassen- und Rechnungswesen der Gemeinden sowie der Gemeindeabgaben und allgemeinen Gemeindeaufsicht. Ebenso werden das Krisen- und Katastrophenschutzmanagement, das Feuerwehrwesen und der Zivildienst geregelt.

4. Direktion Kultur: Die Direktion übernimmt die Koordination der Kulturpolitik des Landes, darunter die Förderung des kulturellen Schaffens sowie des kulturellen Erbes und der Volkskultur, die Organisation und Durchführung von kulturellen Großveranstaltungen und Landesausstellungen und Angelegenheiten des Landestheaters Linz, des Bruckner- Orchesters und der Anton Bruckner Privatuniversität.

5. Direktion für Landesplanung, wirtschaftliche und ländliche Entwicklung: Die Direktion umfasst u.a. die Abteilungen Land- und Forstwirtschaft sowie Naturschutz. Hier wird die Forstaufsicht, forstliche Raumplanung und der Sachverständigendienst im Jagdwesen und in Naturschutzangelegenheiten geregelt. Ebenso fallen Angelegenheiten der Nationalpark Oö. Kalkalpen Ges.m.b.H. in den Aufgabenbereich. Die Aufgabengruppe Agrarische Angelegenheiten wirkt darüber hinaus u.a. im Bereich der Fischerei und Jagd sowie Tier- und Pflanzenschutz mit und organisiert Landesgartenschauen. Die Abteilung Wirtschaft wiederum übernimmt die Wirtschaftsförderung, wirtschaftliches Krisenmanagement sowie den Tourismus und Außenhandel.

6. Direktion Personal: Die Direktion umfasst die Abteilungen Personal und Personal- Objektivierung und ist somit für die gesamte Personalentwicklung verantwortlich, angefangen bei der Neuaufnahme von Personen in den Landesdienst, die Aus- und Fortbildung der Oö. Landesbediensteten und deren Funktionszuweisung inklusive der Besetzung leitender Funktionen, z.B. die Position des Bezirkshauptmannes. Außerdem ist sie zuständig für die Durchführung von Personalgesprächen und Suchtprävention von Landesbediensteten.

7. Direktion Präsidium: Die Direktion umfasst neben der Abteilung Präsidium die Abteilungen Gebäude- und Beschaffungsmanagement, Presse, Statistik sowie Informationstechnologie. Das Gebäude- und Beschaffungsmanagement umfasst neben dem Facility Management u.a. die Bereitstellung und den Betrieb von Gebäuden und Liegenschaften, Energiemanagement,

2020 Putschögl, Daniel 50/109

Dienstnehmerschutz, soweit es den Bereich Sicherheitsfachkräfte betrifft, und zentrale Beschaffung, sowie die Zentralverwaltung der Landesanstalten und -betriebe, wie z.B. Landes-Schulen, Landes-Gasthäuser, Bade- und Erholungsanlagen sowie unbebaute Grundstücke des Landes.

Die Abteilung Presse übernimmt u.a. das externe Marketing, hält Kontakt zu den Medien, ist für den Bürgerservice verantwortlich und übernimmt die Redaktion, Herausgabe und Verwaltung der amtlichen Linzer Zeitung und der Landesillustrierten "Unser Oberösterreich", sowie der Landeshomepage.

Die Abteilung Präsidium ist u.a. mit der strategischen Ausrichtung, Steuerung und Koordinierung der Angelegenheiten des inneren Dienstes betraut, der Aufbauorganisation und Kompetenzen der Landesbehörden, dem Verwaltungs-Controlling und dem Qualitätsmanagement sowie der E-Government-Strategie. Außerdem wirkt sie bei der strategischen Ausrichtung und Koordinierung des Gebäude- und Beschaffungsmanagements, der Informationstechnologie, z.B. Informations- und Datenrecht, und beim Marketing mit. Darüber hinaus ist das Präsidium mit den Sicherheitsangelegenheiten des Landes betraut, u.a. Angelegenheiten der Polizei. Die Abteilung Statistik zeigt sich u.a. für die Herausgabe statistischer Publikationen sowie die Erstellung statistischer Datenbanken verantwortlich.

Die Abteilung Informationstechnologie ist u.a. zuständig für die Entwicklung und Festlegung von Strategien und Standards für den Einsatz von Informationstechnologie. Sie übernimmt die Beschaffung, Bereitstellung und den Betrieb von IT-Infrastruktur im gesamten Bereich der Oö. Landesverwaltung. Als Dienstleister ist die Abteilung einerseits für die IT-Beratung der Einheiten der Landesverwaltung zuständig, andererseits für die Entwicklung von Softwarelösungen und übernimmt in Folge auch die Weiterentwicklung und Wartung.

8. Direktion Straßenbau und Verkehr: Die Direktion umfasst u.a. die Abteilungen Geoinformation und Liegenschaft, welche u.a. das geographische Informationssystem (GIS) betreut als auch das „Digitale Oberösterreichische Raum-Informations-System“ (DORIS). Die Abteilung Gesamtverkehrsplanung und öffentlicher Verkehr sowie die Abteilung Straßenneubau- und Erhaltung sind für die Verkehrskoordinierung des öffentlichen Verkehrs und deren Förderungen sowie der Koordination der Bearbeitung von Katastrophenschäden im Vermögen des Landes zuständig, darüber hinaus für die Erweiterung des Landesstraßennetzes inklusive Erhaltung, Ausbau und Verwaltung von Straßen einschließlich deren Planung und dem Bau. Ebenso liegen hier die Entwicklung, Vorhaltung und Wartung des Straßenprojektinformationssystems, Führung des Straßenverzeichnisses des Landes, der Straßendatenbank und der Straßen-Informationssysteme.

9. Direktion Umwelt und Wasserwirtschaft: Die Direktion umfasst u.a. die Abteilung Wasserwirtschaft, welche u.a. die Hydrografie der oö. Gewässer übernimmt, Maßnahmen zur

2020 Putschögl, Daniel 51/109

Verbesserung des Bodenwasserhaushalts trifft und für die Überwachung der Einhaltung des Lebensmittelsicherheits- und Verbraucherschutzgesetzes sowie einschlägiger EU- Verordnungen für den Bereich Trinkwasser zuständig ist. Ebenso ist hier die Abteilung Umweltschutz eingegliedert, welche für den allgemeinen Umweltschutz, u.a. Lärmschutz, Klimaschutz und Strahlenschutz, zuständig ist.

10. Direktion Verfassungsdienst: Die Direktion ist mit ihrer Aufgabengruppe Verfassungsdienst für allgemeine Angelegenheiten der Rechtsordnung, der Rechtssprache und der Legistik zuständig, darunter u.a. die Verwaltung von Staatsverträgen mit Nachbarstaaten oder deren Teilstaaten, soweit nicht Bundesorgane zuständig sind, Rechtsbereinigung und Wiederverlautbarung von Landesgesetzen sowie für Kundmachungen im Landesgesetzblatt.

4.2. Mögliche Einsatzgebiete von Augmented Reality

Basierend auf den Ergebnissen der Recherche aus Kapitel 3. und Kapitel 4.1. werden nachfolgend mögliche Ideen zu Anwendungen für AR im Umfeld des Landes Oberösterreich beschrieben. Diese Ideen wurden im Zuge der Literaturrecherche und der Erhebung der Aufgaben des Land Oberösterreichs generiert und stellen potentielle Einsatzgebiete dar.

4.2.1. Kultur Im Kulturbereich ergibt sich vor allem im Museumsbereich ein großes Potential für AR Anwendungen. Ähnlich wie beispielsweise die Uffizi Gallery in Rom (Wikitude, 2019c), könnte auch in oberösterreichischen Museen und Ausstellungen AR zum Einsatz kommen, um ein interessanteres und neues Erlebnis für den Besucher zu schaffen. Dabei könnten Museen wie das FC – Francisco Carolinum oder das Schlossmuseum AR Anwendungen verwenden, um ihre Ausstellungsstücke mit digitalen Inhalten zu ergänzen. Zu Ausstellungsstücken können zusätzliche Inhalte wie Erklärungen zum Künstler, zur Entstehungsgeschichte des Kunstwerks oder aber spielerische Inhalte wie ein Quiz eingeblendet werden. Die Darstellung dieser Inhalte könnte über diverse Medien wie Texte, Bilder und Videos erfolgen. Ebenso könnten weiterführende Links eingebunden werden.

Eine weitere Einsatzmöglichkeit von AR im Kulturbereich ist die Verwendung zur Darstellung geschichtlicher Daten. Damit könnten beispielsweise zerstörte Gebäude rekonstruiert oder historische Orte in vergangenen Zeitaltern dargestellt werden. So könnte ein Benutzer am Hauptplatz mit einer AR Anwendung nachvollziehen, wie dieser im Mittelalter oder während des zweiten Weltkriegs aussah. Diese Anwendung würde nicht nur den Kulturbereich unterstützen, sondern könnte auch im Schulwesen eingesetzt werden.

4.2.2. Presse In Oberösterreich erhalten alle Bürger die Zeitschrift „Unser Oberösterreich“. Diese erscheint vier Mal jährlich und wird kostenfrei jedem Haushalt in Oberösterreich zugestellt. Der Inhalt der

2020 Putschögl, Daniel 52/109

Zeitschrift reicht von politischen Themen bis zu Kultur und Freizeittipps, sowie Rezepten und Gewinnspielen (Land OÖ, 2019). Diese Zeitschrift könnte mittels AR gänzlich überarbeitet werden. Anstatt dem Leser immer einen gesamten Artikel zur Verfügung zu stellen, könnten zukünftig lediglich ein Titel und ein kurzer Teaser sowie ein Foto pro Artikel gedruckt werden. Damit könnten entweder Druckseiten reduziert und somit Kosten gespart und die Umwelt geschont, oder bei gleichbleibenden Druckseiten mehr Inhalte veröffentlicht werden. Wenn der Artikel für den Leser interessant ist, könnte dieser weitere Informationen dazu mit einer AR Anwendung abrufen. Dies brächte nicht nur den Vorteil, dass pro Artikel weniger Platz auf einer Seite benötigt würde. Der Leser könnte nun selbst entscheiden, welche Artikel besonders interessant für ihn erscheinen und weitere Informationen dazu abrufen. Ebenso bietet die AR Anwendung die Möglichkeit, Inhalte nicht nur mittels Text zur Verfügung zu stellen. So könnten zu einem Artikel weitere Bilder, ein Video oder auch Sprachaufnahmen wiedergegeben werden. Damit könnte die Zeitschrift mit der AR Anwendung interessanter gestaltet werden und somit mehr Interesse bekommen.

4.2.3. Bauen und Wohnen AR könnte ebenfalls zur Visualisierung von standortbezogenen Daten verwendet werden. Dabei könnten Daten an Ort und Stelle angezeigt werden. Eine statistische Anwendung, welche bereits als Web Anwendung vom Land Oberösterreich angeboten wird, ist die DORIS interMAP. Diese zeigt für ganz Oberösterreich Flächenwidmungspläne, Grundkarten, Gefahrenhinweise und Kataster an. Mittels AR könnte diese Anwendung weiterentwickelt werden. So könnten die Daten zu einem Grundstück nicht nur in der Web Anwendung angezeigt werden, sondern mit einem mobilen Endgerät direkt vor Ort. Ein Bürger, der beispielsweise ein Baugrundstück erwerben möchte, könnte direkt auf dem Grundstück mittels AR den Flächenwidmungsplan angezeigt bekommen und somit genau sehen, wo auf dem Grundstück die ungefähre Grenze zwischen Bau- und Grünland ist und welche Gefahrenhinweise es gibt. Dies wäre nicht nur für den Erwerb von Grundstücken ein Vorteil, es könnte auch die Baubranche unterstützen, indem beispielsweise Mindestabstände eingeblendet werden.

Das Land Oberösterreich könnte auch eine AR Anwendung zur Darstellung geografischer Daten implementieren. Dazu könnten Sehenswürdigkeiten, Ämter und andere für den Bürger wichtige Stellen als Points of Intrests (POI) angezeigt werden. Der Benutzer der AR Anwendung kann dazu mit der Kamera seines mobilen Endgerätes die Umgebung betrachten und bekommt die POIs in seiner Nähe in der richtigen Richtung, sowie die Entfernung dazu angezeigt. Damit könnte der Benutzer auch ohne konkrete Adresse die Entfernung zu einem POI in Erfahrung bringen. Um den Fall wieder aufzugreifen, dass ein Bürger ein Baugrundstück erwerben will, könnten ihm Schulen, Meldeämter oder auch Nahversorger in der näheren Umgebung angezeigt werden. Ebenso könnte die AR Anwendung bei Spaziergängen und Wanderungen verwendet werden. Es kann beispielsweise angezeigt werden, wo sich der Pöstlingberg befindet und wie viele Meter es

2020 Putschögl, Daniel 53/109 bis zur Spitze sind. Zu diesen POIs wäre auch ein Navigationssystem denkbar, welches anschließend direkt zu dem ausgewählten POI navigiert.

4.2.4. Tourismus und Freizeit Entsprechend der oö. Tourismusstrategie 2022, welche einen von vier Meilensteinen in der Förderung digitaler Kompetenzen setzt, könnte eine AR App implementiert werden, welche Sehenswürdigkeiten, Hotels, Restaurants und andere Lokalitäten und Unterhaltungsorte anzeigt. Diese könnte beispielsweise Bewertungen zu Hotels oder Restaurants anzeigen und die Möglichkeit bieten, direkt zu diesen Orten zu navigieren. Ebenso könnte die AR Anwendung, ähnlich wie bei den Museen, weitere Daten und Inhalte zu Sehenswürdigkeiten wie z.B. der Dreifaltigkeitssäule oder dem Neptunbrunnen am Linzer Hauptplatz anzeigen.

Weiters ist eine AR App wie „Wien zu Fuß“ (2014) denkbar. Mit der AR App könnten Benutzer zu Fuß durch Linz und andere Städte Oberösterreichs gehen und dabei Sehenswürdigkeiten und andere interessante Orte erkunden. Benutzer, die die Anwendung beispielsweise am Hauptbahnhof aktivieren, könnten auswählen, dass sie zum Hauptplatz gehen wollen und werden dann mithilfe von AR Objekten durch die Landstraße bis zum Hauptplatz gelotst. Zusätzlich sollte es die Möglichkeit geben, vordefinierte Routen angezeigt zu bekommen. Am Hauptplatz könnte der Benutzer also eine Route starten, welche ihn zu allen Sehenswürdigkeiten in Linz navigiert. Diese Routenanzeige erfolgt wieder über AR Objekte. Weiters kann der Besucher während seines Spazierganges virtuelle Münzen sammeln, welche später an definierten Orten gegen einen Kaffee oder ein Eis eingetauscht werden können. Natürlich kann die AR Anwendung, wie auch im vorhergehenden Beispiel beschrieben, auch weitere Informationen zu Sehenswürdigkeiten und anderen interessanten Orten anzeigen. So könnten die Navigationshilfen auch bei Wanderwegen rund um die Seengebiete eingesetzt werden.

4.3. Einsatzszenarien und Funktionen für die Prototypen

Nachfolgend werden anhand der oben beschriebenen Ideen die Einsatzszenarien für die Prototypen definiert. Anschließend werden die Funktionen genauer beschrieben, welche in den Prototypen umgesetzt werden.

Die Prototypen werden für mobile Endgeräte auf iOS und Android Basis entwickelt, da diese Geräte vielen Bürgern Oberösterreichs ohnehin zur Verfügung stehen und keine zusätzliche Hardware angeschafft werden muss. Die Verbreitung von HMDs im privaten Bereich ist verschwindend gering und somit erreichen Anwendungen, welche auf diese Zielplattformen abzielen, eine sehr kleine Gruppe an Personen. Denkbar wäre hier ein lokaler Einsatz, bei dem die Geräte zur Benützung vor Ort zur Verfügung gestellt werden. Jedoch ist das Ziel in einer ersten Phase möglichst viele Bürger zu erreichen, weshalb mobile Endgeräte als Zielplattform ausgewählt werden.

2020 Putschögl, Daniel 54/109

4.3.1. Auswahl der Szenarien Den zuvor genannten Ideen liegen bei der Umsetzung unterschiedliche AR Konzepte zugrunde. Diese Konzepte werden in der folgenden Tabelle 1 hervorgehoben:

Ideenbereich Szenario Konzepte

Kultur Anwendung im Museum Markerbasierte Verfolgung (Bilderkennung- und Verfolgung)

Darstellung Markerbasierte Verfolgung (Objekterkennung- geschichtlicher Daten und Verfolgung)

Presse Zeitschrift „Unser Markerbasierte Verfolgung (Bilderkennung- Oberösterreich“ und Verfolgung)

Bauen und Darstellung Sensorbasierte Verfolgung Wohnen geografischer Daten Markerlose Verfolgung Tourismus und Darstellung Sensorbasierte Verfolgung Freizeit geografischer Daten

Tabelle 1: Ideen in Relation zu angesprochenen AR Konzepten

Da die unterschiedlichen Ideen Schnittpunkte bei den angesprochenen AR Konzepten aufweisen, werden zwei Einsatzszenarien definiert, um die zugrunde liegenden Konzepte möglichst vieler Ideen abzudecken. Auf Basis dieser Szenarien werden Prototypen entwickelt, mithilfe derer evaluiert wird, wie gut sich eine Technologie zur Umsetzung des Szenarios und folglich zur Umsetzung der Ideen eignet.

4.3.2. Szenario 1: Bilderkennung und Darstellung von AR Objekten Das erste Szenario deckt die Anwendungsbeispiele im Museum und der Zeitschrift „Unser Oberösterreich“ ab. Mit der erstellten AR Anwendung soll es möglich sein, Bilder zu erkennen und abhängig von der Position eines erkannten Bildes zusätzliche Informationen einzublenden. Konkret sollen Texte, Bilder, Videos und 3D Modelle eingeblendet werden können. Ebenso soll es möglich sein, mit diesen Objekten zu interagieren. Texte und Bilder sollen angeklickt, Videos pausiert und 3D Modelle gedreht werden können.

Die technischen Konzepte, die damit abgedeckt werden, liegen im Bereich der markerbasierten Verfolgungsmethoden. Im Szenario 1 stehen die Bilderkennung und weitere -verfolgung im Mittelpunkt, um an der Position des erkannten Bildes weitere Medien einblenden zu können. Ebenso müssen für die Bilderkennung Referenzbilder zur Verfügung gestellt werden. Dies ist aus organisatorischer Sicht relevant, da die Zurverfügungstellung der Referenzbilder die Grundlage für die technische Umsetzung bildet.

2020 Putschögl, Daniel 55/109

4.3.3. Szenario 2: Darstellung geografischer Daten mit AR Mit dem zweiten Szenario sollen Punkte von Interesse wie z.B. Schulen und andere öffentliche Gebäude oder auch Sehenswürdigkeiten relativ zum aktuellen Standort in der Umgebung des Benutzers platzieren werden können. Dieser soll somit ein Gefühl bekommen, wo und wie weit entfernt sich solche Einrichtungen zu ihm an seiner aktuellen Position befinden. Somit muss es möglich sein, Objekte in der richtigen Himmelsrichtung zu platzieren. Bewegt sich der Benutzer, müssen die Markierungen entsprechend angepasst werden. Bewegt sich der Benutzer auf eine Markierung zu, muss diese näher kommen, bewegt er sich davon weg, muss sie sich entfernen.

In Szenario 2 werden einige verschiedene technische Konzepte verlangt. Vorweg ist es notwendig, den Standort des Benutzers und seine Ausrichtung festzustellen. Dies verlangt nach einem GPS-Sensor und einem Kompass, sowie einer Schnittstelle, um diese Informationen zu erhalten. Ebenso können weiteren Sensoren zur Erhebung von Dreh- und translatorischen Bewegungen eingesetzt werden. Um einen POI frei im AR Raum zu platzieren und seine Position zu aktualisieren, kann sowohl nur mit Ausrichtungs- und Positionserkennung als auch nur mit einer markerlosen Verfolgung gearbeitet werden. Häufig werden aber diese Ansätze kombiniert, um ein besseres Ergebnis zu liefern.

4.3.4. Übersicht der Szenarien Nachfolgend findet sich eine Übersicht über die von den gewählten Einsatzszenarien abgedeckten AR Konzepten (Tabelle 2). Beiden Szenarien stellen zusätzlich die Anforderung, verschiedene Inhalte darstellen zu können. Dies ergibt sich aus der Definition von AR selbst, die reale Welt um virtuelle Inhalte zu erweitern. Um somit ein vielfältiges Ergebnis zu schaffen sollte es möglich sein, verschiedene virtuelle Inhalte darzustellen. Dies wird bei der Evaluierung als weitere Anforderung an die Technologie berücksichtigt.

Szenario Konzepte Weitere Anforderungen

1 Markerbasierte Verfolgung Darstellung unterschiedlicher virtueller (Bildererkennung- und Verfolgung) Inhalte

2 Sensorbasierte Verfolgung Unterstützung durch die Technologie Markerlose Verfolgung Tabelle 2: Vom Szenario abgedeckte Konzepte

2020 Putschögl, Daniel 56/109

5. Umsetzung der Prototypen

Für die in Kapitel 4.3 definierten Einsatzszenarien wurde jeweils ein Prototyp mit Apples ARKit, Googles ARCore, Vuforia und Wikitude entwickelt. Auf Basis dieser Prototypen findet nachfolgend ein Technologievergleich anhand von in Kapitel 6 definierten Kriterien statt. Somit soll ermittelt werden, welche der Technologien sich am besten zur Umsetzung der Anwendungsszenarien eignet. Nachfolgend wird ein Einblick in die Prototypen-Implementierung gegeben.

Für die in Kapitel 2.1.2 explizit gelisteten Software-Frameworks wurde zum weiteren Vergleich der Frameworks jeweils ein Prototyp entwickelt, mit Ausnahme von Unity, da dieses Framework auf ARKit bzw. ARCore aufsetzt und selbst keine Funktionalitäten implementiert werden. Die Prototypen wurden jeweils auf MacOS 10.15 entwickelt.

5.1. ARKit

Der Prototyp wurde mit ARKit 3 mithilfe der Entwicklungsumgebung Xcode 11 in Swift 5 für iOS 13.4 entwickelt und auf einem iPhone 8 getestet. Zum Modellieren von AR Objekten stehen die bekannten Frameworks SpriteKit und SceneKit zur Verfügung. Diese Frameworks sind die Standards zur Entwicklung von 2D und 3D Inhalten für iOS und kommen daher z.B. bei der Spieleentwicklung zum Einsatz. Dies erleichtert den Einstieg für Entwickler, die bereits vor der Arbeit mit dem ARKit Modellierungs-Erfahrung im nativen iOS Bereich gesammelt haben. Ebenso können AR Objekte mit dem UIKit Framework gestaltet werden.

ARKit liefert zwei Möglichkeiten um Referenzbilder (Marker) bereitzustellen. Einerseits kann vorab während der Entwicklung mithilfe von Xcode im statischen Asset Catalog eine AR Ressource angelegt werden. Die Ressource wird im Wesentlichen über die Xcode Import Funktion oder per Drag-and-Drop zum Projekt hinzugefügt und während des Erstellungsprozesses (Build) zur Verfügung gestellt. Alternativ kann ein Referenzbild während der Laufzeit erstellt werden. Dabei wird eine Version des Bildes erzeugt, welche während des Bilderkennungs- und - verfolgungsprozesses leichter vergleichbar ist. Diese Umwandlung des Ausgangsbildes in ein Referenzbild benötigt Rechenleistung und somit auch Zeit, weshalb die Erstellung mehrerer Referenzbilder zur Laufzeit auch einiges an Zeit beansprucht. Es ist performanter die Referenzbilder über Xcode bereitzustellen.

Überall dort, wo ein Anker platziert ist, kann ein Objekt platziert werden. ARKit platziert bei der richtigen Konfiguration selbstständig Anker an der Position erkannter Bilder. Da ARKit es erlaubt, selbstständig Anker zu platzieren, lassen sich auch POIs in der richtigen Richtung und Entfernung platzieren. Es gibt jedoch keine wiederverwendbare Funktion, die diesen Anwendungsfall abdeckt.

5.1.1. Implementierungsbeschreibung Das Herzstück einer AR Anwendung mit dem ARKit stellen die ARSCNView (ARSceneView – in Folge AR-View) und die von der AR-View beinhaltete ARSession dar. Es wird automatisch der

2020 Putschögl, Daniel 57/109

Live-Video-Feed der Gerätekamera als Szenenhintergrund gerendert, ein virtuelles 3D- Koordinatensystem mittels SceneKit entsprechend der realen Szene erzeugt und die virtuelle SceneKit-Kamera der Szene automatisch so bewegt, dass sie der realen Bewegung des Gerätes entspricht. Je nach Konfiguration der ARSession werden automatisch Anker (ARAnchor) an bestimmten Punkten platziert, z.B. in der Mitte eines von der Bilderkennung erkannten Bildes. Zu jedem Anker kann ein SceneKit-Objekt hinzugefügt werden, z.B. ein 3D-Model. Dieses ist dann für den Benutzer sichtbar.

5.1.1.1. Szenario 1: Bilderkennung und Darstellung von AR Objekten In Codesegment 3 wird im ViewController ein ARSCNView Objekt aus einem Storyboard injiziert und somit der Grundstein für eine AR Anwendung gelegt. Storyboards sind eine Möglichkeit Benutzerschnittstellen für iOS-Apps zu entwerfen. Im Storyboard können mittels Drag-and-Drop Elemente zu einer Ansicht hinzugefügt werden, die am Gerät angezeigt werden sollen. So kann eine ARSCNView hinzugefügt und mit dem ViewController verknüpft werden. Mittels der @IBOutlet-Annotation wird die im Storyboard erstellt Ansicht im Code injiziert und kann dort weiterverwendet werden.

class ViewController: UIViewController {

@IBOutlet weak var sceneView: ARSCNView!

}

Codesegment 3: Initialisierung der AR-View (Swift)

Um mit dem ARKit die Bilderkennung zu starten, muss die ARSession entsprechend konfiguriert werden und die Referenzbilder müssen übergeben werden. Die Referenzbilder können entweder vorher übergeben oder zur Laufzeit erstellt werden. In Codesegment 4 werden zunächst die zuvor im statischen Asset Catalog abgelegten Referenzbilder geladen. Im zweiten Schritt wird ein normales Bild zur Laufzeit in ein Referenzbild (ARReferenceImage) umgewandelt und der Liste der Referenzbilder hinzugefügt. Um die realen Bilder nun mithilfe von ARKit erkennen zu können, muss die Liste an Referenzbildern der ARSession übergeben werden.

extension ViewController {

override func viewWillAppear(_ animated: Bool) { // Laden von Referenzbildern aus den Ressourcen

guard let referenceImages = ARReferenceImage.referenceImages(inGroupNamed: "AR Resources", bundle: nil) else { fatalError("Missing expected asset catalog resources.") }

2020 Putschögl, Daniel 58/109

// Erstellen eines Referenzbildes zur Laufzeit

guard let image = UIImage(named: "referenceImage“) { fatalError("Missing expected asset catalog resources.") }

let referenceImage = ARReferenceImage(image.cgImage!, orientation: .up, physicalWidth: 0.2) referenceImages.insert(referenceImage)

// Übergabe der Referenzbilder an die ARSession

let configuration = ARWorldTrackingConfiguration() configuration.detectionImages = referenceImages self.sceneView.session.run(configuration, options: [.resetTracking, .removeExistingAnchors]) } }

Codesegment 4: ARSession Konfiguration (Swift)

Die Bilder, die an die ARSession übergeben werden, können im Anschluss erkannt werden. Bilder, die nicht übergeben wurden, werden auch nicht erkannt.

In Codesgement 4 wird im ViewController die viewDidLoad-Methode verwendet. Diese wird automatisch aufgerufen, wenn die Ansicht am Gerät vollständig geladen und somit die AR-View initialisiert wurde. An dieser Stelle kann nun nach dem Delegate-Muster der ViewController selbst an die AR-View übergeben werden, da der ViewController in Codesegmet 4 den ARSCNViewDelegate implementiert. Das Delegate-Muster kommt häufig zum Einsatz und kann so verstanden werden, dass ein Objekt die Abarbeitung von Ereignissen an ein externes Objekt delegiert. Das Objekt welchem ein Delegate übergeben wurde, delegiert Aufgaben an den Delegate. Hier delegiert also die AR-View eine Aufgabe an den ViewController.

extension ViewController: ARSCNViewDelegate {

override func viewDidLoad() { self.sceneView.delegate = self }

func renderer(_ renderer: SCNSceneRenderer, didAdd node: SCNNode, for anchor: ARAnchor) {

// Das erkannte Referenzbild wird mit dem Anker-Objekt übergeben

guard let imageAnchor = anchor as? ARImageAnchor else { return } let referenceImage = imageAnchor.referenceImage

2020 Putschögl, Daniel 59/109

// Anhand der realen Größe des Referenzbildes wird eine Fläche erzeugt

let plane = SCNPlane(width: referenceImage.physicalSize.width, height: referenceImage.physicalSize.height) let planeNode = SCNNode(geometry: plane) planeNode.opacity = 0.25 planeNode.eulerAngles.x = -.pi / 2

// Die erzeugt Fläche wird an die Stelle des realen Bilder gesetzt, wodurch dieses optisch überlagert wird und somit am Bildschirm nicht mehr sichtbar ist

node.addChildNode(planeNode) } }

Codesegment 5: Platzieren eines Objektes auf einem Anker (Swift)

Wenn ARKit nun eines der Referenzbilder erkennt, wird automatisch ein ARImageAnchor zur Ankerliste der ARSession hinzugefügt. Ebenso wird ein Ausgangsknoten (SCNNode) für diesen Anker erstellt, der sich an dessen Position befindet und darzustellende Elemente beinhalten kann. Um auf einen hinzugefügten Anker zu reagieren, kann eine Renderer-Methode implementiert werden. Die in Codesegment 5 implementierte Renderer-Methode wird über den Delegate von der AR-View immer dann aufgerufen, wenn ein neuer Anker der Liste hinzugefügt wird. In diesem Fall wird nun ein SceneKit-Objekt, hier ein zweidimensionales ebenes Rechteck mit derselben Größe des realen erkannten Bildes (SCNPlane), erzeugt. Diese Ebene wird einem neu erstellen Knoten im Konstruktor übergeben (let planeNode = SCNNode(geometry: plane)) und dieser Knoten wird wiederum dem Ausgangsknoten hinzugefügt (node.addChildNode(planeNode)), um somit an der richtigen Position zu sein. Da ein SCNNode-Objekt an sich keinen sichtbaren Inhalt hat, müssen ihm erst solche SceneKit-Objekte wie eine SCNPlane übergeben oder angehängt werden, um darzustellende Inhalte zu generieren.

Analog zu der in Codesegment 5 verwendeten SCNPlane, werden in Codesegment 6 weitere SceneKit-Objekte herangezogen, um Texte, Bilder und dreidimensionale Objekte darzustellen. Videos sind etwas aufwendiger darzustellen, da das SceneKit keinen eigenen Videoknoten implementiert. Dafür kann das SpriteKit-Framework herangezogen werden, welches den SKVideoNode bereitstellt. Somit lässt sich auf Umwegen ein Video erzeugen und darstellen (siehe Codesegment 6).

// Text – Mit dem SceneKit wird ein Text-Knoten erzeugt, welcher im AR Raum platziert werden kann

let text = SCNText(string: "Text", extrusionDepth: 1) text.font = UIFont(name: "Arial", size: 11)

let textNode = SCNNode(geometry: text)

2020 Putschögl, Daniel 60/109

// Bild – Um ein Bild darzustellen, wird mithilfe des SceneKits eine ebene Fläche erzeugt und das darzustellende Bild darübergelegt

let image = SCNPlane(width: referenceImage.physicalSize.width, height: referenceImage.physicalSize.height) image.geometry?.materials.first?.diffuse.contents = UIImage(named: "image")

let imageNode = SCNNode(geometry: image)

// 3D Objekt – Objekte können aus den Ressourcen geladen werden

let object = SCNScene(named: "object.scnassets/airplane.obj")! let objectNode = object.rootNode

// Video – Mithilfe des AVKits wird ein Mediaplayer erzeugt, dasselbe Framework wird im normalen Kontext auch verwendet

let fileUrlString = Bundle.main.path(forResource: "video", ofType: "mp4") else { return } let videoItem = AVPlayerItem(url: URL(fileURLWithPath: fileUrlString)) let player = AVPlayer(playerItem: videoItem)

// Der Mediaplayer kann dem vom SpriteKit zur Verfügung gestellten SKVideoNode übergeben werden, um von diesem zweidimensional dargestellt zu werden

let skVideoNode = SKVideoNode(avPlayer: player) skVideoNode.yScale = -1.0

let videoScene = SKScene(size: CGSize(width: 480, height: 360)) videoScene.addChild(skVideoNode)

// Ebenso wie das Bild zuvor, wird der Mediaplayer auf einer Ebene des SceneKits projiziert, um so den zweidimensionalen Mediaplayer in den dreidimensionalen Kontext der AR Umgebung zu bringen

let plane = SCNPlane(width: referenceImage.physicalSize.width, height: referenceImage.physicalSize.height) plane.firstMaterial?.diffuse.contents = videoScene

let videoNode = SCNNode(geometry: plane)

Codesegment 6: Erstellen von AR Objekten (Swift)

2020 Putschögl, Daniel 61/109

5.1.1.2. Szenario 2: Darstellung geografischer Daten mit AR Im Szenario 2 wird die ARSession anders konfiguriert. Die ARWorldTrackingConfiguration ist eine Klasse, mithilfe derer die ARSession konfiguriert werden kann. Sie ist darauf ausgelegt, die Bewegungen des Gerätes zu erfassen und den virtuellen 3D-Koordinatenraum mit der realen Welt übereinstimmen zu lassen. Die ARWorldTrackingConfiguration kann auf drei Arten konfiguriert werden, die sich jeweils dahingehend unterscheiden, wie der virtuelle Koordinatenraum anhand der realen Gegebenheiten aktualisiert wird. In diesem Szenario wird die Ausrichtung des Koordinatensystems auf gravityAndHeading gesetzt. Das bedeutet, dass die y-Achse des Koordinatensystems parallel zur Schwerkraft verläuft, seine x- und z-Achsen auf die Himmelsrichtung ausgerichtet sind und sein Ursprung die Ausgangsposition des Gerätes Abbildung 14: Azimut zwischen zwei Punkten beim Start der ARSession ist.

Zur Positionierung von POIs werden die eigenen GPS Koordinaten sowie die Koordinaten der POIs herangezogen. ARKit liefert keine vorgefertigte Funktion über welche GPS Koordinaten in das virtuelle SceneKit- Koordinatensystem übertragen werden können. Deswegen muss die Position der POIs im virtuellen Koordinatensystem selbstständig berechnet werden und an dieser Position soll anschließend ein ARAnchor platziert werden. Dazu wird ein Azimut herangezogen. Ein Azimut Abbildung 15: Azimut im ARKit Koordinatensystem ist eine Winkelmessung in einem sphärischen Koordinatensystem, der den Winkel zwischen zwei Punkten in Referenz zum Norden angibt (Abbildung 14). Für die Realisierung von Szenario 2 wird ein Azimut zwischen der aktuellen Position des Benutzers (Punkt A, Abbildung 15) und den Koordinaten des POIs (Punkt B, Abbildung 15) berechnet, um den Punkt anschließend richtig im virtuellen Koordinatensystem platzieren zu können. In Codesegment 7 werden aus den übergebenen geographischen Koordinaten die Breiten- und Längengrade im Bogenmaß berechnet und anschließend in die

2020 Putschögl, Daniel 62/109

Formel zur Berechnung des Azimut eingesetzt. Ebenso wird demonstriert, wie der Höhenwinkel zwischen zwei Punkten berechnet werden kann.

func azimuth(from point1: CLLocation, to point2: CLLocation) -> Float {

// Die Position eines Punktes wird mithilfe geographischer Koordinaten im Breiten- und Längengrad angegeben. Diese müssen zur Anwendung der Azimut- Formel in Radiant umgerechnet werden.

let lat1 = point1.coordinate.latitude.deg2rad let lon1 = point1.coordinate.longitude.deg2rad

let lat2 = point2.coordinate.latitude.deg2rad let lon2 = point2.coordinate.longitude.deg2rad

let dLon = lon2 - lon1

// Mithilfe folgender Berechnung wird der Azimut zwischen den beiden Punkten berechnet

let y = sin(dLon) * cos(lat2) let x = cos(lat1) * sin(lat2) - sin(lat1) * cos(lat2) * cos(dLon) return Float(atan2(y, x)) }

func elevation(from point1: CLLocation, to point2: CLLocation) -> Float {

// Analog zum Azimut kann ein Höhenwinkel berechnet werden, welcher den Höhenunterschied zwischen zwei Punkten zum Ausdruck bringt

let adjacent = point1.distance(from: point2) let opposite = point2.altitude - point1.altitude

return Float(atan2(opposite, adjacent)) }

Codesegment 7: Berechnung eines Azimuts und Höhenwinkels (Swift)

Um Objekte im dreidimensionalen Raum zu beschreiben, wird in der Regel eine 4x4 Matrix herangezogen und solch eine Matrix kann einem ARAnchor übergeben werden, um seine Position im Koordinatensystem zu beschreiben. Mit solch einer Matrix lassen sich Transformationen darstellen, wobei ein Objekt im Ursprung ohne Transformation durch die Einheitsmatrix dargestellt wird:

1 0 0 0 0 1 0 0 0 0 1 0 0 0 0 1

Zu den Transformationen, welche am Objekt möglich sind, gehören nun die Translation, Rotation und Skalierung. Für dieses Szenario sind die Translation und die Rotation von Bedeutung.

2020 Putschögl, Daniel 63/109

Die Translation ist die Verschiebung des Objektes entlang einer bestimmten Achse:

1 0 0 �! 0 1 0 �" �(�!, �", �#) = 0 0 1 �# 0 0 0 1

Die Verschiebung entlang einer bestimmten Achse wird hier benötigt, um den POI entsprechend seiner Entfernung vom Betrachter korrekt zu platzieren. Dazu wird zuerst die Entfernung zwischen den Koordinaten der aktuellen Position und der Position des POIs berechnet und anschließend die Matrix, welche einem Anker übergeben werden soll, entlang der Z-Achse verschoben. Für beide Vorgänge liefert Swift vorimplementierte Funktionen mit (siehe Codesegment 8).

let distance = myPosition.distance(from: POI)

// Es wird eine 4x4 Matrix erstellt und entlang der Z-Achse verschoben

let translation = simd_float4x4.translatingIdentity(x: 0, y: 0, z: - Float(distance))

Codesegment 8: Translation (Swift)

Anschließend wird eine Rotation um eine Achse durchgeführt, wobei d den Winkel beschreibt:

1 0 0 0 cos(�) 0 sin(�) 0 0 cos(�) − sin(�) 0 0 0 � (�) = � (�) = 1 0 ! 0 sin(�) cos(�) 0 " − sin(�) 0 cos(�) 0 0 0 0 1 0 0 0 1

cos (�) −sin(�) 0 0 sin(�) cos (�) � (�) = 0 0 # 0 0 1 0 0 0 0 1

Hier liefert Swift ebenfalls einige unterstützende Funktionen (siehe Codesegment 9). Ist die Transformation abgeschlossen, wird ein Anker auf Basis der Matrix erstellt. Dem Anker kann anschließend ein SCNNode mit dem Inhalt übergeben werden, der dargestellt werden soll.

let rotY = GLKMatrix4MakeYRotation(-azimuth) let rotation = simd_mul(convert(glkMatrix: rotY), translation)

let rotX = GLKMatrix4MakeXRotation(elevation) let transformation = simd_mul(convert(glkMatrix: rotX), rotation)

let anchor = ARAnchor(transform: transformation) sceneView.session.add(anchor: anchor)

Codesegment 9: Rotation (Swift)

2020 Putschögl, Daniel 64/109

5.2. ARCore

Der Prototyp wurde mit ARCore 1.15 mithilfe der Entwicklungsumgebung 3.6 in Java 8 für Android 9, API Level 28, entwickelt und auf einem 3a getestet. Android stellt seit API Level 1 eine OpenGL ES Implementierung zur Verfügung, die den Grundstein von AR mit ARCore darstellen. OpenGL (Open Graphics Library) ist eine sprachen- und plattformübergreifende Anwendungsprogrammierschnittstelle zum Rendern von 2D- und 3D- Vektorgrafiken. Die API wird in der Regel zur Interaktion mit einer GPU verwendet, um ein hardwarebeschleunigtes Rendering zu erreichen. Angefangen beim Rendern des Kamera-Feeds als Hintergrundbild mit GLSurfaceView kann die Implementierung zur Darstellung diverser 2D- und 3D-Objekte herangezogen werden.

Google bietet wie Apple zwei Möglichkeiten, Referenzbilder bereitzustellen. Einerseits ist das ebenfalls zur Laufzeit möglich, andererseits wird mit dem ARCore Repository auf GitHub das Werkzeug „arcoreimg“ ausgeliefert. Dabei handelt es sich um ein Command Line Interface (CLI) für Windows, und MacOS, welches aus diversen Bildern eine Bilddatenbank generiert. Das Werkzeug bewertet auf einer Skala zwischen 0 und 100, wie gut sich Bilder dazu eigenen, von ARCore erkannt zu werden. Um Bilder zu einer Referenzbilddatenbank hinzuzufügen, müssen sie mindestens einen Wert von 75 erreichen. Das Ergebnis ist z.B. Abhängig von der Auflösung des Bildes in Pixel oder dem Kontrast (Google, 2020f).

Anker werden von ARCore im Unterschied zum ARKit nicht automatisch platziert, sondern müssen selbstständig platziert werden. Die nötigen Informationen, um AR Inhalte z.B. an der Position erkannter realer Objekte zu platzieren, werden den Referenzobjekten angefügt. Ebenso kann über diese festgestellt werden, ob sie gerade verfolgt werden oder nicht. Ändert sich der Zustand eines Referenzobjektes, wird eine Methode aufgerufen, um diese Änderung nachvollziehen zu können.

5.2.1. Implementierungsbeschreibung 5.2.1.1. Szenario 1: Bilderkennung und Darstellung von AR Objekten Neben der OpenGL Implementierung wird gemeinsam mit dem ARCore Framework auf GitHub das Sceneform Framework ausgeliefert, Googles eigens für ARCore entwickeltes Framework für die Darstellung von AR Inhalten. Im Folgenden bildet das Kernstück der ARCore App ein ARFragment, welches ein mit Apples ARSCNView vergleichbares ArSceneView Objekt enthält, welche wiederum die Session beherbergt. Anders als beim ARKit wird hier nicht explizit eine spezielle Konfiguration übergeben, sondern alle Anwendungsfälle werden gleich behandelt. So werden z.B. grundsätzlich immer erkannte Flächen visualisiert sofern man diese Funktion nicht explizit ausschaltet. Dies kann in Codesegment 9 in der onCreateView-Methode beobachet werden, welche aufgerufen wird, sobald die Ansicht vollständig geladen wurde. Ebenso werden

2020 Putschögl, Daniel 65/109 an dieser Stelle die vom ArFragment implementierten Methoden initializeSession und createArScene aufgerufen.

public class ArCustomFragment extends ArFragment { @Override public View onCreateView(LayoutInflater inflater, ViewGroup container, Bundle savedInstanceState) { View view = super.onCreateView(inflater, container, savedInstanceState);

// Das ArFragment implementiert automatisch eine Visualisierung von erkannten Flächen, welche an dieser Stelle deaktiviert wird

this.getPlaneDiscoveryController().hide(); this.getPlaneDiscoveryController().setInstructionView(null);

this.getArSceneView().getPlaneRenderer().setEnabled(false); this.getArSceneView().setLightEstimationEnabled(false);

this.initializeSession(); this.createArScene();

return view; }

@Override public Config getSessionConfiguration(Session session) { Config config = new Config(session); config.setFocusMode(Config.FocusMode.AUTO);

AugmentedImageDatabase augmentedImageDatabase;

// Hier werden die Referenzbilder aus den Ressourcen geladen, welche zuvor mithilfe des arcoreimg Werkzeugs erzeugt wurden

try (InputStream is = getAssets().open("images.imgdb")) { augmentedImageDatabase = AugmentedImageDatabase.deserialize(session, is); } catch (IOException e) { Log.e(TAG, "IO exception loading augmented image .", e); augmentedImageDatabase = new AugmentedImageDatabase(session); }

// Ebenso können Referenzbilder zur Laufzeit generiert werden

augmentedImageDatabase.addImage("video.mp4", loadAugmentedImageBitmap("test_image.jpg"), 0.22f);

2020 Putschögl, Daniel 66/109

// Die Referenzbilder werden der Konfigurationsklasse und anschließend der Session übergeben

config.setAugmentedImageDatabase(augmentedImageDatabase);

session.configure(config);

return config; } }

Codesegment 10: ArFragment (Java)

Weiters wird in Codesegment 10 die Referenzbilddatenbank mittels InputStream geladen. Diese Datenbank kann entweder zuvor mithilfe des Werkzeuges „arcoreimg“ erzeugt und zur Laufzeit als statische Ressource bzw. von extern geladen und übergeben werden oder zur Gänze zur Laufzeit neu erstellt werden. Dies passiert in der getSessionConfiguration-Methode, welche zu Beginn des Lebenszyklus der Session aufgerufen wird. Im Codesegment wird eine neue Konfiguration erzeugt und der Kamera-Fokus-Modus auf automatisch gestellt. Zuletzt wird die erzeugt Referenzbilddatenbank an die Konfiguration und die Konfiguration an die Session übergeben. Somit ist es möglich, die übergebenen Bilder zu erkennen.

Wird nun ein Bild erkannt, wird die onUpdate-Methode aufgerufen und die zuvor an die Session übergebenen AugmentedImages (vgl. laden der Referenzbilder, Codesegment 10) werden aktualisiert, je nachdem ob sie aktuell verfolgt werden oder nicht mehr. Im Codesegment 11 wird über die Liste der Referenzbilder iteriert und verglichen, ob die getTrackingMethod-Methode FULL_TRACKING zurückgibt oder nicht. Ist dies der Fall, wird das Bild erkannt und wird verfolgt.

@Override public void onUpdate(FrameTime frameTime) { Frame frame = this.getArSceneView().getArFrame();

if (frame == null) { return; }

Collection updatedAugmentedImages = frame.getUpdatedTrackables(AugmentedImage.class);

for (AugmentedImage augmentedImage : updatedAugmentedImages) { if (augmentedImage.getTrackingMethod() = AugmentedImage.TrackingMethod.FULL_TRACKING) { this.placeObject(augmentedImage); } } }

Codesegment 11: Nachverfolgung des Verfolgungsstatus (Java)

Das AugementedImage Objekt erstellt nicht automatisch einen Anker, enthält aber alle Informationen zur Position und Ausrichtung des erkannten Bildes in Form eines Pose Objektes.

2020 Putschögl, Daniel 67/109

Mithilfe dieser Informationen kann nun ein Anchor an der Position des Bildes erstellt werden und an die Stelle dieses Ankers kann ein AR Objekt platziert werden. Ebenso wie Anker nicht automatisch erstellt werden, werden auch Knoten (AnchorNode) nicht automatisch erstellt (vgl. SCNNode im Kontext von ARKit). Auch hier werden Knoten verwendet, um Inhalte im AR Raum darstellen zu können.

Im Codesegment 12 wird aus dem Referenzobjekte die Information zur Position des realen Bildes gewonnen und an dessen Stelle ein Anker erstellt. Mittels eines ModelRenderable.builder()- Objektes wird ein statisches dreidimensionales Objekt im SFB-Format geladen (setSource). Wird dieses Objekt erfolgreich geladen, wird es in der thenAccept-Methode verarbeitet. Dieser wird hier ein Callback übergeben, welcher anhand des zuvor erstellten Ankers einen Knoten erstell. Dem Knoten wird das geladene 3D-Objekt (modelRenderable) übergeben und er selbst wird anschließend der Szene zur Darstellung hinzugefügt (addChild).

private void placeObject(AugmentedImage augmentedImage) { Anchor anchor = augmentedImage.createAnchor(augmentedImage.getCenterPose()); Uri uri = Uri.parse("object.sfb"));

ModelRenderable.builder() .setSource(arFragment.getContext(), uri) .build() .thenAccept(modelRenderable -> { AnchorNode anchorNode = new AnchorNode(anchor);

TransformableNode node = new TransformableNode(arFragment.getTransformationSystem()); node.setRenderable(modelRenderable); node.setParent(anchorNode);

arFragment.getArSceneView().getScene().addChild(anchorNode);

node.select(); }) .exceptionally(throwable -> { Toast.makeText(arFragment.getContext(), "Error:" + throwable.getMessage(), Toast.LENGTH_LONG).show(); return null; }); }

Codesegment 12: Platzieren eines Objektes auf einem Anker (Java)

Mit ARCore ist es möglich, zweidimensionale AR Objekte mittels XML oder mittels des Editors zu modellieren, wie es für normale UI Komponenten auch üblich ist (Beispiel eines Textfeldes (TextView) in XML definiert, Codesegment 13). Anschließend kann das Renderable, wie schon in Codesegment 12 gezeigt, einem Knoten übergeben und dargestellt werden. Dasselbe Prinzip kann z.B. mit einem ImageView für Bilder angewendet werden.

2020 Putschögl, Daniel 68/109

// XML

// Java ViewRenderable.builder() .setView(this, R.layout.text_view) .build() .thenAccept(renderable -> testViewRenderable = renderable);

Codesegment 13: TextView mit ViewRenderable gerendert (XML/Java) (Google, 2020g)

Videos sind mit ARCore schwieriger darzustellen, da keine vorgefertigten Knoten dafür bereitgestellt werden. Es muss zuerst ein SFB-Modell einer Ebene erstellt werden um anschließend das Video auf die Oberfläche der Ebene zu projizieren.

5.2.1.2. Szenario 2: Darstellung geografischer Daten mit AR ARCore bietet ebenfalls keine vorimplementierte Lösung zum Platzieren von POIs, somit wird derselbe Ansatz gewählt, wie beim Platzieren von POIs mit dem ARKit. Im Unterschied zum ARKit wird hier einem Anker nicht direkt eine Matrix übergeben, sondern ein Pose Objekt, welche die Matrix beinhaltet und welches bereits diverse Matrizenrechnungen anbietet.

5.3. Vuforia

Der Prototyp wurde mit Vuforia 9 mithilfe der Entwicklungsumgebung Unity Editor 2019.4 in C# 7.3 für iOS 13.4 und Android 9, API Level 28, entwickelt und auf einem iPhone 8 und Google Pixel 3a getestet. Das Vuforia SDK besteht aus nativen Frameworks für iOS und Android sowie einem Unity Plugin. Der Cross-Plattform Vorteil von Vuforia kann also nur in Verbindung mit Unity genutzt werden. Vuforia selbst implementiert deutlich weniger Funktionen wie ARKit und ARCore. Da Vuforia aber hauptsächlich im Kontext von Unity eingesetzt wird, können Features von Unity‘s ARFoundation, welche eine einheitliche Abstraktionsschicht für die darunter liegenden Frameworks ARKit und ARCore darstellt, genutzt werden.

Für den Abgleich von Referenzbildern zur Bilderkennung stellt Vuforia zwei Möglichkeiten bereit. Zum einen können über eine Weboberfläche bzw. -schnittstelle Bilder hochgeladen werden, um daraus eine Referenzbildatenbank zu erstellen. Zum anderen steht die Cloud Erkennung (Cloud Recognition) zur Verfügung, bei welcher der Abgleich nicht lokal auf dem Gerät erfolgt, sondern in der Cloud.

2020 Putschögl, Daniel 69/109

Vuforia gibt dem Nutzer keine Möglichkeit Anker frei im Raum zu platzieren. Virtuelle Objekte können somit nur in Referenz zu erkannten realen Objekten platziert werden, z.B. 2D- und 3D- Objekten, oder auf erkannten Flächen. Alternativ können Objekte auch mit fixem Abstand zur Kamera platziert werden.

5.3.1. Implementierungsbeschreibung 5.3.1.1. Szenario 1: Bilderkennung und Darstellung von AR Objekten Vuforia wird grundsätzlich über den Untiy Editor verwaltet, weswegen alle Funktionalitäten über diesen erstellt und nicht selbst ausprogrammiert werden. Somit wird auch die Referenzbilddatenbank mit dem Editor an die zugrunde liegende Vuforia Engine übergeben bzw. die Cloud-Erkennungsfunktion über den Editor konfiguriert, bei welcher der Video-Feed live am Vuforia-Server verarbeitet und auf zu erkennende Bilder untersucht wird. Vuforia selbst implementiert keine darstellbaren Objekte, sondern stützt sich hierbei auf das Angebot von Unity.

5.3.1.2. Szenario 2: Darstellung geografischer Daten mit AR Vuforia bietet keine Lösung, die das POI-Szenario abdeckt. Zwar implementiert Vuforia einen SLAM-Ansatz, es ist aber nur möglich Objekte auf zuvor erkannten Flächen zu platzieren und ihre Position zu fixieren. Bei frei platzierten Objekten ist eine Fixierung der Position nicht möglich, was bedeutet, dass man Objekten nie näherkommen kann, da sie immer denselben Abstand zum Gerät einhalten. Alternativ könnte man das Objekte bei Distanzänderungen anderes skalieren, jedoch bekommt man keine SLAM-Informationen von Vuforia geliefert, weshalb für diesen Ansatz nur die GPS-Informationen zur Verfügung stehen. Diese sind nicht genau genug, um ein überzeugendes Erlebnis zu schaffen.

5.4. Wikitude

Der Prototyp wurde mit Wikitude 9 mithilfe der Entwicklungsumgebung 1.45 in JS ES 5 für iOS 13.4 und Android 9, API Level 28, entwickelt und auf einem iPhone 8 und Google Pixel 3a getestet. Neben nativen Komponenten stehen große Teile des Wikitude SDK über eine JS API zur Verfügung. Diese JS API wird entweder im Wikitude Browser oder in einem Webview, eingebettet in eine App, ausgeführt. So kann die JS API auf die nativen Komponenten zugreifen, um die AR Anteile zu ermöglichen. Das Grundgerüsten gleicht dabei einer HTML Website, welche im Wikitude Browser oder dem Webview aufgerufen und ausgeführt wird. Somit stehen zum Design der grafischen Oberfläche sowie von AR Objekten HTML 5 und CSS zur Verfügung, was den Einstieg in die Entwicklung mit Wikitude erleichtern kann. Ebenso können Frameworks wie z.B. verwendet werden.

Wikitude bietet mehrere Möglichkeiten zur Bereitstellung der Referenzbilder. Zum einen kann ein Script verwendet werden wie es Google bereitstellt, um lokal eine Referenzbilddatenbank zu erstellen. Dieselbe Funktionalität steht auch über eine Weboberfläche bzw. -schnittstelle bereit, wobei die Bilder über die GUI oder einen Rest Service an Wikitude übermittelt werden und die

2020 Putschögl, Daniel 70/109

Referenzbilddatenbank zurückgeliefert wird. Als dritte Option steht die Cloud Erkennung zur Verfügung, wobei der Abgleich auf ein Referenzbild nicht lokal, sondern in der Cloud passiert.

Ebenso wie Vuforia erlaubt Wikitude kein freies Platzieren von Ankern in der Umgebung. Ebenso werden Objekte nur in Referenz zu erkannten Objekten und Flächen platziert, bzw. mit dem „Geo AR“ Feature abhängig von GPS Koordinaten.

5.4.1. Implementierungsbeschreibung 5.4.1.1. Szenario 1: Bilderkennung und Darstellung von AR Objekten Eine Wikitude AR Anwendung wird entweder im Wikitude Browser ausgeführt oder in einem Webview, welcher die HTML-Seite entsprechend interpretieren kann. Für die beiden Szenarien wurde der Wikitude Browser als Container für die AR Anwendungen herangezogen. Das HTML- Konstrukt wurde über einen Apache 2 Webserver bereitgestellt und im lokalen Netzwerk vom Wikitude Browser konsumiert.

Das Grundgerüst der Wikitude AR Anwendung stellt eine übliche HTML-Seite dar, welche sich nur dadurch hervorhebt, dass entsprechende Ressourcen geladen werden müssen (vgl. Codesegment 14). Die Ressourcen werden aber nicht über das Internet geladen, wie der Script- Tag vermuten lässt, sondern vom Browser bereitgestellt und interpretiert.

Codesegment 14: Wikitude Startseite (HTML)

Das eigentlich AR Erlebnis wird mit JS erzeugt. Alle Wikitude Funktionen des JS-Plug-Ins stehen unter dem Paket AR zur Verfügung. Sofern das architect.js Skript vom Browser bereitgestellt wird, stehen alle Wikitude-AR-Funktionalitäten zur Verfügung.

2020 Putschögl, Daniel 71/109

Für das Museums-Szenarion ist die Bilderkennung von Bedeutung. Wikitude bietet über eine Weboberfläche bzw. -Schnittstelle und über ein lokal ausführbares Skript die Möglichkeit, aus Referenzbildern eine Bilddatenbank im eigenen WTC (Wikitude Target Collection) Dateiformat zu erzeugen. Diese Datenbank kann als statische Ressource zur Verfügung gestellt oder auch über die REST-Schnittstellt dynamisch erstellt und geladen werden. Steht die Bilddatenbank zur Verfügung, wird ein TargetCollectionRessource-Objekt erstellt (siehe Codesegment 15). Auf Basis dieser Ressource wird ein Tracker erstellt. Der Tracker stellt die Kernfunktion dar und implementiert den Vergleich des Video-Feeds mit der ihm übergebenen Bilddatenbank, um Bilder ggf. wiederzuerkennen.

var targetCollectionResource = new AR.TargetCollectionResource("assets/museum.wtc", { onError: () => { } });

var tracker = new AR.ImageTracker(this.targetCollectionResource, { onError: () => { } });

Codesegment 15: Wikitude Bildverfolgung (JS)

Der Tracker dient als Grundlage dafür, um virtuelle Objekte abhängig von der realen Position des erkannten Bildes zu platzieren. Dieser kann an ein ImageTrackable übergeben werden, welches automatisch die zusätzlich übergebenen Objekte in Relation zu einem erkannten Bild platziert. Die Translations-Angaben im Codesegment 16 sind somit alle in Relation zum erkannten Bild zu verstehen, nicht zur Position der Kamera. Wikitude bietet viele vordefinierte Möglichkeiten, um verschiedene Medientypen darzustellen. Neben Bildern, Videos und dreidimensionalen Objekten können mit dem HtmlDrawable verschiedenste HTML-Komponenten mit JS- und CSS- Unterstützung dargestellt werden, bis hin zu vollständigen Websiten. Jedoch sind nicht alle HTML 5 Elemente einsetzbar, wie z.B. der Video-Tag.

Ein Bild kann direkt aus den statischen Ressourcen bzw. über eine Schnittstelle mithilfe eines ImageResource-Objektes geladen werden. Dieses wird anschließend an ein ImageDrawable übergeben, welches einem ImageTrackable zur Darstellung übergeben werden kann. Demselben Prinzip folgen HtmlDrawable, Model und VideoDrawable. In Codesegment 16 ist ersichtlich wie sie alle einem ImageTrackable übergeben werden können.

// Laden eines Bildes aus den Ressourcen

var image = new AR.ImageResource("assets/image.png", { onError: () => { } });

2020 Putschögl, Daniel 72/109

// Das geladene Bild wird an ein Objekt übergeben, welches im Wikitude AR Raum dargestellt werden kann

var overlay = new AR.ImageDrawable(image, 1, { translate: { x: -0.15 } });

// Ebenso wie ein Bild, können mit Einschränkungen (z.B. der HTML 5 Video-Tag wird nicht richtig dargstellt) HTML-Seiten dargestellt werden

var widget = new AR.HtmlDrawable({ uri: "assets/widget.html" }, 1, { translate: { x: 0.36, y: 0.5 }, horizontalAnchor: AR.CONST.HORIZONTAL_ANCHOR.RIGHT, verticalAnchor: AR.CONST.VERTICAL_ANCHOR.TOP, onError: () => { } });

// Dreidimensionsale Objekte werden im WT3 Format geladen, Wikitudes eigenes Format

var model = new AR.Model("assets/3Dmodel.wt3", { scale: { x: 0.5, y: 0.5, z: 0.5 }, rotate: { x: 180.0, y: 0.0, z: 90.0 }, translate: { x: 5, y: 5, z: 0 }, onClick: () => { } });

// Zur Darstellung von Videos stellt Wikitude eine eigene Klasse zur Verfügung

var video = new AR.VideoDrawable("assets/video.mp4", 0.5, { translate: { x: 0.2, y: 0.2 } });

// Die erstellten Objekte warden an ein ImageTrackable übergeben, welches wenn ein Bild erkannt wird, die Objekte entsprechend ihrer Konfiguration darstellt

var imageTrackable = new AR.ImageTrackable(this.tracker, "image", { drawables: { cam: [overlay, widget, model, video] }, onError: () => { } });

Codesegment 16: Wikitude Objekte (JS)

5.4.1.2. Szenario 2: Darstellung geografischer Daten mit AR Wikitude liefert mit dem „Geo AR“-Feature eine maßgeschneiderte Lösung, um den zweiten Anwendungsfall abzudecken. Es wird lediglich ein GeoLocation-Objekt benötigt, welches die Koordinaten beinhaltet, an welchen ein virtuelles Objekt platziert werden soll, sowie ein GeoObject

2020 Putschögl, Daniel 73/109 welches eine GeoLocation übergeben bekommt sowie das Objekt, das an den Koordinaten platziert werden soll (siehe Codesegment 17). Die Positionen der virtuellen Objekte werden automatisch aktualisiert, womit ein näher kommen bzw. sich entfernen richtig dargestellt wird. Einem GeoObjekt können wie zuvor beliebige Drawabled zur Darstellung übergeben werden.

var marker = new AR.ImageResource("assets/marker.png", { onError: () => { } });

var markerDrawable = new AR.ImageDrawable(marker, 2.5, { zOrder: 0, opacity: 1.0 });

var markerLocation = new AR.GeoLocation(latitude, longitude, altitude);

var markerObject = new AR.GeoObject(markerLocation, { drawables: { cam: [markerDrawable] } });

Codesegment 17: Platzieren eines POIs (JS)

5.5. Erfahrungsbericht

Während des Entwicklungsprozesses haben sich erwartungsgemäß einige kleinere Schwierigkeiten ergeben, die verschiedenen ausgewählten Technologien betreffend. Nachfolgend ein kurzer Erfahrungsbericht und ein Vergleich der Entwicklungsarbeit mit den Technologien. Eine genauere Analyse in Bezug auf die realisierten Szenarien folgt im Kapitel 6 dieser Arbeit.

5.5.1. ARKit Zur Entwicklung für iOS stehen Objective-C und Swift zur Verfügung, wobei Swift die moderner Alternative ist und zurzeit im Mittelpunkt steht. Dies zeigt sich durch aktuelle Frameworks wie Swift UI und da weder mit der einen noch mit der anderen Programmiersprache Erfahrungen vorhanden waren, wurde auch der ARKit Prototyp in Swift geschrieben. Swift ist eine statisch typisierte Programmiersprache. Der Compiler muss zum Zeitpunkt der Kompilierung alle Informationen über alle Klassen und Funktionen haben. Versuche, einer Variable „nil“ zuzuweisen die nicht explizit dafür vorgesehen ist (sogenannten Optionals mit einem „?“ gekennzeichnet) oder einen Optional- Parameter zu übergeben, der nicht explizit auf seinen Wert geprüft wurde (siehe Codesegment 18), werden sofort mit einem Kompilierfehler bestraft. JS- und PHP-geübte Entwickler werden die Dynamik vermissen.

2020 Putschögl, Daniel 74/109 var x: Int? guard let var y = x as Int else { return } someFunction(y)

Codesegment 18: Optionals und Guards (Swift)

Die Entwicklung für Apple bietet insgesamt jedoch den klaren Vorteil, dass es eine Vielzahl nützlicher Frameworks gibt, die dem Entwickler zur Verfügung stehen. Ebenso sind diese in der Regel etablierten Komponenten gut dokumentiert und es gibt eine große Entwickler- Gemeinschaft. Zwei Vertreter dieser nützlichen Frameworks, welche im Prototyp häufig zur Anwendung kommen, sind das UIKit und das SceneKit. Das UIKit kann verwendet werden, um Benutzerschnittstellen aller Art unabhängig vom ARKit zu entwerfen. Gemeinsam mit dem SceneKit, einem hauptsächlich in der Spiele-Entwicklung eingesetztem Framework zur Darstellung und Modellierung von 3D-Inhalten, stehen etablierte Werkzeuge zur Verfügung, die auch für Einsteiger gut erlernbar sind. Ebenso einfach eingesetzt werden konnten Core Location, Apples Schnittstellte zu den Sensoren, über welches alle notwendigen Informationen für das zweite Szenario bezogen werden können.

5.5.2. ARCore Zur Entwicklung für Android stehen Java und Kotlin zur Verfügung. Obwohl Kotlin die modernere Alternative ist und der Trend in Richtung Kotlin geht, wurde dieser Prototyp mit Java entwickelt, da hier bereits Erfahrungen mit der Programmiersprache als auch in der Android-Entwicklung vorhanden waren.

Ebenso wie iOS bietet Android eine Vielzahl bestehender Bibliotheken, die in Kombination mit ARCore eingesetzt werden können. Jedoch sind die Kernfeatures neu, schlecht dokumentiert und es gibt keine große Gemeinschaft, die bei der Entwicklung unterstützen kann bzw. bereits große Erfahrungen gemacht hat. Somit fiel der Einstieg in der Android-Entwicklung per se leichter, in die ARCore-Entwicklung jedoch schwerer. Die anfängliche Lernkurve mit Androids OpenGL Implementierung ist sehr flach verlaufen, leichter fiel der Einstieg mit Sceneform, Googles Pendant zu Apples SceneKit. Beide Bibliotheken werden zur Modellierung und Positionierung von 3D-Inhalten herangezogen, jedoch operiert Sceneform auf einer höheren Abstraktionsebene wodurch deutlich schneller Erfolge erzielt werden konnten. Insgesamt macht das ARCore einen weniger ausgereiften Eindruck als das ARKit.

5.5.3. Vuforia Die Vuforia SDK steht sowohl nativ für iOS und Android als auch plattformübergreifend für Unity zur Verfügung. Um den Vorteil der übergreifenden Plattformen zu nutzen, wurde der Prototyp mithilfe des Unity Editors entwickelt. Rein grafische Editoren wie der Unity Editor sind erfahrungsgemäß fehleranfällig. Da letzten Endes Programmcode generiert wird, wird mit dem grafischen Editor eine zusätzliche Ebene eingeführt, die den Einblick darauf nimmt, was

2020 Putschögl, Daniel 75/109 tatsächlich geschieht. Und so musste im Zuge der Experimente mit Vuforia im Kontext des Unity Editors viel Zeit dafür aufgewendet werden, wenig aussagekräftigen Fehlermeldungen nachzugehen. Erfahrene Unity-Entwickler werden hierbei womöglich vor keine große Herausforderung gestellt, jedoch war der Einstieg für jemanden ohne allgemeine Erfahrung in der 3D-Spieleentwicklung und dementsprechend keiner Erfahrung im Umgang mit dem Unity Editor sehr schwer und frustrierend. Dazu kommt, dass Unity zwar ein etabliertes Framework für die Spieleentwicklung ist, die Gemeinschaft der Unity-AR-Entwickler jedoch deutlich kleiner ausfällt.

5.5.4. Wikitude Wikitude steht wie Vuforia nativ für iOS und Android zur Verfügung, ebenso wird aber eine JS- Variante angeboten, die im Webview einer Anwendung bzw. im Wikitude-Browser ausgeführt werden kann. Um plattformübergreifend arbeiten zu können, werden für JS-Variante Plugins für Xamarin, Cordova und Flutter angeboten, für die nativen Komponenten exisitiert ein Unity-Plugin. Da einiges an Erfahrung in der Entwicklung mit JS vorhanden war, wurde dieser Prototyp in JS entwickelt und ist somit im Wikitude-Browser sowie Xamarin, Cordova und Flutter Apps ausführbar.

Die Wikitude JS API ist auf einer hohen Abstraktionsebene angesiedelt, weshalb der Einstieg sehr leicht fällt und schnell erste Ergebnisse geschaffen werden können. Für alle grundlegende Funktionen sowie einige fortgeschrittene bieten die Entwickler Demo Apps an, sowie für alle Plugins. Will man jedoch über diese Funktionen hinaus gehen, ist schnell einiges Experimentieren gefragt. Die Dokumentation ist nicht so umfassend, wie beispielsweise die vom ARKit und die Entwicklergemeinschaft ist sehr klein. Positiv anzumerken ist jedoch, dass das Wikitude-Team im Wikitude-Forum innerhalb kurzer Zeit Hilfe anbietet.

5.5.5. Allgemein Die Erkennungs- und Verfolgungsfunktionen sind stark abhängig von den Lichtverhältnissen, was sich vor allem bei der Bild- und Flächenerkennung zeigt. Bei schlechter Beleuchtung werden Bilder deutlich langsamer oder gar nicht erkannt, sowie kontrastarme Oberflächen, z.B. detailarme Bleistift-Skizzen oder weiße Wände, schlecht bis gar nicht erkannt werden. Vor allem im Museums-Szenario kann dies zu Problemen führen, wenn nicht vorab getestet wird, welche Ausstellungsstücke sich für die maschinelle Erkennung eignen und welche nicht.

Sowohl der Akku des iPhone 8 als auch des Google Pixel 3a wurden unter der Entwicklung stark belastet. Noch deutlicher am Google Pixel 3a zu erkennen war, dass die Laufzeit durch die Verwendung der AR Anwendung deutlich reduziert wurde. Ebenso überhitzte das Google Pixel 3a während der Entwicklung regelmäßig, was zur Unterbindung einiger AR Funktionen durch das Betriebssystem führte bis hin zum Ausschalten des Geräts, um es vor langfristigen Schäden durch die Hitzeentwicklung zu schützen. Grundsätzlich ist das während der Entwicklungsphase eine lehrreiche Erfahrung und ebenso wie der Akkuverbrauch ein Hinweis darauf, nur die Sensoren zu

2020 Putschögl, Daniel 76/109 benutzen, die aktuell auch tatsächlich gebraucht werden. Jedoch, auch wenn es sich beim Google Pixel 3a um das Einsteigermodell der Serie handelt, ist das ein ernüchterndes Ergebnis und bestätigt die im Literaturteil recherchierten vorhandenen Hardware-Einschränkungen.

2020 Putschögl, Daniel 77/109

6. Evaluierung der Prototypen

Im Folgenden werden die Prototypen hinsichtlich der Unterstützung der für diese Arbeit wesentlichen AR Konzepte evaluiert. Dazu werden für jedes der in Kapitel 4.3 definierten Szenarien Evaluierungskriterien definiert und deren Erfüllung für jeden Prototypen analysiert.

6.1. Kriterien zur Evaluierung

Zuvor wurde in Kapitel 4.3.4 festgehalten, welche AR Konzepte durch die beiden Szenarien behandelt werden. Nachfolgend werden für die beiden Szenarien Kriterien definiert, welche sich aus den Konzepten ableiten. Mithilfe dieser werden die Prototypen evaluiert. Zusätzlich zu den Kriterien hinsichtlich der AR Konzepte werden für das Szenario 1 Kriterien zur Möglichkeit zur Darstellung unterschiedlicher virtueller Inhalte definiert. Ebenso werden für das Szenario 2 Kriterien definiert, welche überprüfen, inwieweit das Szenario standardmäßig von der Technologie unterstützt wird.

Somit werden folgende Kriterien festgelegt:

Szenario Konzepte Kriterien

1 Markerbasierte Verfolgung Genauigkeit der Bilderkennung (Bildererkennung- und Verfolgung) Möglichkeiten Referenzbilder zur Verfügung zu stellen

Möglichkeit zur Darstellung unterschiedlicher virtueller Inhalte

2 Sensorbasierte Verfolgung Unterstützung durch Sensordaten

Markerlose Verfolgung Unterstützung durch markerlose Verfolgung

Unterstützung durch die Technologie

Tabelle 3: Kriterien zur Evaluierung der Prototypen

Für diese Kriterien werden in weiterer Folge Mechanismen zur Evaluierung definiert.

6.1.1. Szenario 1: Bilderkennung und Darstellung von AR Objekten Szenario 1 umfasst die Bilderkennung- und Verfolgung und setzt weiters den Fokus auf die Möglichkeit zur Einbindung unterschiedlicher Medien. Die für beide Szenarien relevante Möglichkeit zur Einbindung unterschiedlicher Medien wird mit den Prototypen für Szenario 1 evaluiert und die Evaluierungskriterien in diesem Kapitel definiert.

2020 Putschögl, Daniel 78/109

6.1.1.1. Genauigkeit der Bilderkennung Die Bilderkennung- und Verfolgung ist für Szenario 1 eine zentrale Funktion. Bilder sollen mithilfe der Kamera des mobilen Endgerätes gescannt und anschließend mit den Bildern in der Referenzbilddatenbank abgeglichen werden. So können zusätzliche digitalen Inhalte zu den korrekten Bildern angezeigt werden. Ohne diese Funktion, kann das erste Szenario nicht umgesetzt werden.

Anhand von 172 Gemälden der „The Art Institute of Chicago“, soll erhoben werden, welches Framework wie viele dieser Bilder erkennt. Für diese 172 Gemälde steht auf der Website des „The Art Institute of Chicago“ jeweils ein Foto im JPG Dateiformat mit einer Auflösung von 843 zu x Pixel zur Verfügung (Bilder mit Nummerierung im Anhang). Die Menge an 172 Gemälden wurde zufällige in zwei gleich große Teilmengen zu je 86 Gemälden unterteilt.

Als Maß der Genauigkeit der Bilderkennung werden die Genauigkeit (Precision) und Trefferquote (Recall) berechnet. Die Genauigkeit gibt die Wahrscheinlichkeit an, mit der ein Gemälde, welches sich in der Referenzbilddatenbank befindet, erkannt wird. Die Trefferquote gibt die Wahrscheinlichkeit an, mit der ein Bild, das erkannt wurde, auch in der Referenzdatenbank hinterlegt ist. Zur Berechnung dieser Werte, werden die Begriffe „richtig positiv“ („true positives“), „richtig negativ“ („true negatives“), „falsch positiv“ („false positives“) und „falsch negativ“ („false negatives“) eingeführt (siehe Tabelle 4).

Richtige Bedingung

Gesamt Positiv (P) Negativ (N)

Positiv Richtig positiv (TP) Falsch positiv (FP) Bedingung

e

Negativ Falsch negativ (FN) Richtig negativ (TN) Vorhergesagt

Richtig-positiv-Rate (TPR) = Falsch-positiv-Rate (FPR) = Trefferquote= ∑ FP ∑ TP ∑ N ∑ P

Falsch-negativ-Rate (FNR) = Richtig-negativ-Rate (TNR) =

∑ FN ∑ TN

∑ P ∑ N

Tabelle 4: Richtig positiv, richtig negativ, falsch positiv und falsch negativ im Kontext von Genauigkeit und Trefferquote

2020 Putschögl, Daniel 79/109

�� �� ����������� = ������������ = �� + �� �� + ��

Insgesamt finden sich in den Testdaten 86 zu erkennende positive (P) und 86 nicht zu erkennende negative (N) Gemälde. Das Ergebnis stellen Genauigkeit- und Trefferquote-Werte für die einzelnen Technologien dar, die miteinander verglichen werden können.

6.1.1.2. Möglichkeiten Referenzbilder zur Verfügung zu stellen Um eine Bilderkennung- und Verfolgung zu ermöglichen, müssen Referenzbilder zur Verfügung gestellt werden. Dafür gibt es unterschiedliche Ansätze, welche die Möglichkeiten des Einsatzes einer Technologie deutlich beeinflussen.

Die ersten Kriterien entspringen der Fragestellung ob es möglich ist, vorab Referenzbilddatenbanken zu erstellen und diese zu Laden, oder ob alle Referenzbilder zur Laufzeit übergeben werden müssen. Das vorab Erstellen von Referenzbilddatenbanken stellt einen entscheidenden Faktor dar, da das Erstellen von Referenzbildern zur Laufzeit ein sehr ressourcen- und zeitintensiver Vorgang ist. Dies kann ein Drop-out Kriterium sein, da das Laden von vielen Referenzbildern zur Laufzeit zu zeitaufwendig ist.

Können Referenzbilddatenbanken vorab erstellt werden, kann weiter ins Detail gegangen werden. Einige Technologien bieten die Möglichkeit einen Abgleich von Referenzbildern in der Cloud durchzuführen. Dabei wird der Video-Feed gestreamt um Rechenleistung am Gerät einzusparen. Können Referenzbilddatenbanken vorab erstellt werden, ist aber eine Cloud-Erkennung nicht möglich, stellt sich die Frage, wie diese Datenbanken ansonsten zur Verfügung gestellt werden. Können diese nur aus den lokalen Ressourcen geladen oder auch von Webservices bereitgestellt werden.

Der Prototyp aus Szenario 1 kann grundsätzlich für z.B. mehrere Museen herangezogen werden. Dazu müssen alle entsprechenden Gemälde als Referenzbilder zur Verfügung stehen. Soll nun aber ein zusätzliches Museum abgedeckt werden, stellt sich die Frage ob es möglich ist, verschiedenen Referenzbilddatenbanken zur Laufzeit dynamisch zu laden. Ist dies nicht möglich, müsste für die Anwendung jedes Mal ein Update zur Verfügung gestellt werden.

Der letzte relevante Punkt entspringt dem Datenschutz. Unter dem Überbegriff Datenschutz werden im Kontext der Verarbeitung von Referenzbildern alle jene Aspekte zusammengefasst, die mit der Verteilung der zu erkennenden Bilder in Zusammenhang stehen. Konkret stellt sich die Frage ob es notwendig ist, diese Bilder an ausgelagerte Services zu übergeben bzw. die Bilder auf fremden Servern hochzuladen, um Referenzbilddatenbanken zu generieren.

Diese Fragestellungen werden mithilfe eine Likert-Skala beantwortet. Folgende Aussagen werden auf Basis der Fragestellungen getroffen:

2020 Putschögl, Daniel 80/109

• Referenzbilder können zur Laufzeit geladen werden

• Referenzbilddatenbanken können vorab erstellt werden

◦ Mithilfe des Prototyps kann eine Cloud-Erkennung durchgeführt werden

◦ Referenzbilddatenbanken können dynamisch zur Laufzeit geladen werden

◦ Referenzbilddatenbanken können über Webservices zur Verfügung gestellt werden

• Referenzbilddatenbanken können ohne fremde Server zur Verfügung gestellt werden

Folgende Antwortskala wird zur Beantwortung der Aussagen herangezogen:

• ist nicht möglich

• ist eingeschränkt möglich

• ist möglich

6.1.1.3. Möglichkeit zur Darstellung unterschiedlicher virtueller Inhalte Szenario 1 stellt die Anforderung verschiedene Medien zur Realität einzublenden. Um die Anwendung möglichst interessant für den Benutzer zu gestalten, sollen nicht nur Texte angezeigt werden können. Die verwendete Technologie sollte die Möglichkeit bieten, weitere digitale Inhalte einzubinden. Aus der zuvor erfolgten Literaturrecherche aus Kapitel 2 und 3 ergibt sich, dass vor allem zweidimensionale Inhalte wie Texte und Bilder sowie dreidimensionale Objekte im Fokus stehen. Ebenso ist eine Interaktion mit den dargestellten Objekten ein wichtiger Faktor, um ein abwechslungsreiches Erlebnis zu schaffen.

Da die Definition von AR ist, virtuelle Inhalte über der realen Welt einzublenden, stellt die Frage ob es möglich ist, irgendwelche virtuellen Inhalte einzublenden, kein Kriterium dar. An dieser Stelle wird erhoben ob die in Szenario 1 konkret genannten Medientypen mithilfe des jeweiligen Prototyps eingebunden werden können. Ebenso von Bedeutung ist die Möglichkeit, mit diesen Inhalten zu interagieren. Im Hinblick auf das Video kann es z.B. von Bedeutung sein, dieses zu pausieren und wieder fortzuführen. Darüber hinaus sollen diese Inhalte von ihrer Position her relativ zum erkannten Bild dargestellt werden können.

Folgende Aussagen werden getroffen:

• Texte können dargestellt werden

• Bilder können dargestellt werden

• Videos können dargestellt werden

• 3D-Objekte können dargestellt werden

• Mit den virtuellen Inhalten kann interagiert werden

• Virtuelle Inhalte können relativ zum erkannten Bild dargestellt werden

2020 Putschögl, Daniel 81/109

Folgende Antwortskala wird zur Beantwortung der Aussagen herangezogen:

• ist nicht möglich

• ist eingeschränkt möglich

• ist möglich

6.1.2. Szenario 2: Darstellung geografischer Daten mit AR Um Szenario 2 umzusetzen können verschiedene Ansätze angewendet werden. Jedoch wird das beste Ergebnis geschaffen, wenn die verschiedenen Ansätze kombiniert eingesetzt werden. Die Kriterien, die zur Evaluierung der Technologien anhand der Prototypen für Szenario 2 herangezogen werden, beurteilen ob und wie weit der jeweilige Ansatz umgesetzt wurde. Eine Technologie, die nur eine der beiden Ansätze wählt, wird ein schlechteres Ergebnis liefern, als jene die beiden Ansätze kombinieren (Qiao, Ren, et al., 2019).

6.1.2.1. Unterstützung durch Sensordaten Um Szenario 2 umzusetzen müssen jedenfalls sensorbasierte Verfolgungsmethoden eingesetzt werden, zumindest um den Standort des Benutzers und seine Ausrichtung festzustellen. Anschließend muss die Position des Benutzers nachverfolgt werden, wenn dieser sich bewegt, um die Position der dargestellten POIs anzupassen. Dies kann grundsätzlich durch eine rein bildbasierte Verfolgung ermöglicht werden, kann aber zu deutlich mehr Rechenaufwand oder einem schlechteren Ergebnis aufgrund weniger Informationen führen.

Somit stellt sich die Frage, ob GPS- und Kompassinformationen herangezogen werde können und ob noch weitere sensorbasierte Daten verwendet werden, um die notwendigen Berechnungen durchzuführen. Weiters stellt sich die Frage, ob die herangezogen Sensor-Informationen dem Entwickler zur Verfügung gestellt werden.

Folgende Aussagen werden getroffen:

• GPS-Informationen können genutzt werden

• Kompass-Informationen können genutzt werden

• Sensorbasierte Informationen werden über Schnittstellen zur Verfügung gestellt

• Es werden weitere sensorbasierte Informationen herangezogen

Folgende Antwortskala wird zur Beantwortung der Aussagen herangezogen:

• nein

• eingeschränkt

• ja

2020 Putschögl, Daniel 82/109

6.1.2.2. Unterstützung durch markerlose Verfolgung In diesem Szenario sind bildbasierte Verfolgungsmethoden nicht unbedingt notwendig, können das Ergebnis aber deutlich verbessern. Der Effekt zeigt sich beim Aktualisieren der Positionen von POIs. Dies wird bei POIs in unmittelbarer Nähe zum Benutzer sichtbar, wo sich POIs im näheren Kamerafeld befinden und die Position aufgrund der Referenz zur Umgebung angepasst werden kann. Bei weiter entfernten Punkten ist die markerlose Verfolung weniger von Bedeutung.

Ebenso ist die bildbasierte Verfolgung von Bedeutung, wenn Kollisionstests durchgeführt werden sollen. Vor allem bei POIs kommt es schnell vor, dass diese hinter Gebäude oder Bäumen verschwinden müssten. Will man hier nur jene darstellen, die tatsächlich im Blickfeld der Kamera liegen, muss eine bildbasierte Verfolgung möglich sein.

Folgende Aussagen werden getroffen:

• Markerlose Verfolgung kann unterstützend eingesetzt werden

Folgende Antwortskala wird zur Beantwortung der Aussagen herangezogen:

• nein

• eingeschränkt

• ja

6.1.2.3. Unterstützung durch die Technologie Die Bilderkennung aus Szenario 1 ist eine Kernfunktion von AR und wird von allen in dieser Arbeit bearbeiteten Technologien unterstützt. Die Darstellung von POIs zählt nicht für alle Frameworks zu den Standardfunktionen und somit stellt sich die Frage, wie gut die eingesetzte Technologie die Umsetzung des Prototyps für Szenario 2 unterstützt.

Handelt es sich bei diesem Anwendungsbeispiel nicht um eine Standardfunktion der eingesetzten Technologie, muss es neben den erforderlichen Sensordaten möglich sein, AR Objekte selbstständig frei zu platzieren. Frei platzieren bedeutet hier, Objekte ohne vom Benutzer erstellte Referenzen, wie einer erkannten Fläche oder einem erkannten Objekt, zu platzieren. Dies ist notwendig, um die Objekte entsprechend ihrer Himmelsrichtung zu platzieren.

Folgende Aussagen werden getroffen:

• Das Platzieren von POIs stellt eine Standardfunktion dar

Folgende Antwortenskala wird zur Beantwortung der Aussagen herangezogen:

• nein

• ja

2020 Putschögl, Daniel 83/109

Folgende Aussagen werden getroffen:

• AR Objekte können frei platziert werden

Folgende Antwortenskala wird zur Beantwortung der Aussagen herangezogen:

• nein

• eingeschränkt

• ja

6.2. Resultate der Evaluierung

In diesem Kapitel werden die Resultate der Evaluierung präsentiert. Anhand der zuvor definierten Kriterien wurden die Prototypen vom Autor bewertet und die Ergebnisse werden an dieser Stelle interpretiert.

6.2.1. Szenario 1: Bilderkennung und Darstellung von AR Objekten 6.2.1.1. Genauigkeit der Bilderkennung In den Tabellen 5, 6, 7 und 8 werden die Ergebnisse der Bilderkennung je Technologie in tabellarischer Form dargestellt. Eine Auswertung der Ergebnisse findet anschließend in Tabelle 9 statt.

Richtige Bedingung Richtige Bedingung

Gesamt Positiv (P) Negativ (N) Gesamt Positiv (P) Negativ (N)

Positiv 86 0 Positiv 84 0 Bedingung Negativ 0 86 Bedingung Negativ 2 86 Vorhergesagte Vorhergesagte

Tabelle 5: Ergebnisse der ARKit Bilderkennung Tabelle 6: Ergebnisse der ARCore Bilderkennung

Richtige Bedingung Richtige Bedingung

Gesamt Positiv (P) Negativ (N) Gesamt Positiv (P) Negativ (N)

Positiv 79 0 Positiv 85 0 Bedingung Bedingung Negativ 7 86 Negativ 1 86 Vorhergesagte Vorhergesagte

Tabelle 7: Ergebnisse der Vuforia Bilderkennung Tabelle 8: Ergebnisse der Wikitude Bilderkennung

2020 Putschögl, Daniel 84/109

Technologie Genauigkeit Trefferquote TNR

86 86 86 ARKit = 1 = 1 = 1 86 + 0 86 + 0 86

84 84 86 ARCore = 1 = 0,98 = 1 84 + 0 84 + 2 86

79 79 86 Vuforia = 1 = 0,92 = 1 79 + 0 79 + 7 86

Wikitude 85 85 86 = 1 = 0,99 = 1 85 + 0 85 + 1 86

Tabelle 9: Genauigkeit, Trefferquote und Richtig-negativ-Rate der Bilderkennung

Aus Tabelle 9 lässt sich ableiten, dass ARKit das beste Ergebnis liefert, gefolgt von Wikitude, ARCore und Vuforia. Dies ist lediglich aus der Trefferquote ersichtlich, da keine der Technologien ein Bild erkannt hat, dass es nicht hätte erkennen dürfen. Dementsprechend weisen alle eine Genauigkeit und Richtig-negativ-Rate von 1 bzw. 100% auf. Die Trefferquote von 1 des ARKit bedeutet, dass alle positiven Testdaten richtig klassifiziert wurden. Konkret wurde jedes Bild richtig erkannt, dass als Referenzbild übergeben wurde.

6.2.1.2. Möglichkeiten Referenzbilder zur Verfügung zu stellen

ARKit ARCore Vuforia Wikitude

Referenzbilder können zur Laufzeit möglich möglich möglich möglich geladen werden ein- Referenzbilddatenbanken können geschränkt möglich möglich möglich vorab erstellt werden möglich

Mithilfe des Prototyps kann eine nicht nicht Cloud-Erkennung durchgeführt möglich möglich möglich möglich werden Referenzbilddatenbanken können dynamisch zur Laufzeit geladen möglich möglich möglich möglich werden Referenzbilddatenbanken können nicht über Webservices zur Verfügung möglich möglich möglich möglich gestellt werden Referenzbilddatenbanken können nicht ohne fremde Server zur Verfügung möglich möglich möglich möglich gestellt werden Tabelle 10: Bewertung der Möglichkeit Referenzbilder zur Verfügung zu stellen

2020 Putschögl, Daniel 85/109

Referenzbilder können zur Laufzeit geladen werden möglich

eingeschränkt Referenzbilddatenbanken möglich können ohne fremde Server Referenzbilddatenbanken zur Verfügung gestellt können vorab erstellt werden werden nicht möglich

Referenzbilddatenbanken Mithilfe des Prototyps kann können über Webservices eine Cloud-Erkennung zur Verfügung gestellt durchgeführt werden werden

Referenzbilddatenbanken können dynamisch zur Laufzeit geladen werden

ARKit ARCore Vuforia Wikitude

Abbildung 16: Netzdiagramm zur Bewertung der Möglichkeit Referenzbilder zur Verfügung zu stellen

Da Referenzbilder für ARKit nur über die Entwicklungsumgebung Xcode vorab erstellt werden können und hierbei mittels Drag-and-Drop die Bilder manuell hinzugefügt werden müssen, wird in der Tabelle 10 die Frage, ob Referenzbilddatenbanken vorab erstellt werden können, mit „eingeschränkt“ bewertet. Ebenso ist es deshalb nicht möglich, Referenzbilddatenbanken über einen Webservice zur Verfügung zu stellen. ARCore, Vuforia und Wikitude bieten die Möglichkeit Referenzbilddatenbanken über Skripte oder Webservices zu erstellen, was den Vorgang automatisierbar macht.

Weder ARKit noch ARCore verfügen über die Möglichkeit den Bilderkennungsprozess in die Cloud auszulagern. Referenzbilddatenbanken können für Vuforia vorab nur über deren gehostete Webservices generiert werden. Somit ist es nicht möglich, diese zu erstellen, ohne Bilder auf diese Server hochzuladen.

In der Abbildung 16 ist ersichtlich, dass Wikitude bei diesem Kriterium ein konstant hohes Ergbnis liefert. Ebenso ist ersichtlich, dass die anderen Technologien bei mindestens einer Fragestellung schlechter abschneiden.

2020 Putschögl, Daniel 86/109

6.2.1.3. Möglichkeit zur Darstellung unterschiedlicher virtueller Inhalte

ARKit ARCore Vuforia Wikitude

ein- Texte können dargestellt werden möglich möglich geschränkt möglich möglich ein- Bilder können dargestellt werden möglich möglich geschränkt möglich möglich ein- Videos können dargestellt werden möglich möglich geschränkt möglich möglich ein- 3D-Objekte können dargestellt möglich möglich geschränkt möglich werden möglich ein- ein- Mit den virtuellen Inhalten kann möglich möglich geschränkt geschränkt interagiert werden möglich möglich

Virtuelle Inhalte können relativ zum möglich möglich möglich möglich erkannten Bild dargestellt werden Tabelle 11: Bewertung der Möglichkeit zur Darstellung unterschiedlicher virtueller Inhalte

Texte können dargestellt werden möglich

eingeschränkt Virtuelle Inhalte können möglich Bilder können dargestellt relativ zum erkannten Bild werden dargestellt werden nicht möglich

Mit den virtuellen Inhalten Videos können dargestellt kann interagiert werden werden

3D-Objekte können dargestellt werden ARKit ARCore Vuforia Wikitude

Abbildung 17: Netzdiagramm zur Bewertung der Möglichkeit zur Darstellung unterschiedlicher virtueller Inhalte

2020 Putschögl, Daniel 87/109

Da Vuforia selbst keine Darstellungsformen implementiert, sondern die Möglichkeiten der darunterliegenden Plattform nutzt, ist man mit Vuforia auch auf dessen Funktionen beschränkt. Deshalb werden in Tabelle 11 ein Großteil der Fragestellungen mit „eingeschränkt“ bewertet. Mit Wikitude kann nicht direkt mit Videos interagiert werden. Wenn man mit einem Video interagieren möchte, muss man zusätzliche Bedienelemente z.B. in Form eines Bildes einblenden.

Abbildung 17 zeigt, dass alle Technologien gute Ergebnisse liefern. Lediglich Vuforia liegt in dem meisten Fragestellung zurück.

6.2.2. Szenario 2: Darstellung geografischer Daten mit AR 6.2.2.1. Unterstützung durch Sensordaten

ARKit ARCore Vuforia Wikitude

GPS-Informationen können genutzt ja ja nein ja werden

Kompass-Informationen können ja ja nein ja genutzt werden

Sensorbasierte Informationen ein- werden über Schnittstellen zur ja ja nein geschränkt Verfügung gestellt

Es werden weitere sensorbasierte ein- ein- ja ja Informationen herangezogen geschränkt geschränkt Tabelle 12: Bewertung der Unterstützung durch Sensordaten

2020 Putschögl, Daniel 88/109

GPS-Informationen können genutzt werden ja

eingeschränkt

nein

Es werden weitere Kompass-Informationen sensorbasierte Informationen können genutzt werden herangezogen

Sensorbasierte Informationen werden über Schnittstellen zur Verfügung gestellt

ARKit ARCore Vuforia Wikitude

Abbildung 18: Netzdiagramm zur Bewertung der Unterstützung durch Sensordaten

Tabelle 12 zeigt, dass sich ARKit und ARCore deutlich von den beiden anderen Technologien abheben. ARKit und ARCore verwenden grundsätzlich eine Kombination verschiedener Sensordaten und markerloser Verfolgung, um ein virtuelles Abbild der Realität zu erzeugen und so ein bestmögliches Ergebnis zu schaffen, wenn virtuelle Inhalte eingeblendet werden sollen. Dieses Vorgehen bedarf komplexer Algorithmen, die die verschiedenen Informationen in Einklang bringen und dabei unter Berücksichtigung der eingeschränkten Ressourcen auf mobilen Geräten keine übermäßige Arbeitslast erzeugen. Dies würde sich negativ auf die CPU-Auslastung, Hitzeentwicklung und Akkulaufzeit auswirken.

Wikitude und Vuforia verfügen grundsätzlich auch über solche Möglichkeiten, jedoch werden diese nur für konkrete Fallbeispiele, wie das Erkennen von Ebenen und Platzieren von virtuellen Objekten auf diesen erkannten Ebenen, eingesetzt. Diese beiden Technologien erlauben es somit nicht, Objekte beliebig im Raum zu platzieren. Es muss ein Referenzobjekt wie ein zuvor erkanntes Bild oder eine Ebene gegeben sein. Somit ist das Szenario 2 wie in Kapitel 4.3 definiert mit Vuforia nicht umzusetzen. Wikitude hat jedoch eine Grundfunktion, mit der Objekte auf Basis ihrer GPS-Koordinaten platziert werden können. Grundsätzlich sollen Objekte größer werden, wenn man auf sie zu kommt und kleiner, wenn man sich von ihnen entfernt. Da GPS-fähige Smartphones in der Regel unter freiem Himmel eine Genauigkeit von ca. fünf Metern und ein

2020 Putschögl, Daniel 89/109 schlechteres Ergebnis in oder nahe Gebäude aufweist (GPS Accuracy, 2020), wird dieser Effekt vor allem bei naheliegenden POIs geschmälert und die Illusion wird beeinträchtigt.

Abbildung 12 visualisiert deutlich den Vorsprung von ARKit und ARCore gegenüber den beiden anderen Technologien. Ebenso deutlich ist zu erkennen, dass Vuforia ein niedriges Ergebnis liefert.

6.2.2.2. Unterstützung durch markerlose Verfolgung

ARKit ARCore Vuforia Wikitude

Markerlose Verfolgung kann ja ja nein nein unterstützend eingesetzt werden Tabelle 13: Bewertung der Unterstützung durch markerlose Verfolgung

Wie bereits angesprochen, verwenden ARKit und ARCore grundsätzlich markerlose Verfolgung was es ihnen ermöglicht, Objekte frei zu platzieren. Vuforia und Wikitude verwenden diese Funktionalität nur für bestimmte abgegrenzte Anwendungsfälle, weshalb markerlose Verfolgung von den beiden im Szenario 2 nicht eingesetzt werden kann und die beiden Technologien in Tabelle 13 schlechter abschneiden.

6.2.2.3. Unterstützung durch die Technologie

ARKit ARCore Vuforia Wikitude

Das Platzieren von POIs stellt eine nein nein nein ja Standardfunktion dar Tabelle 14: Bewertung der Unterstützung durch die Technologie 1

ARKit und ARCore bieten die Möglichkeit Szenario 2 umzusetzen, im Gegensatz zu Vuforia. Wikitude jedoch bietet dies als Standardfunktionalität auf Basis von GPS-Informationen an, was den Entwicklungsaufwand deutlich verkleinert und in Tabelle 14 einen Vorsprung ausmacht. Jedoch kann mit ARKit und ARCore ein besseres Ergebnis erzielt werden.

ARKit ARCore Vuforia Wikitude

AR Objekte können frei platziert ja ja nein nein werden Tabelle 15: Bewertung der Unterstützung durch die Technologie 2

ARKit und ARCore bieten aufgrund ihrer ständigen kombinierten Anwendung von Sensor- und markerloser Verfolgungs-Daten die Möglichkeit, Objekte frei zu platzieren. Die anderen beiden Technologien bieten die Möglichkeit nicht, weshalb sie in Tabelle 15 schlechter bewertet werden.

6.3. Diskussion

Im Szenario 1 hat ARKit das beste Ergebnis hinsichtlich Bilderkennung abgeliefert. Alle Bilder wurden richtig klassifiziert. Mit einem falsch negativen Testfall und zwei falsch negativen

2020 Putschögl, Daniel 90/109

Testfällen liegen Wikitude und ARCore nicht weit zurück. Ein klarer Vorreiter ist somit hier nicht erkennbar. Vuforia liegt mit sieben falsch negativen Testfällen jedoch deutlich hinter den anderen zurück. ARCore, Vuforia und Wikitude bieten darüber hinaus die Möglichkeit, vorab automatisiert eine Referenzbilddatenbank zu generieren und diese dynamisch zur Laufzeit zu laden.

Wikitude hat sich für das Szenario 1 als gut geeignet herausgestellt und bietet den Vorteil einer Cross-Plattform Technologie. Somit sind keine eigenständigen Anwendungen für die beiden Plattformen iOS und Android notwendig, was die Entwicklungsgeschwindigkeit beschleunigen kann. Ebenso kann eine einheitliche Referenzbilddatenbank verwendet werden, während für ARKit und ARCore eigenständige Datenbanken erzeugt werden müssen. Aufgrund der verglichen niedrigen Trefferquote hat sich Vuforia als weniger geeignet für die Umsetzung von Szenario 1 herausgestellt.

Szenario 2 profitiert vom umfangreichen Einsatz kombinierter Sensordaten mit markerloser Verfolgung des ARKit und ARCore. Hinsichtlich der festgelegten Kriterien erzielen diese beiden das beste Ergebnis im Szenario 2. Wikitude bietet ebenfalls eine Lösung, die sich aber rein auf GPS-Informationen stützt und somit aufgrund der Ungenauigkeit von GPS-Sensoren, vor allem im urbanen Raum, zu einem beeinträchtigen Ergebnis hinsichtlich der Positionaktualisierung von virtuellen Objekten führen kann. Mit Vuforia konnten die Anforderungen aus dem Szenario 2 nicht umgesetzt werden.

Zusammenfassend lässt sich festhalten, dass die Anwendbarkeit der Technologien vom Anwendungsszenario abhängt. Während bei Szenario 1 Wikitude als Favorit hervorgeht, sind es bei Szenario 2 ARKit und ARCore. Eine gesamtgültige Aussage, welche Technologie sich am besten eignet, kann daher nicht getroffen werden.

Abschließend zwei Anmerkungen zu den Resultaten dieser Arbeit:

1. Da ARKit und ARCore jeweils nur auf iOS bzw. Android verfügbar sind, müssten entsprechende Performancetests auf diversen Geräten ausgeführt werden, die ähnliche Hardware-Spezifikationen aufweisen. Da sich zwei Geräte unterschiedlicher Hersteller immer unterscheiden werden, sind auch entsprechende Performancetests unterschiedlicher Frameworks auf unterschiedlichen Geräten schwer vergleichbar. Deshalb wurde in dieser Arbeit auf Performancetests verzichtet.

2. Weichelt et al. (2019) bringen in ihrer Arbeit zur Entwicklung eines AR Prototypen für ländliche Notfallhelfer ein Argument gegen die Cross-Plattform-Entwicklung mit Wikitude vor, was mit einem enormen Entwicklungs- und vor allem Testaufwand bei Updates der Betriebssysteme bzw. der Wikitude SDK begründet wird. Ebenso stellte sich der Testaufwand auf verschiedensten Android-Geräten als sehr aufwendig heraus und die Hardwareleistung der unterschiedlichen Gerätehersteller, vor allem die GPS-Sensoren betreffend, entsprach oft nicht den Anforderungen einer standortbezogenen AR Anwendung.

2020 Putschögl, Daniel 91/109

7. Schlussfolgerung

Allgemein zeigte sich anhand dieser Arbeit, dass es bereits weitreichende Anwendungsszenarien für AR gibt und es auch Potential für das Land Oberösterreich hat. Ebenso zeigte sich, dass es bereits einige Technologien zur Umsetzung von AR Anwendungen gibt, welche unterschiedliche Vor- und Nachteile bieten. Nachfolgend werden die Ergebnisse dieser Arbeit kurz zusammengefasst sowie die Forschungsfragen beantwortet. Zuletzt wird ein Ausblick zur weiteren Entwicklung von AR und zum weiteren Verlauf dieses Projektes gegeben.

7.1. Zusammenfassung der Ergebnisse

Im Zuge dieser Arbeit wurden bestehende Anwendungsszenarien von AR recherchiert und anschließend Anwendungsfälle von AR für das Land Oberösterreich abgeleitet. Damit entstand eine erste Ideensammlung, welche das Land Oberösterreich in späteren Projekten genauer evaluieren kann. Von diesen Anwendungsfällen wurden mehrere Ideen zu AR Anwendungen für das Land Oberösterreich abgeleitet. Davon wurden wiederum zwei konkrete Szenarien für die Entwicklung der Prototypen, anhand der abgedeckten AR Konzepte, ausgewählt. Aus den Konzepten wurden ebenso Kriterien zur Bewertung der Prototypen bzw. der jeweiligen Technologie abgeleitet.

Des Weiteren wurden unterschiedliche Technologien zur Umsetzung von AR Anwendungen analysiert und anhand ihrer Merkmale beschrieben. Anschließend wurden mit diesen Technologien Prototypen umgesetzt, welche jeweils die zwei definierten Szenarien abbilden. Die Prototypen wurden anschließend unter Berücksichtigung der Implementierungserfahrungen und der Funktionalitäten der Prototypen anhand der definierten Evaluierungskriterien bewertet.

Damit sind die Ergebnisse dieser Arbeit einerseits die möglichen Einsatzgebiete von AR für das Land Oberösterreich sowie die Evaluierung und Empfehlung der zu verwendenden Technologien zur Umsetzung dieser AR Anwendungen.

7.2. Beantwortung der Forschungsfragen

Nachfolgend werden die in Kapitel 1.3 definierten Forschungsfragen beantwortet.

FF1: Welche Technologien und Einsatzgebiete gibt es aktuell für AR?

Diese Forschungsfrage wurde in Kapitel 2 – „Augmented Reality“ und Kapitel 3 – „Einsatzgebiete von Augmented Reality“ beantwortet. Es stehen eine Reihe verschiedener Technologien sowohl aus Hardware- als auch aus Software-Sicht zur Verfügung. Während sich die Hardware- Technologien grundsätzlich in ihrer Nutzungsweise unterscheiden, decken die Software- Technologien eine ebenso große Bandbreite an zur Verfügung gestellten Funktionalitäten und Zielplattformen ab. Die Einsatzgebiete von AR sind bereits sehr weitreichend und unterschiedlich. Neben Anwendungen in der Unterhaltungsbranche sowie zu Marketing oder Vertriebszwecken

2020 Putschögl, Daniel 92/109 findet AR auch in Gebieten wie der Industrie, dem Militär oder der Medizin und Forschung seinen Einsatz. Ebenso kann mit Sicherheit gesagt werden, dass die Einsatzgebiete von AR zukünftig wachsen werden und AR zu jedermanns Alltag gehören wird.

FF2: Welche Einsatzgebiete und Umsetzungsmöglichkeiten von AR ergeben sich für das Land Oberösterreich und welche Evaluierungskriterien lassen sich daraus ableiten?

Diese Forschungsfrage wurde in Kapitel 4 – „Augmented Reality im Kontext des Landes Oberösterreich“ und teilweise im Kapitel 6 – „Evaluierung der Prototypen“ beantwortet. Für das Land Oberösterreich wurden vier unterschiedliche potenzielle Einsatzgebiete von AR identifiziert. Diese liegen in den Gebieten Kultur, Presse, Bauen und Wohnen sowie Tourismus und Freizeit. Von diesen Einsatzgebieten wurde zwei konkrete Einsatzszenarien abgeleitet, welche anschließend prototypisch umgesetzt wurden. Diese Einsatzszenarien waren die Bilderkennung und Darstellung von AR Objekten sowie die Darstellung geografischer Daten. Diese wurden ausgewählt, um möglichst viele AR Konzepte abzudecken.

FF3: Welche Erkenntnisse zur Technologieauswahl lassen sich aus den umgesetzten Prototypen für das Land Oberösterreich ableiten?

Diese Forschungsfrage wurde in Kapitel 5 – „Umsetzung der Prototypen“ und Kapitel 6 – „Evaluierung der Prototypen“ beantwortet. Der Prototyp für Szenario 1 hat gezeigt, dass sich zur Umsetzung Wikitude gut eignet. Es liefert den Vorteil einer Cross-Plattform Technologie, wodurch der Entwicklungsaufwand reduziert werden kann. ARKit und ARCore haben sich ebenso geeignet für das Szenario 1 herausgestellt. ARKit lieferte das beste Ergebnis bei der Bilderkennung.

Aufgrund dessen wie ARKit und ARCore die AR Konzepte implementieren, haben sie sich als am besten geeignet für das Szenario 2 herausgestellt. Wikitude bietet ebenso eine Möglichkeit zur Umsetzung des Szenarios, da jedoch nur GPS-Daten zum Einsatz kommen und Sensoren eher ungenau sind, muss hier mit weniger genauen Ergebnissen gerechnet werden.

7.3. Ausblick

AR hat bereits in vielen Branchen Einzug gefunden und wird sich zukünftig noch weiter verankern. Vor allem im Bereich der Spiele und Unterhaltungsbranche, sowie im Tourismus und der Navigation bietet AR viele nützliche Funktionen, welche zukünftig zum Alltag gehören werden.

Mit dieser Arbeit wurde eine erste Ausgangsbasis geschaffen, um AR in das Angebot des Landes Oberösterreich zu integrieren. Die beschriebenen Einsatzgebiete müssen mit den jeweiligen zuständigen Landeseinheiten genauer evaluiert und gegebenenfalls anschließend in konkreten Projekten umgesetzt werden. Hierbei wird die Evaluierung der Technologien als Basis für die Technologieauswahl zur Umsetzung herangezogen.

2020 Putschögl, Daniel 93/109

LITERATURVERZEICHNIS

Abramovich, G. (2018, Mai 4). 5 innovative Beispiele für Augmented Reality in der Praxis. https://www.adobe.com/de/insights/5-realworld-examples-of-augmented-reality- innovation.html Amberg, M., Bodendorf, F., & Möslein, K. M. (2011). Wertschöpfungsorientierte Wirtschaftsinformatik (Bd. 4). Springer Berlin Heidelberg. https://doi.org/10.1007/978-3- 642-16756-0 Apple. (2019a). ARAnchor. https://developer.apple.com/documentation/arkit/aranchor Apple. (2019b). Understanding World Tracking. https://developer.apple.com/documentation/arkit/understanding_world_tracking Apple. (2019c, Dezember 31). Animojis auf dem iPhone und iPad Pro verwenden. Apple Support. https://support.apple.com/de-at/HT208190 Apple. (2020a). ARKit | Apple Developer Documentation. Apple Developer. https://developer.apple.com/documentation/arkit Apple. (2020b). ARKit 3—Augmented Reality. Apple Developer. https://developer.apple.com/augmented-reality/arkit/ Apple. (2020c). Augmented Reality. Apple Developer. https://developer.apple.com/augmented- reality/ Apple. (2020d, März 2). Informationen zur fortschrittlichen Technologie von Face ID. Apple Support. https://support.apple.com/de-at/HT208108 Apple. (2020e, März 18). Apple unveils new iPad Pro with LiDAR Scanner and trackpad support in iPadOS. Apple Newsroom. https://www.apple.com/newsroom/2020/03/apple-unveils- new-ipad-pro-with-lidar-scanner-and-trackpad-support-in-ipados/ APPSfactory. (2017, Juni 20). Porsche Leipzig Augmented Reality Experience—Wikitude showcase. Wikitude. https://www.wikitude.com/showcase/porsche-leipzig/ Azuma, R., Baillot, Y., Behringer, R., Feiner, S., Julier, S., & MacIntyre, B. (2001). Recent advances in augmented reality. IEEE Computer Graphics and Applications, 21(6), 34–47. https://doi.org/10.1109/38.963459 Baker, I. A., & Handerek, V. A. (2013). Waveguides (United States Patent Nr. US8369019B2). https://patents.google.com/patent/US8369019B2/en Behgam, M., & Grant, S. L. (2014). Echo cancellation for bone conduction transducers. 2014 48th Asilomar Conference on Signals, Systems and Computers, 1629–1632. https://doi.org/10.1109/ACSSC.2014.7094742 Belkin, A., Gelernter, N., & Cidon, I. (2019). The Risks of WebGL: Analysis, Evaluation and Detection. Computer Security – ESORICS 2019, 545–564. https://doi.org/10.1007/978-3- 030-29962-0_26

2020 Putschögl, Daniel 94/109

Berger, D. (2019, August 8). Live View: Google Maps schaltet AR-Navigation für alle frei. heise online. https://www.heise.de/newsticker/meldung/Live-View-Google-Maps-schaltet-AR- Navigation-fuer-alle-frei-4491407.html Bliss Interactive. (2014, April 21). Ice Age 4—Scrat’s Nut Hunt game powered by Wikitude. Wikitude. https://www.wikitude.com/showcase/ice-age-4-scrats-nut-hunt-game-powered- wikitude/ Boccaccio, A., Fiorentino, M., Manghisi, V. M., Monno, G., & Uva, A. E. (2019). Exploiting Augmented Reality to Display Technical Information on Industry 4.0 P&ID. Advances on Mechanics, Design Engineering and Manufacturing II. Lecture Notes in Mechanical Engineering, 282–291. https://doi.org/10.1007/978-3-030-12346-8_28 Bovensiepen, G., Rumpff, S., & Bender, S. (2016). Store 4.0: Zukunft des stationären Handels. PwC. Brandt, M. (2019, Oktober 23). Infografik: Snapchat stoppt Nutzerschwund. Statista Infografiken. https://de.statista.com/infografik/4917/taeglich-aktive-nutzer-von-snapchat/ Bright, P. (2018, November 29). Microsoft wins $480 million military contract to bring HoloLens to the battlefield. Ars Technica. https://arstechnica.com/gadgets/2018/11/microsoft-wins- 480-million-military-contract-to-bring-hololens-to-the-battlefield/ Carpignoli, N., & Etienne, J. (2020). AR-js-org/AR.js [JavaScript]. AR.js. https://github.com/AR- js-org/AR.js (Original work published 2020) Chatzopoulos, D., Bermejo, C., Huang, Z., & Hui, P. (2017). Mobile Augmented Reality Survey: From Where We Are to Where We Go. IEEE Access, 5, 6917–6950. https://doi.org/10.1109/ACCESS.2017.2698164 Cooley, S., & Moore, G. (2019, Oktober 31). HoloLens (1st gen) hardware. https://docs.microsoft.com/en-us/hololens/hololens1-hardware Danchilla, B. (2012). Beginning WebGL for HTML5. Apress. Dilek, U., & Erol, M. (2018). Detecting position using ARKit II: Generating position-time graphs in real-time and further information on limitations of ARKit. Physics Education, 53(3), 035020. https://doi.org/10.1088/1361-6552/aaadd9 DK News. (2019, November 25). Die Zukunft von Social Media ist AR und VR. Digital Kindergarten. https://digitalkindergarten.de/die-zukunft-von-social-media-ist-ar-und-vr/ Dong, J., Tang, Z., & Zhao, Q. (2019). Gesture Recognition in Augmented Reality Assisted Assembly Training. Journal of Physics: Conference Series, 1176, 032030. https://doi.org/10.1088/1742-6596/1176/3/032030 Esch, F.-R. (2018, Februar 16). Definition: Edutainment [Text]. https://wirtschaftslexikon.gabler.de/definition/edutainment-35739. https://wirtschaftslexikon.gabler.de/definition/edutainment-35739 Frauenhofer-Institute für Graphische Datenverarbeitung IGD. (2013). Augmented Reality Wartungsanleitung für Flugzeuge | Fraunhofer IGD.

2020 Putschögl, Daniel 95/109

https://www.igd.fraunhofer.de/projekte/augmented-reality-wartungsanleitung-fuer- flugzeuge Gillner, S. (2020, März 13). Snapchat bringt AR-Tool für Marken. INTERNET WORLD Business. https://www.internetworld.at/online-marketing/snapchat/snapchat-bringt-ar-tool-marken- 2514774.html Google. (2014). Tech specs—Google Glass Help. https://support.google.com/glass/answer/3064128?hl=en&ref_topic=3063354 Google. (2019, Februar 28). ARCore overview | . Google Developers. https://developers.google.com/ar/discover Google. (2020a). ARCore supported devices. Google Developers. https://developers.google.com/ar/discover/supported-devices Google. (2020b). Glass. Glass. https://www.google.com/glass/start/ Google. (2020c). Help – Google Glass. https://www.google.com/glass/help/index.html Google. (2020d, Februar 15). System and Kernel Downloads | Glass Explorer Edition. https://developers.google.com/glass/tools-downloads/system Google. (2020). Google-ar/-android-sdk. https://github.com/google-ar/arcore-android-sdk (Original work published 2017) Google. (2020e, April 2). Share AR Experiences with Cloud Anchors. https://developers.google.com/ar/develop/java/cloud-anchors/overview-android Google. (2020f, Mai 19). The arcoreimg tool. Google Developers. https://developers.google.com/ar/develop/c/augmented-images/arcoreimg Google. (2020g, Juli 4). Create a Renderable. Google Developers. https://developers.google.com/sceneform/develop/create-renderables Google Maps. (o. J.). Live View in Google Maps—Android-Gerät—Google Maps-Hilfe. Abgerufen 21. Mai 2020, von https://support.google.com/maps/answer/9332056?co=GENIE.Platform%3DAndroid&hl= de Gough, D. (2019, Oktober 29). Eye-gaze and dwell—Mixed Reality. https://docs.microsoft.com/en-us/windows/mixed-reality/gaze-and-dwell-eyes GPS Accuracy. (2020, April 22). GPS.gov. https://www.gps.gov/systems/gps/performance/accuracy/ Grechenig, T. (Hrsg.). (2010). Softwaretechnik: Mit Fallbeispielen aus realen Entwicklungsprojekten. Pearson Studium. Gupta, A., Amirparviz, B., & Sharma, S. (2013). Lightweight eyepiece for head mounted display (United States Patent Nr. US20130070338A1). https://patents.google.com/patent/US20130070338A1/en Hauser, A. (2010, August 9). Wikitude World Browser. Wikitude. https://www.wikitude.com/wikitude-world-browser-augmented-reality/

2020 Putschögl, Daniel 96/109

Hotels.com. (2013, Jänner 11). HOTELS.COM – SEARCH FOR HOTELS - Wikitude augmented reality sdk. Wikitude. https://www.wikitude.com/showcase/hotels-com-search-for-hotels/ Hueber Verlag. (2018, Juli 25). Learning languages made easy with AR- powered by Wikitude. Wikitude. https://www.wikitude.com/showcase/learning-languages-made-easy-with-ar/ Jordan, M. (2018, Februar 3). Neue A-Klasse: Erstes Bild der Augmented Reality Funktion. Mercedes-Benz Passion Blog / Mercedes Benz, smart, Maybach, AMG. https://blog.mercedes-benz-passion.com/2018/02/neue-a-klasse-erstes-bild-der- augmented-reality-funktion/ Karhu, A., Heikkinen, A., & Koskela, T. (2014). Towards Augmented Reality Applications in a Mobile Web Context. 2014 Eighth International Conference on Next Generation Mobile Apps, Services and Technologies, 1–6. https://doi.org/10.1109/NGMAST.2014.36 Knabl, C. (2019, Juli 25). Augmented Reality Spiele: Die 5 bekanntesten AR Games. Codeflügel. https://codefluegel.com/blog/augmented-reality-spiele-die-5-bekanntesten-ar-games/ Knupfer, G. (2016, Juli 21). Augmented Reality kann viel mehr als nur Pokémon Go. Handelszeitung. https://www.handelszeitung.ch/unternehmen/technologie/augmented- reality-kann-viel-mehr-als-nur-pokemon-go-1149762 Koca, B. A., Cubukcu, B., & Yuzgec, U. (2019). Augmented Reality Application for Preschool Children with Unity 3D Platform. 2019 3rd International Symposium on Multidisciplinary Studies and Innovative Technologies (ISMSIT), 1–4. https://doi.org/10.1109/ISMSIT.2019.8932729 Kress, B. C., & Cummings, W. J. (2017). Towards the Ultimate Mixed Reality Experience: HoloLens Display Architecture Choices. SID Symposium Digest of Technical Papers, 48(1), 127–131. https://doi.org/10.1002/sdtp.11586 Land OÖ. (2019). Land Oberösterreich—Unser Oberösterreich. Land Oberösterreich. http://www.land-oberoesterreich.gv.at Liu, A., Zhang, Y., Weng, Y., Shen, Z., & Wang, B. (2018). Diffraction Efficiency Distribution of Output Grating in Holographic Waveguide Display System. IEEE Photonics Journal, 10(4), 1–10. https://doi.org/10.1109/JPHOT.2018.2856774 Lonely Planet. (2013, Jänner 3). Lonely Planet City Guides (Android). Wikitude. https://www.wikitude.com/showcase/lonely-planet-city-guides-android/ Mangold, M. (2017, April 15). Unterschied Virtual Reality (VR) und Augmented Reality (AR). Magic Holo. https://magic-holo.com/unterschied-virtual-reality-vr-und-augmented-reality- ar/ Medikix. (2017, Mai 22). Is Augmented Reality The Future Of Social Media? Mediakix. https://mediakix.com/blog/augmented-reality-social-media-trends-future/ Mehler-Bicher, A., & Steiger, L. (2014). Augmented Reality: Theorie und Praxis (2. überarbeitete Auflage). DE GRUYTER OLDENBOURG.

2020 Putschögl, Daniel 97/109

Mixed Reality I/O. (2019, Dezember 2). TUI Tests The Use Of Augmented Reality In Its Activities. Wikitude. https://www.wikitude.com/showcase/tui-tests-the-use-of-augmented- reality-in-its-activities/ Moorstedt, M. (2017, November 11). Augmented Reality: Pokémon Go war erst der Anfang— Digital—SZ.de. Süddeutsche Zeitung. https://www.sueddeutsche.de/digital/digital-das- ende-des-echten-1.3733071 Nowacki, P., & Woda, M. (2020). Capabilities of ARCore and ARKit Platforms for AR/VR Applications. In W. Zamojski, J. Mazurkiewicz, J. Sugier, T. Walkowiak, & J. Kacprzyk (Hrsg.), Engineering in Dependability of Computer Systems and Networks (Bd. 987, S. 358–370). Springer International Publishing. https://doi.org/10.1007/978-3-030-19501- 4_36 Ogdon, D. C. (2019). Hololens and Vive Pro: Virtual Reality Headsets. Journal of the Medical Library Association : JMLA, 107(1), 118–121. https://doi.org/10.5195/jmla.2019.602 Patrzyk, M., & Heidecke, C. D. (2015, Jänner 12). Augmented Reality in der Chirurgie – Wie wird unsere Wahrnehmung erweitert? | BDC|Online. BDC. https://www.bdc.de/augmented- reality-in-der-chirurgie-wie-wird-unsere-wahrnehmung-erweitert/ PwC. (2019, Dezember 6). PwC-Studie: VR und AR in der Wirtschaft auf dem Vormarsch. Industrie.de. https://industrie.de/technik/vr-ar-wirtschaftliches-potenzial/ Qiao, X., Pei, R., Nan, G., Liu, L., Dustdar, S., & Chen, J. (2019). Mobile web augmented reality in 5G and beyond: Challenges, opportunities, and future directions. China Communications, 16(9), 141–154. https://doi.org/10.23919/JCC.2019.09.010 Qiao, X., Ren, P., Dustdar, S., Liu, L., Ma, H., & Chen, J. (2019). Web AR: A Promising Future for Mobile Augmented Reality—State of the Art, Challenges, and Insights. Proceedings of the IEEE, 107(4), 651–666. https://doi.org/10.1109/JPROC.2019.2895105 Radkowski, R. (2015). Object Tracking With a Range Camera for Augmented Reality Assembly Assistance. Journal of Computing and Information Science in Engineering, 16. https://doi.org/10.1115/1.4031981 Rehman, U., & Cao, S. (2016). Augmented-Reality-Based Indoor Navigation: A Comparative Analysis of Handheld Devices Versus Google Glass. IEEE Transactions on Human- Machine Systems, 1–12. https://doi.org/10.1109/THMS.2016.2620106 Rixecker, K. (2018, September 27). Zwei Milliarden Dollar: Pokémon Go bleibt auch nach dem Hype erfolgreich. t3n Magazin. https://t3n.de/news/zwei-milliarden-us-dollar-pokemon- go-ist-auch-nach-dem-hype-erfolgreich-1113779/ Sathiah, S. (2020, März 18). A closer look at the LiDAR scanner on the new iPad Pro. Notebookcheck. https://www.notebookcheck.net/A-closer-look-at-the-LiDAR-scanner-on- the-new-iPad-Pro.458447.0.html Schiffeler, N. (2018, Juli 2). Kollaborative Augmented Reality in der Hochschullehre. Hochschulforum Digitalisierung – Hochschulbildung im digitalen Zeitalter.

2020 Putschögl, Daniel 98/109

https://hochschulforumdigitalisierung.de/de/blog/kollaborative-augmented-reality- hochschullehre-ariel Snapchat. (o. J.). So verwendest du Lenses. Abgerufen 16. Mai 2020, von https://support.snapchat.com/de-DE/article/face-world-lenses Sony. (2003, September 7). EyeToy: Play. Playstation. https://www.playstation.com/de- de/games/eyetoy-play-ps2/ Steuerwald, K. (2019, September 23). Neue AR-App IKEA Place. IKEA Unternehmensblog. https://ikea-unternehmensblog.de/article/2019/ikea-place-app Sutherland, I. E. (1968). A head-mounted three dimensional display. Proceedings of the December 9-11, 1968, fall joint computer conference, part I, 757–764. https://doi.org/10.1145/1476589.1476686 The Washington Post. (2017, September 26). The Washington Post Augmented Reality Series—Wikitude Showcase. Wikitude. https://www.wikitude.com/showcase/the- washington-post/ TripAdvisor. (2019, November). About TripAdvisor. . https://tripadvisor.mediaroom.com/AT-about-us Unity Technologies. (2019a, April 18). About AR Foundation. https://docs.unity3d.com/Packages/[email protected]/manual/index.html Unity Technologies. (2019b, Oktober 7). AR Foundation framework: Product roadmap [Technologie]. https://de.slideshare.net/unity3d/ar-foundation-framework-product- roadmap-unite-copenhagen-2019 Unity Technologies. (2020). Das AR Foundation-Framework von Unity. https://unity.com/de/unity/features/arfoundation Verordnung des Landeshauptmanns von Oberösterreich über die Geschäftseinteilung des Amtes der Oö. Landesregierung, 115/2018 LGBl. (2018). https://www.ris.bka.gv.at/GeltendeFassung.wxe?Abfrage=LrOO&Gesetzesnummer=200 00997 Vuforia. (2020a). Vuforia Cloud Recognition. https://library.vuforia.com/articles/Training/Cloud- Recognition-Guide Vuforia. (2020b). Vuforia Features Overview. https://library.vuforia.com/content/vuforia- library/en/features/overview.html Vuforia. (2020c). Vuforia Supported Versions. https://library.vuforia.com/content/vuforia- library/en/platform-support/supported-versions.html Vuforia. (2020d). Vuforia Tools Overview. https://library.vuforia.com/content/vuforia- library/en/tools/overview.html Vuforia. (2020e). VuMark. https://library.vuforia.com/content/vuforia- library/en/articles/Training/VuMark.html

2020 Putschögl, Daniel 99/109

W3C. (2019, Dezember 13). WebRTC 1.0: Real-time Communication Between Browsers. https://www.w3.org/TR/webrtc/ WebARonARCore. (2020). Google AR. https://github.com/google-ar/WebARonARCore (Original work published 2017) Weichelt, B., Heimonen, T., Pilz, M., Yoder, A., & Bendixsen, C. (2019). An Argument Against Cross-Platform Development: Lessons From an Augmented Reality App Prototype for Rural Emergency Responders. JMIR MHealth and UHealth, 7(3), e12207. https://doi.org/10.2196/12207 Wien zu Fuß. (2014, Oktober 21). Explore Vienna with wikitude’s Augmented Reality Technology. Wikitude. https://www.wikitude.com/showcase/wien-zu-fu-app-citizen- engagement-ar-game/ Wikitude. (2013, Jänner 9). TripAdvisor – Be in the know. Wikitude. https://www.wikitude.com/showcase/tripadvisor-be-in-the-know/ Wikitude. (2016, Februar 12). Media Markt Retail Engagement App. Wikitude. https://www.wikitude.com/showcase/media-markt/ Wikitude. (2017, September 20). TIME Magazine Special Edition App—Wikitude Showcase. Wikitude. https://www.wikitude.com/showcase/time-magazine/ Wikitude. (2018, Dezember 21). Lufthansa is using Wikitude’s AR technology at Trade Shows. Wikitude. https://www.wikitude.com/showcase/lufthansa-is-using-augmented-reality-at- trade-shows/ Wikitude. (2019a, Mai 21). AR in print: ABENTEUER UND REISEN magazine. Wikitude. https://www.wikitude.com/showcase/ar-in-print-abenteuer-und-reisen-magazine/ Wikitude. (2019b, Mai 29). The Jack Daniel’s AR Experience. Wikitude. https://www.wikitude.com/showcase/the-jack-daniels-ar-experience/ Wikitude. (2019c, Juli 19). Augmented reality in museums to identify artwork. Wikitude. https://www.wikitude.com/showcase/augmented-reality-in-museums-to-identify-artwork/ Wikitude. (2019d, Juli 29). Augmented reality product packaging: Herbal Essences AR app. Wikitude. https://www.wikitude.com/showcase/herbal-essences-augmented-reality- product-packaging/ Wikitude. (2020a). Wikitude Cross Platform Augmented Reality SDK. Wikitude. https://www.wikitude.com/products/wikitude-sdk/ Wikitude. (2020b). Wikitude Products. Wikitude. https://www.wikitude.com/store/ Wikitude. (2020c). Wikitude SDK Documentation. https://www.wikitude.com/documentation/ Wikitude. (2020d, April 14). The Jim Beam Augmented Reality Experience. Wikitude. https://www.wikitude.com/showcase/the-jim-beam-augmented-reality-experience/ Wikitude. (2020e, Oktober 4). AR car tracking: Nissan LEAF. Wikitude. https://www.wikitude.com/showcase/ar-car-tracking-nissan-leaf/

2020 Putschögl, Daniel 100/109

Wilde, T., & Hess, T. (2007). Forschungsmethoden der Wirtschaftsinformatik: Eine empirische Untersuchung. WIRTSCHAFTSINFORMATIK, 49(4), 280–287. https://doi.org/10.1007/s11576-007-0064-z Ye, S., Liu, C., Li, Z., & Al-Ahmari, A. (2017). Iterative optimization for frame-by-frame object pose tracking. Journal of Visual Communication and Image Representation, 44, 72–81. https://doi.org/10.1016/j.jvcir.2017.01.017 Ye, S., Liu, C., Li, Z., & Al-Ahmari, A. (2018). Improved frame-by-frame object pose tracking in complex environments. Multimedia Tools and Applications, 77(19), 24983–25004. https://doi.org/10.1007/s11042-018-5736-8

2020 Putschögl, Daniel 101/109

ANHANG

Gemälde der „The Art Gallery of Chicago”, anhand welcher die Bilderkennungsfunktion der AR Frameworks verglichen wurde.

Bilder, die in der Referenzbilddatenbank übergeben wurden und erkannt werden sollten:

# Name Künstler Ort Jahr 1. A City Park William Merritt Vereinigte Staaten ca. 1887 Chase 2. A Young Lady with a Parrot Rosalba Carriera Venedig 1725 - 1735 3. Acrobats at the Cirque Pierre-Auguste Frankreich 1879 Fernando (Francisca and Renoir Angelina Wartenberg) 4. After the Hurricane, Bahamas Winslow Homer Vereinigte Staaten 1899 5. Alka Seltzer Roy Lichtenstein Vereinigte Staaten 1966 6. America Windows Marc Chagall Frankreich 1977 7. American Collectors (Fred and David Hockney England 1968 Marcia Weisman) 8. American Gothic Grant Wood Vereinigte Staaten 1930 9. Arlésiennes (Mistral) Paul Gauguin Frankreich 1888 10. Arrival of the Normandy Train, Claude Monet Frankreich 1877 Gare Saint-Lazare 11. At Mouquin's William James Vereinigte Staaten 1905 Glackens 12. At the Moulin Rouge Henri de Frankreich 1982 - 1985 Toulouse-Lautrec 13. Avery Coonley Playhouse: Frank Lloyd Vereinigte Staaten 1912 Triptych Window Wright (Designer) 14. Ballet at the Paris Opéra Hilaire Germain Frankreich 1877 Edgar Degas 15. Bathers by a River Henri Matisse Frankreich 1909 - 1917 16. Black Cross, New Mexico Georgia O'Keeffe Vereinigte Staaten 1929 17. Champs de Mars: The Red Robert Delaunay Frankreich 1911 - 1923 Tower 18. Chicago Harry Callahan Chicago 1950 19. City Landscape Joan Mitchell Vereinigte Staaten 1955 20. Cotton Pickers Thomas Hart Vereinigte Staaten 1945 Benton

2020 Putschögl, Daniel 102/109

21. Cows Skull with Roses Georgia O’Keeffe Vereinigte Staaten 1931 22. Cupid Chastised Bartolomeo Italien 1613 Manfredi 23. Daniel-Henry Kahnweiler Pablo Picasso Spanien 1910 24. Distant View of Niagara Falls Thomas Cole Vereinigte Staaten 1830 25. Earthly Paradise Pierre Bonnard Frankreich 1916 - 1920 26. Excavation Willem de Vereinigte Staaten 1950 Kooning 27. Figure with Meat Francis Bacon Figure with Meat 1954 28. Fishing Boats with Hucksters Joseph Mallord England 1832 - 1842 Bargaining for Fish William Turner 29. Greyed Rainbow Jackson Pollock Vereinigte Staaten 1953 30. Hercules and the Lernaean Gustave Moreau Frankreich 1875 - 1876 Hydra 31. Improvisation No. 30 (Cannons) Vasily Kandinsky Deutschland 1913 32. Interior at Nice Henri Matisse Frankreich 1919 - 1920 33. Into the World There Came a Ivan Albright Vereinigte Staaten 1929 - 1930 Soul Called Ida 34. Inventions of the Monsters Salvador Dalí Spanien 1937 35. Jesus Mocked by the Soldiers Édouard Manet Frankreich 1856 36. Landscape at L’Estaque Georges Braque Frankreich 1906 37. Landscape with Saint John on Nicolas Poussin Frankreich 1640 Patmos 38. Little Harbor in Normandy Georges Braque Frankreich 1909 39. Love of Winter George Wesley New York 1914 Bellows 40. Lozenge Composition with Piet Mondrian Niederlande 1921 Yellow, Black, Blue, Red, and Gray 41. Mao Andy Warhol Vereinigte Staaten 1972 42. Mother and Child Pablo Picasso Spanien 1921 43. Mountain Brook Albert Bierstadt Vereinigte Staaten 1863 44. Nighthawks Edward Hopper Vereinigte Staaten 1942 45. Nightlife Archibald John Vereinigte Staaten 1943 Motley Jr.

2020 Putschögl, Daniel 103/109

46. Nocturne: Blue and Gold— James McNeill London 1872 Southampton Water Whistler 47. Old Man with a Gold Chain Rembrandt Niederlande 1626 - 1636 Harmensz. van Rijn 48. Paris Street; Rainy Day Gustave Paris 1877 Caillebotte 49. Portrait of Pablo Picasso Juan Gris Spanien 1912 50. Saint George and the Dragon Bernat Martorell Spanien 1434 - 1435 51. Self-Portrait Vincent van Gogh Niederlande 1887 52. Sky above Clouds IV Georgia O’Keeffe Vereinigte Staaten 1965 53. Stacks of Wheat Claude Monet Frankreich 1891 54. Starry Night and the Astronauts Arthur Secunda Vereinigte Staaten 1967 - 1972 55. Still Life with Game Fowl Juan Sánchez Spanien 1597 - 1607 Cotán 56. Target Jasper Johns Vereinigte Staaten 1961 57. That Which I Should Have Done Ivan Albright Vereinigte Staaten ca. 1931 - I Did Not Do (The Door) 1941 58. The Assumption of the Virgin Domenikos Spanien 1577 - 1579 Theotokopoulos (El Greco) 59. The Basket of Apples Paul Cézanne Frankreich 1887 - 1900 60. The Bay of Marseille Seen from Paul Cézanne Frankreich 1880 - 1890 LEstaque 61. The Beach at Sainte-Adresse Claude Monet Frankreich 1867 62. The Bedroom Vincent van Gogh Niederlande 63. The Child's Bath Mary Cassatt Frankreich 1893 64. The Crucifixion Francisco de Spanien 1627 Zurbarán 65. The Earth Is a Man Roberto Matta Frankreich 1942 66. The Fountain, Villa Torlonia, John Singer Frascati 1907 Frascati, Italy Sargent 67. The Girl by the Window Edvard Munch Norwegen 1893 68. The Herring Net Winslow Homer New England 1885 69. The Millinery Shop Edgar Degas Frankreich 1879 - 1886 70. The Old Guitarist Pablo Picasso Spanien 1903 - 1904

2020 Putschögl, Daniel 104/109

71. The Praying Jew Marc Chagall Frankreich 1923 72. The Red Armchair Pablo Picasso Spanien 1931 73. The Rock Peter Blume Vereinigte Staaten ca. 1944 - 1948 74. The Shelton with Sunspots, N.Y. Georgia O’Keeffe Vereinigte Staaten 1926 75. Time Transfixed René Magritte Belgien 1938 76. Two Sisters (On the Terrace) Pierre-Auguste Frankreich 1881 Renoir 77. Kanagawa oki nami ura Katsushika Japan 1826 - 1836 Hokusai 葛飾 北斎 78. Untitled (Purple, White, and Mark Rothko Vereinigte Staaten 1953 Red) (Marcus Rothkowitz) 79. Untitled Barnett Newman United States 1960 80. Water Lilies Claude Monet Frankreich 1906 81. Weaving Diego Rivera Mexiko 1936 82. White Crucifixion Marc Chagall Frankreich 1938 83. Frau die Treppe herabgehend Gerhard Richter Deutschland 1965 84. Woman at Her Toilette Berthe Morisot Frankreich 1870 - 1880 85. Woman before an Aquarium Henri Matisse Frankreich 1921 - 1923 86. Zapata José Clemente Mexiko 1930 Orozco

Bilder, die nicht in der Referenzbilddatenbank übergeben wurden:

# Name Künstler Ort Jahr 1. A Monumental Portrait of a Indien ca. 1705 - Monkey 1710 2. Armida Encounters the Sleeping Giovanni Battista Italien 1742 - 45 Rinaldo Tiepolo 3. Autumn Maples with Poem Slips Tosa Mitsuoki Japan ca. 1675 4. Bar-room Scene William Sidney Vereinigte Staaten 1835 Mount 5. Black and White Lee Krasner Vereinigte Staaten 1953

2020 Putschögl, Daniel 105/109

6. Boy on a Ram Francisco José Spanien 1786 - 1787 de Goya y Lucientes 7. Cabin in the Cotton Horace Pippin Vereinigte Staaten ca. 1931 - 1937 8. Caribs’/Western Deep Steve McQueen England 2002 9. Carnival in Arcueil Lyonel Feininger Vereinigte Staaten 1911 10. Christ Carrying the Cross Sebastiano del Italien ca. 1515 - Piombo 1517 11. Couple in Bed Philip Guston Vereinigte Staaten 1977 12. Early Morning, Tarpon Springs George Inness Vereinigte Staaten 1892 13. Elizabeth Grant Bankson Beatty Joshua Johnson Vereinigte Staaten ca. 1805 (Mrs. James Beatty) and Her Daughter Susan 14. Evening Snow on a Floss Suzuki Harunobu Japan ca. 1766 Shaper 15. Explosion at Sea Vija Celmins Vereinigte Staaten 1966 16. For Sunday’s Dinner William Michael Vereinigte Staaten 1888 Harnett 17. Forest and Sun Max Ernst Frankreich 1927 18. Fragment (Hanging) Ägypten ca. 30 v. C. – 461 n. C. 19. Friar Pedro Shoots El Maragato Francisco José Spanien ca. 1806 as His Horse Runs Off de Goya y Lucientes 20. Georgia O’Keeffe–Hands and Alfred Stieglitz Vereinigte Staaten 1919 Thimble 21. Gian Lodovico Madruzzo Giovanni Battista Italien 1551 - 52 Moroni 22. Golden Wings Brushing the Shiraga Kazuo Japan 1960 Clouds Incarnated from Earthly Wide Star (Chikatsusei Maunkinshi) 23. Henri Degas and His Niece Edgar Degas Frankreich 1875 - 1876 Lucie Degas (The Artist’s Uncle and Cousin) 24. Henry Ossawa Tanner Hermann Dudley Vereinigte Staaten 1891 - 1896 Murphy

2020 Putschögl, Daniel 106/109

25. Husking Bee, Island of Eastman Johnson Vereinigte Staaten 1876 Nantucket 26. Icebound John Henry Vereinigte Staaten ca. 1889 Twachtman 27. Jacques and Berthe Lipchitz Amedeo Italien 1916 Modigliani 28. Juan Soriano De Lacandón Leonora England 1964 Carrington 29. Lady Sarah Bunbury Sacrificing Sir Joshua England 1763 - 1765 to the Graces Reynolds 30. Landscape with the Ruins of the Jacob van Niederlande 1650 - 1655 Castle of Egmond Ruisdael

31. Landscape: Window Édouard Vuillard Frankreich 1899 Overlooking the Woods 32. Liz #3 Andy Warhol Vereinigte Staaten 1963

33. Mère Grégoire Gustave Courbet Frankreich 1857 - 1859 34. Madame de Pastoret and Her Jacques-Louis Frankreich 1791 - 1792 Son David 35. Magnolias on Light Blue Velvet Martin Johnson Vereinigte Staaten 1885 - 1895 Cloth Heade 36. Maharana Bhim Singh in Ghasi Indien ca. 1820 Procession 37. Many Mansions Kerry James Vereinigte Staaten 1994 Marshall 38. Merahi metua no Tehamana Paul Gauguin Frankreich 1893 (Tehamana Has Many Parents or The Ancestors of Tehamana) 39. Minnie Ed Paschke Vereinigte Staaten 1974 40. Mirror #3 Roy Lichtenstein Vereinigte Staaten 1971 41. Movements Marsden Hartley Vereinigte Staaten 1913 42. Mrs. Daniel Hubbard (Mary John Singleton Vereinigte Staaten ca. 1764 Greene) Copley 43. Mrs. Jens Wolff Sir Thomas England 1803 - 1815 Lawrence 44. Night Sky #2 Vija Celmins Vereinigte Staaten 1991 45. Pastoral Scene Giovanni Battista Italien 1740 Piazzetta

2020 Putschögl, Daniel 107/109

46. Portrait of a Man in Costume Jean-Honoré Frankreich 1768 - 1770 Fragonard 47. Portrait of Jean Gros Rogier van der Niederlande 1460 - 1464 Weyden and Workshop 48. Processional Cross with Saint Lorenzo Monaco Italien 1392/95 Mary Magdalene and a Blessed Hermit 49. Red Yellow Blue White and Ellsworth Kelly Vereinigte Staaten 1953 Black II 50. Rodeo Brice Marden Vereinigte Staaten 1971 51. Salome with the Head of Saint Guido Reni Italien ca. 1639 - John the Baptist 1642 52. Self-Portrait Max Beckmann Deutschland 1937 53. Self-Portrait with a Visor Jean-Siméon Frankreich ca. 1776 Chardin 54. Silver Sun Arthur Dove Vereinigte Staaten 1929 55. Spanish Dancer Natalia Russland 1920 Goncharova 56. Statue of the Madonna in the Caspar David Deutschland 1804 Mountains Friedrich 57. Still Life - Strawberries, Nuts, Raphaelle Peale Vereinigte Staaten 1822 &c. 58. Still Life with Geranium Henri Matisse Frankreich 1906 59. Stoke-by-Nayland John Constable England 1836 60. Sunset Paul Klee Deutschland 1930 61. System of Architectural Louis H. Sullivan Vereinigte Staaten 1922 Ornament, Plate 16, Impromptu! 62. The Annunciation Jean Hey Frankreich 1490 - 1495 63. The Annunciation Alessandro Italien ca. 1583 Vittoria 64. The Artist Looks at Nature Charles Sheeler Vereinigte Staaten 1943

65. The Artist’s Mother Arshile Gorky Vereinigte Staaten 1926 - 1936 66. The Ballad of Sexual Nan Goldin Vereinigte Staaten 1979 - 2001 Dependency 67. The Beginning Barnett Newman Vereinigte Staaten 1946 68. The Beheading of Saint John Giovanni di Paolo Italien 1455 - 1460 the Baptist

2020 Putschögl, Daniel 108/109

69. The Combat of the Giaour and Eugène Delacroix Frankreich 1826 Hassan 70. The Creation of Adam Giovanni Italien ca. 1642 Benedetto Castiglione 71. The Holy Family with Saints Peter Paul Belgien ca. 1615 Elizabeth and John the Baptist Rubens 72. The Nativity Fra Bartolommeo Italien 1504 - 1507 73. La nuit remue Zao Wou-Ki Frankreich 1956 74. The Plough and the Song Arshile Gorky Vereinigte Staaten 1946 -1947

75. The Policeman Joan Miró Spanien 1925

76. The Railway Crossing (Sketch) Fernand Léger Frankreich 1919 77. The Titanic Stanley Tigerman Vereinigte Staaten 1978 78. The Two Disciples at the Tomb Henry Ossawa Vereinigte Staaten ca. 1906 Tanner 79. The Young Emperor Akbar Shankar Indien ca. 1590 Arrests the Insolent Shah Abu’l- 1595 Maali, page from a manuscript of the Akbarnama 80. Train Station Walter Ellison Vereinigte Staaten 1935 81. Two Cows and a Young Bull Paulus Potter Niederlande 1647 beside a Fence in a Meadow

82. Two Women’s Torsos Willem de Vereinigte Staaten 1952 Kooning 83. Untitled Clyfford Still Vereinigte Staaten 1958 84. Untitled #12 Agnes Martin Vereinigte Staaten 1977

85. View of Delphi with a Claude Gellée Frankreich 1673 Procession

86. Hochsitz mit Gänsen Sigmar Polke Deutschland 1987 - 1988

2020 Putschögl, Daniel 109/109