NATIONAL AND KAPODISTRIAN UNIVERSITY OF ATHENS SCHOOL OF SCIENCE DEPARTMENT OF INFORMATICS AND TELECOMMUNICATIONS MASTER OF SCIENCE "Computing Systems: Software and Hardware" M.Sc. THESIS A Mixed Reality Dashboard based on a distributed data streaming architecture Deligiannakis N. Nektarios Supervisor: Stathes P. Hadjiefthymiades, Professor ATHENS FEBRUARY 2020 ΕΘΝΙΚΟ ΚΑΙ ΚΑΠΟΔΙΣΤΡΙΑΚΟ ΠΑΝΕΠΙΣΤΗΜΙΟ ΑΘΗΝΩΝ ΣΧΟΛΗ ΘΕΤΙΚΩΝ ΕΠΙΣΤΗΜΩΝ ΤΜΗΜΑ ΠΛΗΡΟΦΟΡΙΚΗΣ ΚΑΙ ΤΗΛΕΠΙΚΟΙΝΩΝΙΩΝ ΠΡΟΓΡΑΜΜΑ ΜΕΤΑΠΤΥΧΙΑΚΩΝ ΣΠΟΥΔΩΝ "Υπολογιστικά Συστήματα: Λογισμικό και Υλικό" ΔΙΠΛΩΜΑΤΙΚΗ ΕΡΓΑΣΙΑ Γραφικό Περιβάλλον Μεικτής Πραγματικότητας βασισμένο σε μια κατανεμημένη αρχιτεκτονική μεταφοράς ροών δεδομένων Δεληγιαννάκης Ν. Νεκτάριος Επιβλέπων: Ευστάθιος Χατζηευθυμιάδης, Καθηγητής ΑΘΗΝΑ ΦΕΒΡΟΥΑΡΙΟΣ 2020 M.Sc. Thesis A Mixed Reality Dashboard based on a distributed data streaming architecture Deligiannakis N. Nektarios S.N.: Μ1604 Supervisor: Stathes P. Hadjiefthymiades, Professor February 2020 ΔΙΠΛΩΜΑΤΙΚΗ ΕΡΓΑΣΙΑ Γραφικό Περιβάλλον Μεικτής Πραγματικότητας βασισμένο σε μια κατανεμημένη αρχιτεκτονική μεταφοράς ροών δεδομένων ΔΕΛΗΓΙΑΝΝΑΚΗΣ Ν. ΝΕΚΤΑΡΙΟΣ Α.Μ.: M1604 ΕΠΙΒΛΕΠΟΝΤΕΣ: Ευστάθιος Π. Χατζηευθυμιάδης, Καθηγητής ΦΕΒΡΟΥΑΡΙΟΣ 2020 ABSTRACT As computer science grows and evolves, new technologies come to surface. One of these is called Augmented Reality. New devices and gadgets start to hit the market from many companies like Microsoft with the HoloLens device. Data visualization is very important using mixed reality to make large data sets easier to navigate and understand and is the going to be a requirement for many proposals in the future. However, the creation of applications for these devices is yet a very difficult and peculiar job due to the high cost of the devices and the small developer community that insists on working with Augmented Reality or Mixed Reality applications. We present a Mixed Reality Dashboard that demonstrates functionalities that can be used to monitor and visualize data from sensors, UxVs or any other device. The scenario for applications is the visualization of sensor data and video feed from UxVs, but we also show the extensibility of the current application. Data visualization is very important using mixed reality to make large data sets easier to navigate and understand and is the going to be a requirement for many different and various use cases in many scientific fields and applications. The application consists of a User Interface, interactable with air taps and gestures, that visualizes data from a network. The API for receiving data is Apache Kafka and Zookeeper, a distributed streaming platform. Three main functionalities are presented in the UI, dynamic data graphs, video feeds and the reception of messages and status monitoring for the user and the device. The UI, receives data received from the internet with use of Kafka Rest Proxy that is a RESTful proxy built in Kafka platform. SUBJECT AREA: Mixed Reality Applications with the HoloLens device KEYWORDS: augmented reality, mixed reality, data visualization, HoloLens, data graph, REST, Apache Kafka, REST Proxy ΠΕΡΙΛΗΨΗ Καθώς οι επιστήμες των ηλεκτρονικών υπολογιστών και της πληροφορίας αναπτύσσονται και εξελίσσονται, νέες τεχνολογίες έρχονται στην επιφάνεια. Μία από αυτές είναι η τεχνολογία της Επαυξημένης Πραγματικότητας (Augmented Reality, AR). Οι νέες συσκευές αρχίζουν να προσφέρονται εμπορικά από πολλές εταιρείες όπως η Microsoft με τη συσκευή Μεικτής Πραγματικότητας (Mixed Reality, MR) HoloLens. Η απεικόνιση των δεδομένων είναι πολύ σημαντική, χρησιμοποιώντας τη μεικτή πραγματικότητα, για να διευκολύνουμε την πλοήγηση και την κατανόηση μεγάλων συνόλων δεδομένων και πρόκειται να αποτελέσει προϋπόθεση για πολλές τεχνολογικές προτάσεις στο μέλλον. Ωστόσο, η δημιουργία εφαρμογών για αυτές τις συσκευές είναι μια πολύ δύσκολη και ιδιόμορφη δουλειά λόγω του υψηλού κόστους των συσκευών και της μικρής κοινότητας προγραμματιστών που επιμένει στην εργασία με τις εφαρμογές Augmented Reality ή Mixed Reality. Στην παρούσα εργασία, αναπτύχθηκε και παρουσιάζεται ένα γραφικό περιβάλλον οπτικοποίησης ροών δεδομένων πολλαπλών τύπων. Η εργασία παρουσιάζει λειτουργίες που μπορούν να χρησιμοποιηθούν για την παρακολούθηση και την απεικόνιση δεδομένων από αισθητήρες, αισθητήρες μη επανδρωμένων οχημάτων (Unmanned Vehicles, UxVs) ή οποιαδήποτε άλλη συσκευή. Το σενάριο για εφαρμογές είναι η απεικόνιση δεδομένων αισθητήρων και ροής βίντεο από UxVs. Παράλληλα δείχνουμε την επεκτασιμότητα της τρέχουσας εφαρμογής. Η οπτικοποίηση των δεδομένων είναι πολύ σημαντική, χρησιμοποιώντας τη μεικτή πραγματικότητα, για να διευκολύνετε την πλοήγηση και την κατανόηση των μεγάλων συνόλων δεδομένων και αρχίζει να γίνεται επιτακτική ανάγκη σε πληθώρα επιστημονικών πεδίων και εφαρμογών. Η εφαρμογή αποτελείται από μια γραφική διεπαφή χρήστη, η οποία μπορεί να αλληλεπιδράσει με συγκεκριμένες χειρονομίες (gestures), και απεικονίζει δεδομένα προερχόμενα από ένα κατανεμημένο δίκτυο αισθητήρων. Χρησιμοποιήθηκε η πλατφόρμα Apache Kafka και Zookeeper για τη λήψη και επεξεργασία των ροών δεδομένων, μια κατανεμημένη πλατφόρμα ροής δεδομένων. Τρεις βασικές λειτουργίες παρουσιάζονται στο περιβάλλον: (i) τα δυναμικά γραφήματα δεδομένων, (ii) οι ροές βίντεο, (iii) η λήψη μηνυμάτων και η παρακολούθηση της κατάστασης για τον χρήστη και τη συσκευή. Η γραφική διεπαφή χρήστη, λαμβάνει δεδομένα που λαμβάνονται από το διαδίκτυο με τη χρήση του Kafka Rest Proxy το οποίο αποτελεί τμήμα της πλατφόρμας που υποστηρίζει RESTful κλήσεις δεδομένων. ΘΕΜΑΤΙΚΗ ΠΕΡΙΟΧΗ: Εφαρμογές στην Ενδιάμεση Πραγματικότητα με τη συσκευή HololLens ΛΕΞΕΙΣ ΚΛΕΙΔΙΑ: επαυξημένη πραγματικότητα, μεικτή πραγματικότητα, οπτικοποίηση δεδομένων, συσκευή HoloLens, middleware, γράφημα δεδομένων, REST, Apache Kafka REST Proxy Αφιερώνεται στον άνθρωπό μου, που χρειάστηκε να με υποστεί στην περάτωση και ολοκλήρωση αυτής της μεταπτυχιακής εργασίας. ΕΥΧΑΡΙΣΤΙΕΣ Ευχαριστίες πολλές απευθύνουμε στον επιβλέποντα και επιστημονικό υπεύθυνο της συγκεκριμένης εργασίας αλλά και επιστημονικού υπευθύνου της ερευνητικής ομάδας Διάχυτου Υπολογισμού του ΕΚΠΑ (Pervasive Computing Research Group), κ. Ευστάθιο Χατζηευθυμιάδη. Θερμές ευχαριστίες σε όλα τα μέλη της ερευνητικής ομάδας Διάχυτου Υπολογισμού αλλά ιδιαιτέρως στα μέλη Παπαταξιάρχη Βασίλη, Κωστή Γεράκο και Ζαμπούρα Δημήτρη για τη βοήθειά τους και τις συμβουλές τους σε τεχνικά και μη θέματα που αφορούσαν την παρούσα εργασία. CONTENTS ABSTRACT .............................................................................................................................................. 5 ΠΕΡΙΛΗΨΗ ............................................................................................................................................... 6 CONTENTS .............................................................................................................................................. 9 LIST OF IMAGES ................................................................................................................................ 11 PROLOGUE .......................................................................................................................................... 12 1 INTRODUCTION ......................................................................................................................... 13 2 STATE OF THE ART ................................................................................................................. 14 2.1 Introduction .................................................................................................................................... 14 2.2 Virtual Reality ................................................................................................................................. 14 2.3 Augmented Reality ......................................................................................................................... 15 2.4 Mixed Reality .................................................................................................................................. 16 2.5 Differences between Virtual Reality, Augmented Reality and Mixed Reality ........................... 16 3 TOOLS FOR THIS APPLICATION ....................................................................................... 18 3.1 Unity Editor 2018 LTS and 2019 ................................................................................................... 18 3.2 Mixed Reality Toolkit ..................................................................................................................... 18 3.3 Visual Studio .................................................................................................................................. 19 3.4 .NET Framework 4.5 - 4.6 in C# ..................................................................................................... 20 3.5 Python for Kafka consumers ........................................................................................................ 20 4. MIXED REALITY FEATURES .................................................................................................... 21 4.1 Holograms....................................................................................................................................... 21 4.2 Spatial Mapping and Anchors....................................................................................................... 22 4.3 Gaze ................................................................................................................................................