A Concept for Declarative Information Acquisition in Smart Environments D I S S E R T A T I O N zur Erlangung des akademischen Grades Doktoringenieur (Dr.-Ing.) angenommen durch die Fakultät für Informatik der Otto-von-Guericke-Universität Magdeburg von M.Sc. André Dietrich geb. am 17.12.1981 in Kiew (Ukraine) Gutachterinnen/Gutachter Prof. Dr. Jörg Kaiser Prof. Dr. Oliver Brock Prof. Dr. Andreas Birk Magdeburg, den 22.11.2016 c 2016 Andr´eDietrich ALL RIGHTS RESERVED Abstract Future smart and intelligent environments are envisioned to be loosely coupled composi- tions of distributed sensor, actuator, and computation systems, which are able to combine their capabilities, share their information and knowledge, in order to fulfill various tasks au- tonomously. However, current approaches in these areas do either provide mechanisms for sharing data only or concentrate on the composition of operations/services for predefined problem sets. This thesis, therefore, firstly analyzes the different notions of data, information, and knowledge to be shared among heterogeneous systems. Based on this distinction, a reference model that is used to relate the previously disparate approaches was developed. It has revealed that most of the concepts and attempts for smart and intelligent environments do only tackle small and restricted aspects. In contrast to adding a new system to the current state-of-the-art that also operates on one or more of the identified layers, a concept was developed that integrates these technologies from different layers, which allows to combine and access them freely. It treats such compositions of smart information spaces as distributed database, allowing to query, access, and extract all the required information in the desired formats. The developed concept is based on three intermediate steps. At first, cloud-based techniques are applied to form a virtual overlay database and to define a basic organization. In opposition to other approaches, relevant data and information from different entities is therefore not uploaded to a cloud infrastructure but, instead, a cloud is formed by all entities within the smart environment. As a second step and on the basis of SQL-like queries, relevant data for a certain area or task is identified and translated into a precise 3D rigid-body simulation. This local reconstruction of the environment is applied in the last step as a general representation and local knowledge base, from which further representations and information is abstracted. The type of information or representation is also defined within the mentioned SQL-like query. For this purpose, a new and embedded programming language that combines both an SQL-like syntax with new semantics, and declarative aspects with imperative scripting capabilities has been developed. As a proof of concept, prototypes have been developed for every described step, which can be freely downloaded as open source implementations under BSD-license. Zusammenfassung Die intelligente Umgebung der Zukunft, wie man sie sich heute vorstellt, besteht aus einer Vielzahl unterschiedlichster, lose gekoppelter, autonomer Systeme. Dazu z¨ahlen Sen- soren und Aktoren aber auch Recheneinheiten, die nicht lokal verortet sein mussen.¨ Sol- che Systeme sollen in der Lage sein ihre F¨ahigkeiten individuell und aufgabenabh¨angig zu kombinieren sowie ihr Wissen uber¨ die Umgebung und ihre derzeitige Wahrnehmung dyna- misch zu teilen. Die aktuellen Ans¨atze und verwendeten Systeme in sogenannten smarten Umgebungen bieten jedoch nur die M¨oglichkeit eines dynamischen Datenaustausches in fest vorgeschriebenen Formaten oder konzentrieren sich auf die Entwicklung von Architekturen, die nur auf einen kleinen Problembereich anwendbar sind. Um eine generische L¨osung zu entwickeln, wurde in dieser Arbeit zun¨achst analysiert, wel- che unterschiedlichen Formen von Daten, Informationen und Wissen in solchen heterogenen Systemen ausgetauscht werden. Auf Basis dieser Analyse wurde ein schichtenbasiertes Refe- renzmodell entwickelt, das es erlaubt, bestehende Systeme und Architekturen in Beziehung zueinander zu setzen. Die daraufhin erfolgte Einordnung der wissenschaftlichen Literatur zeigte, dass sich die meisten Arbeiten innerhalb dieser Kategorien nur auf kleine Teilaspekte bzw. Probleme innerhalb von intelligenten Umgebungen konzentrieren. Das Ziel dieser Arbeit war es nicht, eine weitere spezifische Variante zum derzeitigen Stand der Forschung hinzuzufugen,¨ welches eine oder mehrere Schichten des Referenzmo- dells abdeckt, sondern vielmehr ein Konzept zu entwickeln, dass es erlaubt verschiedene bestehende Technologien einzubinden und ganzheitlich auf sie zuzugreifen. Hierfur¨ wurde die Metapher einer verteilten Datenbank genutzt, die alle Komponenten einer intelligenten Umgebung einschließt und es erlaubt, nicht nur auf die verschiedenen Daten zuzugreifen sondern auch beliebige Informationen in unterschiedlichen Formaten zu generieren bzw. aus der Umgebung zu extrahieren. Das dafur¨ entwickelte Konzept besteht aus drei Elementen. In der Basis wird ein Cloud-basierter Ansatz verfolgt, der eine grundlegende Struktur und Hierarchie festlegt. Im Gegensatz zu anderen Systemen werden hierbei nicht alle Daten und Informationen unterschiedlicher Systeme in eine Cloud hochgeladen, sondern die Sys- teme einer intelligenten Umgebung selbst bilden die Cloud. Auf Basis von SQL-¨ahnlichen Anfragen lassen sich aufgaben- und situationsrelevante Elemente innerhalb der Cloud iden- tifizieren, die in ein pr¨azises 3D Modell der Umgebung ubersetzt¨ werden. Eine solche Umge- bungssimulation erlaubt es, Systeme im Kontext zueinander zu betrachten sowie erweiterte Analysen durchzufuhren¨ und angeforderte Informationen flexibel zu generieren. Die Spezi- fikation, welche Analysen durchgefuhrt¨ werden bzw. welche Informationen zu extrahieren sind, wird ebenfalls in der ersten (SQL-¨ahnlichen) Anfrage definiert. Hierfur¨ wurde eine neue eingebettete und interpretierte Anfrage- und Programmiersprache mit einer SQL-¨ahnlichen Syntax entwickelt, die deklarative Programmieraspekte mit imperativen Ausdrucksformen verbindet. Konzeptnachweise wurden fur¨ jeden Teilschritt in Form von Software-Prototypen ent- wickelt. Diese Open-Source-Projekte k¨onnen frei unter der BSD-Lizenz heruntergeladen werden. Danksagung Meinem Betreuer Herrn Prof. Dr. J¨org Kaiser danke ich dafur,¨ dass er es mir erm¨oglicht hat diese Arbeit zu schreiben. Die Gelegenheit zur Mitarbeit an dem interdisziplin¨aren Forschungsprojekt ViERforES und die Zuarbeit zu KARYON haben mir dabei geholfen, meinen eigenen Standpunkt und meine Sichtweise auf bzw. Herangehensweise an bestimmte Probleme immer wieder neu zu uberdenken¨ und zu erweitern. Ich m¨ochte dahingehend auch meinen Kollegen in der Arbeitsgruppe Betriebssysteme ” und Eingebettete Systeme“ danken. Mein besonderer Dank gilt JProf. Dr. Sebastian Zug, der gleichzeitig als engagierter Unterstutzer¨ aber auch als Kritiker zugegen war. Die gemeinsame Arbeit an verschiedenen Projekten und die Mitarbeit im Knowledge 4.0“ Projekt hat mich ” viel uber¨ das wissenschaftliche Arbeiten und Publizieren gelehrt. Mein weiterer Dank geht an meine Kollegen Tino Brade und Christoph Steup fur¨ die vielen Anregungen und die Hilfe bei implementatorischen Problemen. Des Weiteren danke ich Dr. Stefan Sokoll und Martin Althuizes fur¨ die vielen interessanten Diskussionen. Weiterhin geht mein Dank an Prof. Dr. Oliver Brock, der mir durch unsere Gespr¨ache entscheidende Probleme und Schwachstellen bezuglich¨ meines Konzeptes vor Augen gefuhrt¨ hat und es freut mich, dass er bereit war, die Begutachtung dieser Promotionsschrift zu ubernehmen.¨ Ich danke meiner Mutter Katharina Dietrich dafur,¨ dass sie mir trotz mancher Schwie- rigkeiten im Leben alles erm¨oglicht, mich in allem unterstutzt¨ und begleitet hat. Ich danke meinen Großeltern Anneliese und Eberhard Dietrich, die mir immer und in jeder Hinsicht ein großes Vorbild waren. Und ich danke meiner Freundin Sabine Sahr fur¨ ihre Geduld, Verst¨andnis und ihre Liebe. Contents Directories IV Contents . .IV Figures . .VI Listings . VIII Abbreviations . XII 1. Introduction1 1.1. A Short Overview of the “Linear” History of Robotics . .2 1.2. Robotic Evolution . .3 1.3. Robotic Revolution . .4 1.4. The Frog Problem . .6 1.5. Overview . .9 2. Related Work 11 2.1. New Concepts of Distribution: Terms and Notions . 11 2.2. Classification Methodology . 13 2.2.1. Short Introduction to Information Science . 14 2.2.2. The JDL Data Fusion Model . 16 2.2.3. Combination and Further Categorization . 17 2.2.4. Discussion . 19 2.3. Smart Environment Enabling Technologies . 19 2.3.1. Source-Layer . 19 2.3.1.1. SensorML . 20 2.3.1.2. IEEE 1451 – TIM & TII . 20 2.3.1.3. MOSAIC . 20 2.3.1.4. Summary . 21 2.3.2. Data-Layer . 21 2.3.2.1. FAMOUSO . 22 2.3.2.2. TransducerML . 22 2.3.2.3. ROS . 22 2.3.2.4. Sensorpedia . 24 2.3.2.5. Robopedia . 25 2.3.3. Information-Layer . 25 2.3.3.1. Virtual Sensor . 26 2.3.3.2. TinyDB . 26 2.3.3.3. OSGi & JINI . 28 2.3.3.4. Player/Stage . 29 2.3.3.5. Context-Awareness . 29 2.3.3.5.1. Context Toolkit . 30 2.3.3.5.2. CAMUS . 31 2.3.3.6. Summary . 33 I Contents 2.3.4. Knowledge-Layer . 33 2.3.4.1. Common Robotic World Models — An Overview . 33 2.3.4.1.1. The Grid Model . 34 2.3.4.1.2. Occupancy Grid Map . 34 2.3.4.1.3. The Generalized Voronoi Diagram . 34 2.3.4.1.4. Potential Fields . 34 2.3.4.1.5. Topological Maps . 35 2.3.4.1.6. OctoMaps . 35 2.3.4.1.7. Point Clouds . 35 2.3.4.1.8. Shakey the Robot . 35 2.3.4.1.9. Lessons learned from Shakey . 35 2.3.4.1.10. Prolog . 37 2.3.4.1.11. GOLOG . 38 2.3.4.1.12. ConGOLOG . 39 2.3.4.1.13. Further GOLOG Representatives . 39 2.3.4.1.14. 3D Rigid-Body Models . 39 2.3.4.1.15. Roy’s Mental Imagery . 40 2.3.4.2. World Models in CPS – Sharing Knowledge Systems . 41 2.3.4.2.1. Object-Oriented World Model . 41 2.3.4.2.2. Local Dynamic Map . 42 2.3.4.2.3. PREDiMAP . 43 2.3.4.2.4. Distributed Scene-Graphs . 44 2.3.4.2.5. DAvinCi . 44 2.3.4.2.6.