Framework for Building Situation-Aware Ubiquitous Services in Smart Home Environments vorgelegt von Diplom-Informatiker Andreas Rieger Von der Fakultät IV – Elektrotechnik und Informatik der Technischen Universität Berlin zur Erlangung des akademischen Grades Doktor der Ingenieurwissenschaften Dr.-Ing. genehmigte Dissertation Promotionsausschuss: Vorsitzender: Prof. Dr. habil. Odej Kao Berichter: Prof. Dr. habil. Sahin Albayrak Berichter: Prof. Arkady Zaslavsky Tag der wissenschaftlichen Aussprache: 31.05.2011 Berlin 2011 D 83 Zusammenfassung Die zunehmende Verbreitung des Computers in verschiedenen Lebensbereichen er- laubt neue Möglichkeiten der Nutzung, bringt aber auch Herausforderungen für Wis- senschaftler in verschiedenen Fachrichtungen der Informatik. Mit Hilfe vernetzter Geräte können intelligente Umgebungen geschaffen werden, die die Benutzer in auf unterschiedliche Weise unterstützen. Die voranschreitende Miniaturisierung von Sen- soren und Aktoren, die in Geräte des täglichen Lebens integriert werden, ermöglichen einen allmählichen Paradigmenwechsel in Richtung des “Ubiquitous Computing”. Insbesondere unsere eigene Wohnumgebung gerät dabei immer mehr in den Fokus. Wohnungen und ganze Häuser werden zu so genannten Smart Homes. Ziel dieser Smart Homes ist die Unterstützung der Bewohner hin zu mehr Komfort, Sicherheit und Energieeffizienz. Vielfältige Technologien unterstützen diesen Ansatz, jedoch fehlt es bisher an einem einheitlichen Framework, welches die sich dadurch ergeben- den Herausforderungen adressiert. Die Integration verschiedenster Geräte, die unter- schiedliche Kommunikationsmedien und Protokolle verwenden, die Erfassung von Informationen aus der Umgebung und deren aufbereitete Bereitstellung, sowie die Generierung von intuitiv bedienbaren Diensten sind dabei die wesentlichen Heraus- forderungen. Diese Dissertation befasst sich mit der Erforschung, Entwicklung und Evaluierung von kontextsensitiven, allgegenwärtigen Diensten für Smart Homes. Dazu wurde eine eingehende Analyse des Marktes, der Technologien und der Anwendungsgebi- i ete für allgegenwärtige Dienste für Smart Homes vorgenommen. Darauf basierend wurden drei Hauptkomponenten identifiziert, deren Bereitstellung die Umsetzung von solchen Diensten unterstützt. Diese Komponenten verringern die sich ergebene Komplexität für Softwareentwickler und ermöglichen eine Fokussierung auf service- spezifische Aspekte. Die “Device Management”-Komponente stellt dabei ein transparentes, funktionales Modell der darunterliegenden Geräte einer Smart Home Umgebung dar. Sie inte- griert verschiedene Technologien und Protokolle und stellt diese über eine Abstrak- tionsschicht den darüber liegenden Diensten zur Verfügung. Ein Kontext- und Situa- tionsmodell stellt Umgebungsinformationen in einer standardisierten Form dar. Die Einführung des Situationsmodells, welches analog zum menschlichen Prozess der Erkennung und Bewertung von Situationen umgesetzt wurde, stellt den Diensten auf- bereitete Situationsinformationen zur Verfügung, die für Adaption von Diensten und Benutzerschnittstellen verwendet werden können. Die dritte Komponente stellt ein Framework zur Bereitstellung von intuitiven, multimodalen Benutzerschnittstellen für Smart Homes dar. Basierend auf einer abstrakten, modellbasierten Beschreibung der Benutzerschnittstellen werden diese an die Situation des Benutzer und der ak- tuellen Umgebung angepasst und ausgeliefert. Die Implementierung wurde u.a. im Rahmen des Service Centric Home Projektes durchgeführt und in eine Smart Home Testbed integriert. Verschiedene Dienste aus dem Bereich Smart Home wurden implementiert und in das Testbed integriert. Dabei konnten die Dienste und deren Entwicklung von den verschiedenen Komponenten der Architektur profitieren. ii Abstract The increasing spread of computing technology in different areas of life brings with it new possibilities but also challenges for scientists in various disciplines of computer science. With the help of connected devices we can create smart environments that assist the user in many ways. The miniaturization of sensors and actuators that are integrated into everyday devices enable a gradual paradigm shift in the direction of "ubiquitous computing". In particular, our own living environment increasingly becomes the focus of our atten- tion. Flats and houses become so-called smart homes. The goal of these smart homes is support the inhabitants to more comfort, safety and energy efficiency. Multiple tech- nologies support this approach; however, there is a lack of a unified framework that addresses the challenges. The key challenges are the integration of different devices using different communication technologies and protocols, the acquisition of informa- tion from the environment and their aggregated provisioning, and the generation of intuitively usable service. This dissertation is concerned with research, development and evaluation of situation- aware ubiquitous services for smart homes. We have performed an in-depth analysis of the market, the technologies and application areas for ubiquitous services for smart homes. Based on this analysis we have identified three main components for the im- plementation of smart homes, supporting the implementation of ubiquitous services. These components reduce the resulting complexity for software developers and focus iii attention on service-specific aspects. The device management component thereby offers a transparent, functional model of the underlying devices in a smart home environment. It integrates various tech- nologies and protocols and provides an abstraction layer for the available services. A context-and situation model provides information about the environment in a stan- dardized form. The introduction of a situation model, which was developed analo- gously to the human process of detection and assessment of situations, provides pro- cessed situation information for services, which can be used for adaptation of services and user interfaces. The third component provides a framework for the provision of intuitive, multimodal user interfaces for smart homes. Based on an abstract, model- based description, user interfaces are adapted to the situation of the user and the cur- rent environment and delivered. The implementation was done inter alia on the Service Centric Home project and inte- grated into a smart home testbed. Several smart home applications have been imple- mented and integrated into the testbed. This way, the services and their development could benefit from the various components of the architecture. iv Acknowledgments The completion of my dissertation has been a long journey. It is true that “Life is what happens to you while you’re busy making other plans”. I stopped counting the many times I have been questioned whether I have have finished my PhD project yet. Many things happened and changed while I was involved with this project. Even though my dissertation has always been a priority, due to planned, motivating, exciting, but also unexpected, disturbing, and bad challenges in personal and work life my dissertation could not always be the number one priority. Without the continuous support of the select few that I’m about to mention, I may not have gotten to where I am today. I’d like to give special thanks to my advisor Prof. Sahin Albayrak for the great sup- port and motivation and for giving me the opportunity to conduct my research in the exciting environment of the DAI-Labor of the Technische Universität Berlin. He gave me the opportunity to work with and lead the competence center Next Genera- tion Services (NGS), providing the basis for my research. I would also like to thank Prof. Arkady Zaslavsky for his motivating support and feedback as member of the committee. His feedback helped to greatly to improve my thesis. This work has been conducted as part of the research of the NGS group. All current and former team member, in particular Marco Blumendorf, Richard Cissee, Grzegorz Lehmann, Dirk Roscher, Frank Trollmann, Sebastian Feuerstack, Jens Wohltorf, and every other which was not mentioned, made a direct and indirect contribution to this work for which I’m greatly thankful. v And last but not least I’d like to thank my parents for their unflagging belief, their constant source of support, and for always being there for me. This thesis would certainly not have existed without them. vi viii Contents 1. Introduction 3 1.1. Ubiquitous Computing . .3 1.2. Motivation and Problem Description . .5 1.3. Terminology and definitions . .7 1.4. Contribution . .9 1.5. Structure of the Thesis . 10 2. Smart Homes 13 2.1. Roles . 14 2.2. Market analysis . 18 2.3. Application areas . 24 2.4. Technologies . 30 2.5. Challenges . 46 3. Literature Review 49 3.1. Ubiquitous Computing / Pervasive Computing . 49 3.2. Smart Home projects . 53 3.3. Context- and Situation Awareness . 58 3.4. Summary . 67 4. CoSHA - Conceptual Smart Home Architecture 69 ix Contents 4.1. Requirements analysis . 69 4.2. Conceptual architecture . 75 4.3. Device Management . 76 4.4. Context and Situation-Awareness . 80 4.5. User Interaction . 90 5. CoSHA Implementation 93 5.1. Device management . 93 5.2. Context model . 95 5.3. Multi-Access Service Platform . 102 5.4. Summary . 108 6. CoSHA Evaluation 111 6.1. Smart Environment Testbed . 111 6.2. Service Centric Home . 119 6.3. Smart Home Services . 121 6.4. Summary . 133 7. Conclusion and Future Work 135 7.1. Conclusion . 135 7.2. Future Work . 136 A. Outcomes of the dissertation work 139 A.1. Publications . 139 A.2.