Designing Ubicomp Experiences for Spatial Navigation and Cross-Device Interactions
Total Page：16
File Type：pdf, Size：1020Kb
Designing UbiComp Experiences for Spatial Navigation and Cross-Device Interactions Doctoral thesis for obtaining the academic degree Doctor of Natural Sciences (Dr. rer. nat.) submitted by Roman Rädle at the Faculty of Sciences Department of Computer and Information Science Date of the oral examination: January 12th, 2017 1. Reviewer: Prof. Dr. Harald Reiterer 2. Reviewer: Prof. Dr.-ing. Raimund Dachselt 3. Reviewer: Prof. Dr. Marc H. Scholl Konstanz, April 2017 Designing UbiComp Experiences for Spatial Navigation and Cross-Device Interactions Dissertation zur Erlangung des akademischen Grades eines Doktors der Naturwissenschaften (Dr. rer. nat.) vorgelegt von Roman Rädle an der Mathematisch-Naturwissenschaftliche Sektion Fachbereich Informatik und Informationswissenschaft Tag der mündlichen Prüfung: 12. Januar 2017 1. Referent: Prof. Dr. Harald Reiterer 2. Referent: Prof. Dr.-ing. Raimund Dachselt 3. Referent: Prof. Dr. Marc H. Scholl Konstanz, April 2017 Roman Rädle Designing UbiComp Experiences for Spatial Navigation and Cross-Device Interactions Doctoral thesis for obtaining the academic degree Doctor of Natural Sciences (Dr. rer. nat.) Submission: June 2016 Publication: April 2017 Supervisor: Prof. Dr. Harald Reiterer University of Konstanz Human-Computer Interaction Group (HCI Group) Faculty of Sciences Department of Computer and Information Science Universitätsstraße 10 78457 Konstanz Abstract We are witnessing a considerable growth in number and density of powerful mobile devices around us. Such devices like smartphones and tablets are our everyday companions. If not already at hand, they often wait in our bags and pockets to provide us with a ubiquitous computing (UbiComp) experience. However, most of these devices are still blind to the presence of other devices and performing tasks among them is usually tedious due to the lack of guiding principles. This thesis closes with the gap as mentioned above by investigating in the design and evaluation of spatial and cross-device interactions. As a central theme, pre- sented research fundamentally grounds on embodied practices by exploiting users’ pre-existing practical knowledge of everyday life for human-computer interaction. These embodied practices are often applied subconsciously in our daily activities, which unfolds new — yet unexplored — potentials for fun and joyful UbiComp experiences. Within this thesis, research is approached through both deductive and inductive reasoning. It begins with a brief history of UbiComp and its overarching vision. Contradicting opinions on this vision are discussed before leading over to recent theories and believes on embodied cognition and models on human spatial memory. This theoretical background eventually thrives arguments for yet unexplored and hidden potentials for spatial and cross-device interactions. Then, the application domain is narrowed down to academic libraries and knowledge work activities. In field studies at the Library of the University of Konstanz, the following two main knowledge work activities, and resonating issues are identified: literature & bibliographic search and reading & writing across documents. Together with the theoretical background the found issues are transformed into potentials for future knowledge work. Thereby, two fully functional research prototypes, Blended Shelf and Integrative Workplace, were implemented to explore the problem space further and to derive research questions covered in this thesis. The research questions are tackled through controlled experiments and implemen- tation of low-cost enabling technology. In the first experiment, the optimal size of a spatially-aware peephole display is studied. As a finding, a relatively small tablet-sized peephole display serves as "sweet-spot" between navigation performance, vii subjective workload, and user preference. Within the second experiment, peephole navigation is contrasted with traditional multi-touch navigation. The findings indi- cate that users prefer physical peephole navigation over multi-touch navigation. It also leads to better navigation trajectories, shortens task-completion-time, and hints for longer retention of object identities as well as their locations in human spatial memory. Due to the lack of appropriate technology HuddleLamp was developed in an intermediary step. HuddleLamp is a low-cost sensing technology that tracks multiple mobile devices on a table. It allows implementing spatial and cross-device applications without the need to instrument rooms, equip devices with markers or install additional software on them. This technology is used in the third experi- ment to understand subtleties of cross-device interactions. Findings show that, for cross-device object-movement tasks, users prefer spatially-aware interactions over spatially-agnostic interactions. Apart from individual findings, this thesis contributes a summary and integration of all findings to general design guidelines for future spatial and cross-device appli- cations. Eventually, these guidelines are applied by researchers and practitioners to develop UbiComp experiences that increase users’ task performance, lower their individual workloads such as mental demand, effort, and frustration. At the same time, these guidelines lead to an increase of the cumulative value when working with multiple mobile devices. viii Zusammenfassung Derzeit erleben wir eine stark zunehmde Präsenz von leistungsstarken mobilen Geräten um uns herum. Geräte wie Smartphones und Tablets sind unsere täglichen Begleiter — wenn wir sie nicht bereits in der Hand halten, dann warten sie oft in unseren Hosen- oder Tragetaschen, um uns überall und jederzeit mit ihrer Rechen- leistung zu unterstützen (sog. Ubiquitous Computing oder kurz UbiComp). Allerdings erkennen sie nur die Präsenz anderer Geräte aber nicht deren genaue Lokation und sind daher sozusagen noch "blind". Somit ist auch das Ausführen von Aufgaben über Gerätengrenzen hinweg in der Regel umständlich was dem Um- stand geschuldet ist, dass Richtlinien für die Gestaltung von gerätenübergreifenden Interkationen (sog. cross-device interactions) fehlen. Diese Arbeit schließt mit der oben erwähnten Lücke und befasst sich mit der Gestal- tung von räumlichen und geräteübergreifenden Interaktionstechniken. Als zentrale Themen präsentiert sie Forschung, die einerseits auf Embodiment-Praktiken basiert und andererseits, im Rahmen der Mensch-Computer-Interaktion bereits bestehende praktische Kenntnisse des täglichen Lebens ausnutzt. Diese Embodiment-Praktiken werden bei der täglichen Arbeit oft unbewusst angewandt und bieten neue — noch unerforschte — Potenziale für UbiComp Erfahrungen, die Spaß und Freude während der Bedienung bereiten sollen. Im Rahmen dieser Arbeit wird die Forschung sowohl deduktiv als auch induk- tiv angegangen. Sie beginnt mit einer kurzen Einführung in UbiComp und der damit verbundenen Vision. Widersprüchliche Meinungen zu dieser Vision werden diskutiert, bevor zeitgenössische Theorien, Modelle und Rahmenwerke des Embodi- ment und des menschlichen räumlichen Gedächtnisses eingeführt werden. Dieser theoretische Hintergrund dient schließlich dazu, Argumente für unerforschte und verborgene Potenziale für die räumliche und geräteübergreifende Interaktionen auszuarbeiten. Danach wird die Anwendungsdomäne Wissenschaftliche Bibliotheken vorgestellt und auf Wissensarbeit eingegrenzt. In Feldstudien in der Bibliothek der Universität Konstanz wurden die folgenden und wesentlichen zwei Wissensarbeit- saktivitäten und deren damit einhergehenden Probleme identifiziert: Literatur & bibliographische Suche und Lesen & Schreiben über mehrere Dokumente. Zusammen mit dem theoretischen Hintergrund werden die gefundenen Probleme in Potentiale ix für zukünftige Wissensarbeit umgewandelt. Resultierend daraus wurden zwei voll funktionsfähige Forschungsprototypen, Blended Shelf und Integrative Workplace en- twickelt, um den Problembereich weiter zu erforschen und, die in dieser Arbeit abgedeckten, Forschungsfragen abzuleiten. Die Forschungsfragen werden durch kontrollierte Experimente und durch die En- twicklung von kostengünstigen Technologien adressiert. Im ersten Experiment wurde die optimale Größe für eine Peephole-Interaktion untersucht. Das Ergebnis zeigt, dass bereits ein relativ kleines Tablet-Gerät als "sweet-spot" für die räumliche Peephole-Interaktion eingesetzt werden kann, um eine gute Navigationsleistung, eine geringe Arbeitsbelastung und eine gute Benutzerpräferenz zu erreichen. Im zweiten Experiment wird die Peephole-Navigation der traditionellen Multi-Touch- Navigation gegenübergestellt. Die Ergebnisse zeigen, dass die Nutzer die egozen- trische Peephole-Navigation der Multi-Touch-Navigation vorziehen. Des Weiteren führt die Peephole-Interaktion zu besseren Navigationspfaden und verkürzt die Bear- beitungszeit der gestellten Aufgabe. Zudem weist die Peephole-Interaktion auf eine verbesserte Unterstützung des räumlichen Gedächtnisses auf. Aufgrund des Fehlens geeigneter Technologien für die räumliche und geräteübergreifende Interak- tion wurde HuddleLamp in einem Zwischenschritt entwickelt. HuddleLamp ist eine kostengünstige Sensing-Technologie, welche die lokalen Relationen mehrerer mobiler Geräte auf einem Tisch verfolgen kann. Dadurch ermöglicht sie die Entwicklung von räumlichen und geräteübergreifenden Interaktionen mit mobilen Geräten. Diese Technologie wird in einem dritten Experiment verwendet, um geräteübergreifende Interaktionen im Detail zu untersuchen. Die Ergebnisse zeigen, dass für Aufgaben, bei denen Objekte