Overcoming Deficiencies in Nomadic Information Management Through Mobile Projected Interfaces
Total Page：16
File Type：pdf, Size：1020Kb
Nomadic ProjectionWithin Reach: Overcoming Deficiencies in Nomadic Information Management through Mobile Projected Interfaces Dissertation zur Erlangung des Doktorgrades Dr. rer. nat. der Fakultät für Ingenieurwissenschaften, Informatik und Psychologie der Universität Ulm von Christian Winkler aus Lemgo Institut für Medieninformatik 2016 Acting dean: Prof. Dr. Tina Seufert Referees: Prof. Dr. Enrico Rukzio, Ulm University Prof. Dr. Michael Weber, Ulm University Prof. Dr. Albrecht Schmidt, University of Stuttgart Day of Defense: January 22, 2016 Christian Winkler: Nomadic Projection Within Reach Doctoral dissertation © 2016 This document was typeset in LATEX using the typographical look-and-feel classicthesis developed by André Miede available at http://code.google.com/p/classicthesis/. For Tine ABSTRACT The achievements in pervasive and nomadic computing, today, allow us to take and use our mobile devices such as smartphones and tablets everywhere we go. However, the mobility came at a cost: the small screen space of mobile devices leads to a deficient Human-Computer- Interaction (HCI) across several aspects, ranging from missing overview and awareness about the own digital information flow, to lacking sup- port for multi-tasking and (privacy-respectful) collaboration. Any more complex tasks quickly become cumbersome to perform on mobile de- vices, which created the demand for constantly increasing display sizes in recent years. However, physical screen sizes are constrained by the required mobility (smartphones have to fit pockets, the hand, and the ear), such as display resolutions are constrained by the capabilities of the human eye—and both have reached their limits as far as smart- phones and tablets are regarded. Conversely, mobile projection promises large projected displays to be created anywhere, anytime, from very tiny physical form factors by means of battery-powered pico-projectors that can be integrated, for instance, to smartphones. But while this is generally true, the low lu- minance of these projectors that falls short magnitudes below the re- quirements dictated by ambient light, precluded them from being used in nomadic on-the-go scenarios so far and instead relegated them to a niche existence. Further on, while successfully applied to some appli- cation domains, for instance gaming, interaction concepts for nomadic information management with these projected interfaces are yet to be presented. To this matter, this thesis first provides an analysis of deficiencies in nomadic information management that might be addressable by mo- bile projection. It then continues by presenting a new framework called Nomadic Projection Within Reach that aims at allowing mobile projec- tion to fulfill its full promise on improving nomadic interaction, to- day. By drastically decreasing the projection distance, the framework— compared to traditional usage rather counter-intuitively—promotes the utility of a small but bright projected display instead of a larger darker one. The additional nearby display leads to a touchable mobile multi- display environment (MMDE), bringing nomadic projection within reach, both physically as well as figuratively. All in all, these changes provide completely new opportunities for overcoming the current deficiencies in nomadic information management using mobile projection. Further on, for use cases that require to cover a larger distance, an advance- ment of the framework to Nomadic Projection Within Extended Reach v is proposed which crosses boundaries between within-reach and out- of-reach projection and interaction. The framework is established and evaluated through five case studies that systematically investigate its application to the aforementioned de- ficiencies. Through technical and conceptual explorations, innovations, and evaluations as well as qualitative and empirical user research, they demonstrate the framework’s ability to alleviate all of these deficien- cies through tailored interaction concepts that are enabled by touch- interaction and the MMDE. The proposed framework is complemented by a set of 12 design guidelines, which are derived from the case stud- ies. These assist in deciding whether the framework is applicable to a (new) type of device and if so, provide guidance in decisions regard- ing integration and placement of the projector, positioning of the pro- jection, techniques for transferring content between displays, to name afew. Finally,as mobile and nomadic computing are quickly advancing fields, the process of developing the proposed framework has witnessed the (re-)emergence of several new nomadic device and display categories like, for instance, smart watches and glasses. These have very distinct advantages and disadvantages compared to mobile projection and prompt the question about the future role of mobile projection within this new ecosystem of (wearable) nomadic devices and displays. A thorough prospect on future work at the end of this thesis, pursues this question by providing an overview of strengths and weaknesses of de- vices within this ecosystem. It demonstrates, how by combining these devices the strengths of one device can be used to surmount the weak- nesses of another, thereby also highlighting a possible unique role of mobile projection in the future. Further, two different approaches for these device combinations are proposed, as well as two further case studies that already started investigating these approaches, hopefully spurring new research agendas in this exciting new area of nomadic information management. vi ZUSAMMENFASSUNG Dank der Entwicklungen in den Bereichen „Pervasive-“ und „Noma- dic Computing“ können wir heutzutage unsere mobilen Endgeräte wie Smartphones und Tablets überall mit hinnehmen und dort auch unein- geschränkt benutzen. Diese Mobilität ging allerdings deutlich zu Las- ten der Interaktionsmöglichkeiten mit den Geräten. So erlauben die kleinen Bildschirmgrößen z.B. weder einen guten Überblick über die eigene digitale Informationswelt noch Multi-Tasking oder (die Privat- sphäre schützende) Kollaboration. Jegliche komplexere Interaktionen auf den mobilen Geräten werden schnell unübersichtlich, was dazu geführt hat, dass die Displaygrößen in den letzten Jahren ständig ge- stiegen sind. Aber dieses Wachstum ist klar limitiert durch die erfor- derliche Mobilität der Geräte, ebenso wie deren Auflösung durch die Fähigkeiten des menschlichen Auges limitiert ist – und beide Grenzen sind zumindest bei Smartphones und Tablets bereits überschritten. Im Gegensatz dazu verspricht mobile Projektion die Möglichkeit, große Bildschirme nahezu überall und zu jeder Zeit zu erzeugen – so wer- den sie zumindest vermarktet – und das auch noch aus sehr kleinen physischen Formfaktoren, welche sich z.B. in Smartphones integrie- ren lassen. Allerdings gibt es ein Problem, welches darin besteht, dass die Lichtstärke dieser Projektoren noch um ein Vielfaches hinter dem zurückliegt, was für eine uneingeschränkte, mobile Interaktion unter nahezu beliebigen Umgebungslichtbedingungen notwendig wäre, wo- durch sie bislang ein Nischendasein fristen. Darüber hinaus sind zwar bereits Interaktionskonzepte mit mobilen Projektionen in einigen An- wendungsbereichen gezeigt worden, unter anderem z.B. im Spielebe- reich, Interaktionskonzepte zum (gemeinsamen) Handhaben von In- formationen unterwegs sind aber bislang noch unerforscht. Hierzu präsentiert die vorliegende Arbeit nun ein neues Rahmenwerk mit dem Titel „Nomadic Projection Within Reach “, zu Deutsch „Pro- jektion unterwegs in greifbarer Nähe“. Mit diesem rückt mobile Pro- jektion nicht nur im wörtlichen, sondern auch im übertragenen Sin- ne in „greifbare Nähe“ und kann für das Informationsmanagement unterwegs erfolgreich eingesetzt werden. Die drastische Verkürzung der Projektionsdistanz führt nämlich zwar zu sehr viel kleineren, aber dafür auch deutlich helleren Projektionsflächen, die, wenn auch unge- wöhnlich für Projektion, als zusätzliche Displays großen, dunklen, pro- jizierten Displays vorzuziehen sind. Die daraus resultierende mobile Mehrbildschirm-Umgebung und die Möglichkeit auf der kurzen Pro- jektionsdistanz über Fingerberührung zu interagieren eröffnen ganz neue Möglichkeiten für die Handhabe von Informationen unterwegs. Darüber hinaus wird auch noch ein erweitertes Rahmenwerk „Noma- dic Projection Within Extended Reach“, zu Deutsch etwa „Projektion vii unterwegs in bedingt greifbarer Nähe“, vorgestellt, welches die grenz- übergreifende Interaktion zwischen naher und weit entfernter Projek- tion und Interaktion dort erlaubt, wo nahe Interaktion alleine nicht aus- reichend ist. Das Framework wurde anhand von fünf Fallstudien entwickelt und evaluiert, welche sich systematisch mit den zu Beginn angesprochenen Nachteilen aktueller mobiler Endgeräte befassen. Durch technische so- wie konzeptionelle Untersuchungen, Innovationen und Studien sowie qualitativer und empirischer Benutzerforschung zeigen und belegen diese Studien die Fähigkeit des Rahmenwerks, durch neue Interakti- onskonzepte die gegenwärtigen Nachteile zu beseitigen. Das Frame- work wird darüber hinaus von einem Satz von 12 Designregeln kom- plementiert, welche aus den Fallstudien abgeleitet wurden und Ent- wickler neuer Geräte bei der Entscheidung, ob und wie das Rahmen- werk angewendet werden soll, unterstützen können. Dies beinhaltet u.a. Fragen zur Integration und Platzierung des Projektors im Gerät, zur Position und Ausrichtung der Projektion um das Gerät herum so- wie Techniken zum Transfer von Inhalten zwischen den Geräten. Zuletzt,