Suitability of Touch Gestures and Virtual Physics in Touch Screen
Total Page:16
File Type:pdf, Size:1020Kb
Technische Universität München Fakultät für Maschinenwesen Lehrstuhl für Ergonomie Suitability of Touch Gestures and Virtual Physics in Touchscreen User Interfaces for Critical Tasks Dipl.-Ing. Jurek Breuninger Vollständiger Abdruck der von der Fakultät Maschinenwesen der Technischen Universität München zur Erlangung des akademischen Grades eines Doktor-Ingenieurs (Dr.-Ing.) genehmigten Dissertation. Vorsitzender: Prof. Dr.-Ing. Gunther Reinhart Prüfer der Dissertation: 1. Prof. Dr. phil. Klaus Bengler 2. Prof. Dr. Heinrich Hußmann Die Dissertation wurde am 13.11.2019 bei der Technischen Universität Mün- chen eingereicht und durch die Fakultät Maschinenwesen am 28.05.2020 an- genommen. ZUSAMMENFASSUNG Zusammenfassung Das Ziel dieser Forschungsarbeit war es zu untersuchen, ob moderne Touchscreen- Interaktionskonzepte, die auf Consumer-Electronic-Geräten wie Smartphones etab- liert sind, für zeit- und sicherheitskritische Anwendungsfälle wie Maschinensteuerung und Medizingeräte geeignet sind. Mehrere gebräuchliche Interaktionskonzepte mit und ohne Touch-Gesten und virtueller Physik wurden experimentell auf ihre Effizienz, Fehlerrate und Nutzerzufriedenheit bei der Aufgabenlösung untersucht. Basierend auf den Resultaten werden Empfehlungen für das Scrollen in Listen und das horizon- talen Navigieren in mehrseitigen Software-Dialogen ausgesprochen. Der Text gibt eine Übersicht der speziellen Eigenschaften von Touchscreen-Mensch- Maschine-Schnittstellen und der Unterschiede zu zeigerbasierten Eingabegeräten. Er beschreibt den aktuellen Stand des Touchscreen-Interaktionsdesigns, v.a. die Be- sonderheiten moderner Touch-Interaktion, nämlich Touch-Gesten und virtuelle Phy- sik. Die größten Herausforderungen für Touchscreen-Interaktionsdesign sind Feed- forward, Feedback, Größe der interaktiven Elemente, Kompatibilität, Effekte virtueller Physik und Interferenz. Basierend auf einem einfachen qualitativen Modell der Ein- flussfaktoren beim Touchscreen-Interaktionsdesign sollten die folgenden Hypothesen zu Effizienz und Sicherheit moderner Touchscreen-Interaktion überprüft werden: Touch-Gesten führen zu langsamerer Aufgabenerfüllung, höherer Fehlerrate, aber besserer Nutzerbewertung. Beim Scrollen führt virtuelle Trägheit zu schnellerer Auf- gabenerfüllung, aber auch zu mehr Über-das-Ziel-Hinausschießen und höherer Feh- lerrate. Seitenweises Blättern führt zu schnellerer Aufgabenerfüllung und geringerer Fehlerrate als kontinuierliche Inhalte. Um dies zu überprüfen, wurden mehrere Expe- rimente durchgeführt, die Interaktionskonzepte häufiger Aufgaben vergleichen: Me- nüs, Funktionswähler, Zahleneingabe, Listen-Scrollen und horizontaler Ansichts- wechsel. Der Einfluss des Interaktionsdesigns auf Eingabegeschwindigkeit, Fehlerra- te und Nutzerbewertung wird für Listen-Scrollen und horizontalen Ansichtswechsel deutlich gezeigt. Eine mit Wischgesten gesteuerte Liste mit virtueller Trägheit und Alphabetleiste ist die beste Wahl für das Scrollen von Listen aller Längen. Um hori- zontal durch Ansichten zu navigieren, sind Tabs die geeignetste Wahl für kritische Aufgaben. Touch-Gesten können zu höherer Fehlerrate führen, aber vernünftig ge- staltete Konzepte mit Touch-Gesten können dennoch für kritische Aufgaben geeignet sein. Die Nutzerbewertung von Touch-Interaktionskonzepten korreliert stark mit der Eingabegeschwindigkeit. Fehler scheinen keinen Einfluss darauf zu haben. I ABSTRACT Abstract The goal of this research was to examine if modern touchscreen interaction concepts that are established on consumer electronic devices like smartphones can be used in time-critical and safety-critical use cases like for machine control or healthcare appli- ances. Several prevalent interaction concepts with and without touch gestures and virtual physics were tested experimentally in common use cases to assess their effi- ciency, error rate and user satisfaction during task completion. Based on the results, design recommendations for list scrolling and horizontal dialog navigation are given. The text gives an overview of the special characteristics of touchscreen human– machine interfaces and their differences to pointer-based input devices. It describes the state of the art of user interface design for touchscreens, particularly the interac- tion concepts that distinguish modern touchscreen interaction with tablets and smartphones from older interaction concepts, namely touch gestures and virtual physics. Due to the use of these interaction concepts and the special characteristics of touchscreens, the main challenges of user interface design for touchscreen are feedforward, feedback, size of interactive elements, compatibility, effects of virtual physics, and interference. Based on a simple qualitative model of influence factors in touchscreen interaction design, the following hypotheses concerning the efficiency and safety of modern touchscreen interaction are to be tested: Touch gestures lead to slower task completion, higher error rate, but better user rating. For scrolling tasks, virtual inertia leads to faster task completion, but more overshooting and higher error rate. Paged content leads to faster task completion and lower error rate than contin- uous content. To test the hypotheses, several experiments were conducted that compare interaction concepts in common tasks: Menus, function selectors, numerical input, list scrolling, and horizontal content change. For list scrolling and horizontal content change, the influence of interaction design on input speed, error rate, and user rating is clearly shown. A list that can be moved with a swiping gesture and that has virtual inertia and an alphabetic index bar is the best choice for scrolling lists of all lengths. To navigate through horizontal content, tabs are the most suitable choice for critical tasks. The use of touch gestures can lead to higher error rates, but rea- sonably designed concepts with touch gestures can still be suitable for critical tasks. The user ratings of touch interaction concepts correlate strongly with the input speed. Errors and overshoots seem to have no impact. II ACKNOWLEDGEMENTS Acknowledgements I would like to thank the following people for their help and support during the work on this research project and my time at the Chair of Ergonomics: − Professor Klaus Bengler for giving me the opportunity to work as a researcher and teaching assistant at the Chair of Ergonomics, for encouraging young re- searchers to question existing assumptions while scrutinizing und challenging their approaches carefully. − Professor Heiner Bubb for giving me the opportunity to conduct my first re- search in software ergonomics as a student, which led me to making my pas- sion into my profession, and for being a kind, attentive and always available partner for discussions concerning research methodology and ergonomics in general. − Severina Popova-Dlugosch, Uwe Herbst, and Carsten Dlugosch for their help and support concerning project work, publications, lectures, student supervi- sion, and discussing research approaches; for being my dearest colleagues and friends during this great time and afterwards. − Professor Armin Eichinger, Michael Stecher, Andreas Haslbeck and my other colleagues at the Chair of Ergonomics for giving insights and opinions on re- search methodologies, relevant literature and being helpful and encouraging discussion partners. − Professor Heinrich Hußmann for reviewing this thesis and his input on litera- ture. − Professor Erich Hollnagel and Professor Don Norman for being heartening, but challenging in discussing the relevance of this research, methodology, and publication strategy. − Steffen Bauereiß, Emmanuel el-Khoury, Michael Enslin, Jakob Haug, Benedikt Hirmer, Lisa Hüfner, Clara Lange, Amel Mahmuzic, Felix Menzel, Nađa Šahinagić, and Tom Schelo for carrying out experiments that were part of this research project. − My wife and family for everything they do. III TABLE OF CONTENTS Table of Contents 1 INTRODUCTION 1 2 A SHORT HISTORY OF TOUCHSCREEN INTERACTION 4 3 HUMAN FACTORS IN TOUCHSCREEN INTERACTION 12 3.1 Fundamentals of Human–Computer Interaction 12 3.1.1 Criticality of Tasks 12 3.1.2 Usability 14 3.1.3 Established Usability Requirements 17 3.2 Special Characteristics of Touchscreen Interaction and Differences to Pointer-Based Input Devices 18 3.2.1 Occlusion 18 3.2.2 Feedback 19 3.2.3 Precision 20 3.2.4 Variability 23 3.2.5 Posture 25 3.2.6 Complexity 28 3.2.7 Summary 29 4 TOUCHSCREEN INTERACTION DESIGN 30 4.1 Basics 30 4.1.1 Differences in Interaction Design compared to Pointer-Based Input Devices 30 4.1.2 Models of Touchscreen Input Speed 32 4.1.3 Standards 32 4.1.4 Guidelines 33 4.2 Gesture-Based Interaction 33 4.2.1 Direct Manipulation 34 4.2.2 Virtual Physics 40 4.2.3 Semantic and Symbolic Gestures 43 4.2.4 Difference in Gesture-Based Interaction compared to Pointer-Based Input Devices 44 4.3 Novel Interaction Concepts 44 4.4 Common Usability Problems in Touchscreen Interaction Design 45 IV TABLE OF CONTENTS 4.4.1 Feedforward 45 4.4.2 Feedback 46 4.4.3 Size of Interactive Elements 47 4.4.4 Compatibility 48 4.4.5 Effects of Virtual Physics 50 4.4.6 Interference 50 5 A MODEL FOR ERGONOMIC TOUCHSCREEN INTERACTION 52 5.1 The Human–Machine Control Loop 52 5.1.1 Quality of the Result 53 5.1.2 Factors that Influence the Quality of the Result 53 5.2 Known Dependencies in the Model 54 6 RESEARCH QUESTIONS 56 6.1 Applicability of the Model to Critical Tasks 56 6.2 Primary Research Interest 56 6.3 Further Pending Research Questions 57 6.3.1 Feedforward of