Hand-And-Finger-Awareness for Mobiletouch Interaction Using
Total Page:16
File Type:pdf, Size:1020Kb
Hand-and-Finger-Awareness for Mobile Touch Interaction using Deep Learning Von der Fakultät für Informatik, Elektrotechnik und Informationstechnik und dem Stuttgart Research Centre for Simulation Technology der Universität Stuttgart zur Erlangung der Würde eines Doktors der Naturwissenschaften (Dr. rer. nat.) genehmigte Abhandlung Vorgelegt von Huy Viet Le aus Nürtingen Hauptberichter: Prof. Dr. Niels Henze Mitberichter: Prof. Antti Oulasvirta Mitprüfer: Jun.-Prof. Dr. Michael Sedlmair Tag der mündlichen Prüfung: 28.03.2019 Institut für Visualisierung und Interaktive Systeme der Universität Stuttgart 2019 2 Zusammenfassung Mobilgeräte wie Smartphones und Tablets haben mittlerweile Desktop Compu- ter für ein breites Spektrum an Aufgaben abgelöst. Nahezu jedes Smartphone besitzt einen berührungsempfindlichen Bildschirm (Touchscreen), welches die Ein- und Ausgabe zu einer Schnittstelle kombiniert und dadurch eine intuitive Interaktion ermöglicht. Mit dem Erfolg sind Anwendungen, die zuvor nur für Desktop Computer verfügbar waren, nun auch für Mobilgeräte verfügbar. Dieser Wandel steigerte die Mobilität von Computern und erlaubt es Nutzern dadurch Anwendungen auch unterwegs zu verwenden. Trotz des Erfolgs von Touchscreens sind traditionelle Eingabegeräte, wie Tastatur und Maus, aufgrund ihrer Eingabemöglichkeiten immer noch überlegen. Eine Maus besitzt mehrere Tasten, mit denen verschiedene Funktionen an dersel- ben Zeigerposition aktiviert werden können. Zudem besitzt eine Tastatur mehrere Hilfstasten, mit denen die Funktionalität anderer Tasten vervielfacht werden. Im Gegensatz dazu beschränken sich die Eingabemöglichkeiten von Touchscreens auf zweidimensionale Koordinaten der Berührung. Dies bringt einige Herausfor- derungen mit sich, die die Benutzerfreundlichkeit beeinträchtigen. Unter anderem sind Möglichkeiten zur Umsetzung von Kurzbefehlen eingeschränkt, was Sheider- mans goldene Regeln für das Interface Design widerspricht. Zudem wird meist nur ein Finger für Eingabe verwendet, was die Interaktion verlangsamt. Weitere Herausforderungen, wie das Fat-Finger Problem und die limitierte Erreichbarkeit 3 auf großen Geräten, tragen mit Unbequemlichkeiten bei. Neue berührungsba- sierte Interaktionsmethoden werden benötigt, um die Eingabemöglichkeiten auf Touchscreens zu erweitern und die Eingabe mit mehreren Fingern, wie es bei traditionellen Eingabegeräten üblich ist, zu ermöglichen. In dieser Arbeit wird untersucht, wie es einzelnen Fingern und Teile der Hand ermöglicht werden kann, Eingaben auf einem mobilen Gerät zu tätigen und zwischen deren Eingaben zu unterscheiden. Dieses Konzept wird als “Hand-und- Finger-bewusste” Interaktion bezeichnet. Durch die Erkennung von Hand und Finger können einzelnen Fingern und Teile der Hand verschiedene Funktionen zugewiesen werden, was die Eingabemöglichkeit erweitert und viele Herausforde- rungen der Touch Interaktion löst. Des Weiteren ermöglicht die Anwendung des Konzepts der “Hand-und-Finger-bewussten” Interaktion auf die komplette Gerä- teoberfläche nun auch die Verwendung der hinteren Finger zur Eingabe, die bisher nur das Gerät hielten. Dies addressiert weitere Herausforderungen der Touch Interaktion und bietet viele Möglichkeiten zur Realisierung von Kurzbefehlen. Diese Dissertation enthält die Ergebnisse aus zwölf Studien, welche sich auf die Design Aspekte, die technische Realisierbarkeit und die Benutzerfreundlich- keit der “Hand-und-Finger-bewussten” Interaktion fokussieren. Im ersten Schritt wird die Ergonomie und das Verhalten der Hand untersucht, um die Entwicklung neuer Interaktionstechniken zu inspirieren. Anschließend wird erforscht, wie gut einzelne Finger und Teile der Hand mit Hilfe von Deep Learning Techniken und Rohdaten von kapazitiven Sensoren erkannt werden können. Dabei wird sowohl ein einzelner kapazitiver Bildschirm, als auch ein Gerät, das rundum Berührungen registriert, verwendet. Basierend darauf präsentieren wir vier Studien, die sich damit befassen Kurzbefehle von Computer-Tastaturen auf mobile Geräte zu brin- gen, um die Benutzerfreundlichkeit von Textverarbeitung auf Mobilgeräten zu verbessern. Wir folgen dabei dem angepassten benutzerzentriertem Designprozess für die Anwendung von Deep Learning. Der Kernbeitrag dieser Dissertation erstreckt sich von tieferen Einsichten zur Interaktion mit verschiedenen Fingern und Teilen der Hand, über einen tech- nischen Beitrag zur Identifikation der Berührungsquelle mit Hilfe von Deep Learning Techniken, bis hin zu Ansätzen zur Lösung der Herausforderungen mobiler Berührungseingabe. 4 Abstract Mobile devices such as smartphones and tablets have replaced desktop computers for a wide range of everyday tasks. Virtually every smartphone incorporates a touchscreen which enables an intuitive interaction through a combination of input and output in a single interface. Due to the success of touch input, a wide range of applications became available for mobile devices which were previously exclusive to desktop computers. This transition increased the mobility of computing devices and enables users to access important applications even while on the move. Despite the success of touchscreens, traditional input devices such as keybo- ard and mouse are still superior due to their rich input capabilities. For instance, computer mice offer multiple buttons for different functions at the same cur- sor position while hardware keyboards provide modifier keys which augment the functionality of every other key. In contrast, touch input is limited to the two-dimensional location of touches sensed on the display. The limited input capabilities slow down the interaction and pose a number of challenges which affect the usability. Among others, shortcuts can merely be provided which affects experienced users and contradicts Shneiderman’s golden rules for interface design. Moreover, the use of mostly one finger for input slows down the interaction while further challenges such as the fat-finger problem and limited reachability add ad- ditional inconveniences. Although the input capabilities are sufficient for simple applications, more complex everyday tasks which require intensive input, such 5 as text editing, are still not widely adopted yet. Novel touch-based interaction techniques are needed to extend the touch input capabilities and enable multiple fingers and even parts of the hand to perform input similar to traditional input devices. This thesis examines how individual fingers and other parts of the hand can be recognized and used for touch input. We refer to this concept as hand-and- finger-awareness for mobile touch interaction. By identifying the source of input, different functions and action modifiers can be assigned to individual fingers and parts of the hand. We show that this concept increases the touch input capabilities and solves a number of touch input challenges. In addition, by applying the concept of hand-and-finger-awareness to input on the whole device surface, previously unused fingers on the back are now able to perform input and augment touches on the front side. This further addresses well-known challenges in touch interaction and provides a wide range of possibilities to realize shortcuts. We present twelve user studies which focus on the design aspects, technical feasibility, and the usability of hand-and-finger-awareness for mobile touch interaction. In a first step, we investigate the hand ergonomics and behavior during smartphone use to inform the design of novel interaction techniques. Afterward, we examine the feasibility of applying deep learning techniques to identify individual fingers and other hand parts based on the raw data of asingle capacitive touchscreen as well as of a fully touch sensitive mobile device. Based on these findings, we present a series of studies which focus on bringing shortcuts from hardware keyboards to a fully touch sensitive device to improve mobile text editing. Thereby, we follow a user-centered design process adapted for the application of deep learning. The contribution of this thesis ranges from insights on the use of different fingers and parts of the hand for interaction, through technical contributions for the identification of the touch source using deep learning, to solutions for addressing limitations of mobile touch input. 6 Acknowledgements Over the past three years, I had one of the best times of my life working together with a number of amazing colleagues and friends who inspired me a lot. Without their support, this work would never have been possible. First and foremost, I would like to thank my supervisor Niels Henze who inspired my work and always supported me in the best possible ways to achieve my goals. Without his support, I would have never came this far. I further thank my committee Antti Oulasvirta, Michael Sedlmair, and Stefan Wagner for the great and inspiring discussions. Discussions with Syn Schmitt in the SimTech milestone presentation, and a number of student peers and mentors in doctoral consortia at international conferences further shaped my thesis. I would also like to thank Albrecht Schmidt for all his great support which even goes beyond research. Moreover, I thank Andreas Bulling for the opportunity to stay another five months to finalize my thesis. Before my time as a PhD student, I had the great honor to meet a number of awesome people who introduced me into the world of Human-Computer Inte- raction research. I thank Alireza Sahami Shirazi for his outstanding supervision during my bachelor’s thesis. His inspiration and recommendations