Wearable Haptic Technology for 3D Selection and Guidance an der Universität Hamburg eingereichte Dissertation vorgelegt von Oscar Ariza Human-Computer Interaction Fachbereich Informatik Fakultät für Mathematik, Informatik und Naturwissenschaften 2020 Erstgutachter: Prof. Dr. Frank Steinicke Zweitgutachter: Dr. Anatole Lécuyer Vorsitzender der Prüfungskommission: Prof. Dr. Timo Gerkmann Stellvertretender Vorsitzender der Prüfungskommission: Prof. Dr. Matthias Rarey Datum der Disputation: 19.03.2021 i Dedicado a “la cambia mundos” iii Abstract The integration of wearable haptic technology in Virtual Environments (VEs) has enormous po- tential to improve user performance and accuracy while executing 3D selection and manipulation tasks, as well as providing proximity-based guidance during aiming and navigation tasks. However, the lack of haptic feedback has been commonly reported in VEs, combined with insufficient alternatives to incorporate feedback for tactile, kinesthetic, and other modalities in 3D user interfaces (3DUIs). Hence, there is a need to develop and evaluate novel haptic technology that circumvents these interaction problems and improves usability, reducing the performance gap between traditional interfaces and 3DUIs. This thesis’s primary goal is to improve the usability and performance of basic 3D interaction tasks involving selection and guidance in VEs by integrating and evaluating wearable haptic technology and hand tracking. First, we explore the use of proximity-based multimodal cues supporting 3D selection, specifically, for motions involving ballistic and correction phases during common approaching movements of the human arm. We present multimodal combinations of tactile and audio-visual cues improving the performance or reducing errors during 3D object selections. Additionally, we show how feedback combinations could affect the user’s selection movements and depth under-/overestimation. Second, we present the use of perceptual illusions supported by the use of vibrotactile feedback to reproduce the elongated-arm illusion to enable the user to manipulate out-of-reach 3D objects while interacting in-place. Our results support the persistent illusion of body transfer after brief phases of automatic and synchronized visual-haptic stimulation instead of the traditional approach based on manual stimulation. Additionally, we present multimodal combinations of haptic feedback to create a plausible touch illusion. Our approach relies on combining different haptic feedback (i.e., kinesthetic, pseudo, and tactile) to convey sensations for contact, stiffness, and activation for 3DUIs. Third, we explore vibrotactile technology supporting 3D navigation tasks in VEs. We propose wireless and wearable devices attached to both hemispheres of the user’s head with assistive vibrotactile cues for guidance, reducing the time used to turn and locate a target object. Moreover, we evaluate vibrotactile feedback embedded in shoe soles and handhelds for the sense of presence, user acceptance, and obstacle detection in VEs. Additionally, besides the studies conducted, we developed and evaluated haptic technology. It features light-weight, unencumbering, and versatile form factors compatible with natural interaction and hand- tracking technologies. We append all the designs, specifications, embedded code, firmware, and resources to enable practitioners to replicate the conducted experiments. v Zusammenfassung Die Integration tragbarer haptischer Technologien in virtuelle Umgebungen (Virtual Environments, VEs) bietet ein enormes Potenzial (i) zur Verbesserung der Benutzerleistung und -genauigkeit bei der Ausführung von 3D-Auswahl- und Manipulationsaufgaben sowie (ii) zur Bereitstellung einer auf Nähe basierenden Orientierungshilfe bei Ziel- und Navigationsaufgaben. Nichtsdestotrotz wird in VEs nur selten mit haptischem Feedback gearbeitet, was unter anderem auf unzureichende Optionen zur Einbeziehung von taktilen, kinästhetischen und anderen Modalitäten in 3D-Benutzeroberflächen (3D UIs) zurückzuführen ist. Aus diesem Grund besteht ein Bedarf nach neuartigen haptischen Technologien, welche diese Interaktionsprobleme umgehen und die Benutzerfreundlichkeit verbessern, wodurch die Leistungslücke zwischen herkömmlichen Schnittstellen und 3D UIs verringert wird. Das Hauptziel dieser Arbeit besteht darin, grundlegende 3D-Interaktionsaufgaben wie die Selektion und Führung in VEs in Bezug auf Benutzerfreundlichkeit und Durchsatz zu verbessern, indem tragbare haptische Technologien und Hand-Tracking integriert und evaluiert werden. Zunächst untersuchen wir die Verwendung von Nähe-basierten multimodalen Hinweisen, welche die 3D-Selektion unterstützen. Insbesondere fokussieren wir uns auf typische Armbewegungen bei der An- näherung an Zielobjekte, welche ballistische und korrigierende Phasen beinhalten. Wir präsentieren multimodale Kombinationen von taktilen und audiovisuellen Hinweisen, die die Leistung verbessern oder Fehler bei der Auswahl von 3D-Objekten reduzieren. Zusätzlich zeigen wir, wie Feedback-Kombinationen die Selektionsbewegungen des Benutzers und die Unter- / Überschätzung der Distanz beeinflussen können. Anschließend stellen wir durch vibrotaktiles Feedback unterstützte Wahrnehmungsillusionen vor, mit deren Hilfe der Eindruck eines verlängerten Arms reproduziert werden kann. Auf diese Weise kann der Benutzer nicht erreichbare 3D-Objekte manipulieren, während er an Ort und Stelle interagiert. Unsere Studienergebnisse weisen darauf hin, dass eine anhaltende Körpertransfer-Illusion durch kurze Phasen automatischer und synchronisierter visuell-haptischer Stimulation erzielt werden kann - im Gegensatz zum traditionellen Ansatz, der auf manueller Stimulation basiert. Zusätzlich präsentieren wir multimodale Kombinationen von haptischem Feedback, um eine plausible Berührungsillusion zu erzeugen. Unser Ansatz beruht auf der Verknüpfung verschiedener Formen haptischen Feedbacks (kinästhetisch, pseudo und taktil), um Empfindungen für Kontakt, Steifheit und Aktivierung für 3D UIs zu vermitteln. Abschließend untersuchen wir vibrotaktile Technologien zur Unterstützung von 3D- Navigationsaufgaben in VEs. Wir schlagen drahtlose, am Kopf getragene Geräte vor, die unterstützende vibrotaktile Hinweise bereitstellen und damit die Zeit zum Lokalisieren eines Zielobjekts sowie der entsprechenden Kopfdrehung reduzieren. Darüber hinaus evaluieren wir vibrotaktile Systeme, welche in Schuhsohlen und Handhelds eingebettet sind, in Bezug auf Präsenz, Benutzerakzeptanz und Hinderniserkennung in VEs. Zusätzlich zu den durchgeführten Studien haben wir ein haptisches Interaktionsgerät entwickelt und evaluiert. Es ist vielseitig einsetzbar und durch das geringe Gewicht sowie die hohe Ergonomie mit natürlichen Interaktions- und Hand-Tracking-Technologien kompatibel. Alle Entwürfe, Spezifikationen und Ressourcen sowie eingebetteter Code und Firmware sind der Arbeit angehängt, um eine Replikation der durchgeführten Experimente zu ermöglichen. Contents vii Contents 1. Introduction 1 1.1. Motivation ........................................ 1 1.2. Scenarios ......................................... 5 1.3. Research Goals ...................................... 8 1.4. Outline .......................................... 9 1.5. Publications ........................................ 10 1.5.1. Main Authorship ................................. 11 1.5.2. Co-Authorship ................................... 12 Part I. Fundamentals 15 2. Human Factors 17 2.1. Tactile Modality ...................................... 18 2.1.1. Mechanoreceptors ................................. 18 2.2. Kinesthetic Modality ................................... 20 2.2.1. Perception-action Loop .............................. 22 2.3. Visual Modality ...................................... 24 2.3.1. Field of View ................................... 24 2.3.2. Depth Estimation ................................. 25 2.4. Ergonomy ......................................... 26 2.5. Psychophysics ....................................... 27 3. Haptics and 3DUI 31 3.1. Haptic Technology .................................... 31 3.1.1. Types of Interactive Haptic Devices ........................ 32 3.1.2. Graspable Systems ................................. 34 3.1.3. Touchable Systems ................................. 36 3.1.4. Wearable and Contactless Systems ........................ 37 3.2. Visuo-haptic Illusions ................................... 43 3.3. Multimodal Feedback ................................... 45 3.4. 3D Interaction ....................................... 46 3.4.1. Hand Interaction .................................. 47 3.4.2. 3D Direct Selection ................................ 48 3.4.3. 3D Guidance .................................... 50 3.5. Conclusion ........................................ 50 viii Contents Part II. Support for 3D Selection 53 4. Proximity-based Patterns 55 4.1. Motivation ........................................ 55 4.2. Ring-shaped Haptic Device ................................ 56 4.3. Vibrotactile Patterns ................................... 56 4.4. Usability Study ...................................... 58 4.4.1. Participants .................................... 58 4.4.2. Materials ..................................... 59 4.4.3. Methods ...................................... 60 4.4.4. Results ....................................... 60 4.5. Discussion ......................................... 61 4.6. Conclusion ........................................ 63 5. Use of Multimodal Feedback 65 5.1.