Bringing the Physical to the Digital: a New Model for Tabletop Interaction

Bringing the Physical to the Digital: A New Model for Tabletop Interaction Otmar Hilliges München 2009 Bringing the Physical to the Digital: A New Model for Tabletop Interaction Otmar Hilliges Dissertation an der Fakultät für Mathematik, Informatik und Statistik der Ludwig-Maximilians-Universität München vorgelegt von Otmar Hilliges aus München München, den 19. Januar 2009 iv Erstgutachter: Prof. Dr. Andreas Butz Zweitgutachter: Prof. Dr. Sheelagh Carpendale Drittgutachter: Dr. Shahram Izadi Viertgutachter: Dr. Andrew D. Wilson Tag der mündlichen Prüfung: 22. Juli 2009 Abstract v Abstract This dissertation describes an exploration of digital tabletop interaction styles, with the ultimate goal of informing the design of a new model for tabletop interaction. In the context of this thesis the term digital tabletop refers to an emerging class of devices that afford many novel ways of interaction with the digital. Allowing users to directly touch information presented on large, horizontal displays. Being a relatively young field, many developments are in flux; hardware and software change at a fast pace and many interesting alternative approaches are available at the same time. In our research we are especially interested in systems that are capable of sensing multiple contacts (e.g., fingers) and richer information such as the outline of whole hands or other physical objects. New sensor hardware enable new ways to interact with the digital. When embarking into the research for this thesis, the question which interaction styles could be appropriate for this new class of devices was a open question, with many equally promising answers. Many everyday activities rely on our hands ability to skillfully control and manipulate physical objects. We seek to open up different possibilities to exploit our manual dexterity and provide users with richer interaction possibilities. This could be achieved through the use of physical objects as input mediators or through virtual interfaces that behave in a more realistic fashion. In order to gain a better understanding of the underlying design space we choose an approach organized into two phases. First, two different prototypes, each representing a specific interaction style – namely gesture-based interaction and tangible interaction – have been implemented. The flexibility of use afforded by the interface and the level of physicality afforded by the interface elements are introduced as criteria for evaluation. Each approaches’ suitability to support the highly dynamic and often unstructured interactions typical for digital tabletops is analyzed based on these criteria. In a second stage the learnings from these initial explorations are applied to inform the design of a novel model for digital tabletop interaction. This model is based on the combination of rich multi-touch sensing and a three dimensional environment enriched by a gaming physics simulation. The proposed approach enables users to interact with the virtual through richer quan- tities such as collision and friction. Enabling a variety of fine-grained interactions using multiple fingers, whole hands and physical objects. Our model makes digital tabletop interaction even more “natural”. However, because the interaction – the sensed input and the displayed output – is still bound to the surface, there is a fundamental limitation in manipulating objects using the third dimension. To address this issue, we present a technique that allows users to – conceptually – pick objects off the surface and control their position in 3D. Our goal has been to define a technique that completes our model for on-surface interaction and allows for “as-direct-as possible” interactions. We also present two hardware prototypes capable of sensing the users’ interactions beyond the table’s surface. Finally, we present visual feedback mechanisms to give the users the sense that they are actually lifting the objects off the surface. vi Abstract This thesis contributes on various levels. We present several novel prototypes that we built and evaluated. We use these prototypes to systematically explore the design space of digital tabletop interaction. The flexibility of use afforded by the interaction style is introduced as criterion alongside the user interface elements’ physicality. Each approaches’ suitability to support the highly dynamic and often unstructured interactions typical for digital tabletops are analyzed. We present a new model for tabletop interaction that increases the fidelity of interaction possible in such settings. Finally, we extend this model so to enable as direct as possible interactions with 3D data, interacting from above the table’s surface. Zusammenfassung vii Zusammenfassung Das Thema dieser Dissertation ist die Erforschung von Interaktionsstilen für digitale Tabletop- Computer. Das ultimative Ziel ist ein neues Interaktionsmodel für die Tabletopinteraktion. Im Rahmen dieser Arbeit steht der Begriff ‘digital tabletop’ für eine neue, aufstrebende Klasse von Geräten die viele neue Arten mit digitalen Inhalten zu interagieren ermöglicht. Eine Klasse von Geräten, die es Benutzern erlauben direkt mit digitaler Information zu interagieren die auf großen, horizontalen Bildschirmen angezeigt wird. Da es sich um ein relativ junges Forschungsgebiet handelt, sind viele Entwicklungen im Fluss. Hardware und Software entwickeln sich mit hoher Geschwindigkeit und zurzeit gibt es viele unterschiedliche, teilweise konkurrierende Ansätze. Von zentralem Interesse für unsere Forschung sind Geräte die in der Lage sind mehrere Kon- taktpunkte (z.B. Fingerspitzen) aber auch weitergehende Informationen wie Umrisse von ganzen Händen oder anderen Objekten zu erfassen. Wenn wir Objekte in der physikalischen Welt manipulieren, profitieren wir dabei von der Geschicklichkeit unserer Hände. In dieser Arbeit wird versucht diese händische Geschicklichkeit auszunutzen um dem Benutzer vielfältigere Interaktionsmöglichkeiten zu eröffnen. Dies ließe sich zum Beispiel durch physikalische Objekte als Interaktionsmedium erreichen, oder durch die Verwendung von virtuellen Objekten, deren Verhalten stärker dem realer Objekte ähnelt. Wir haben einen Forschungsansatz gewählt der sich in zwei Phasen einteilen lässt, um ein besseres Verständnis der Materie zu erlangen. In einer ersten Phase wurden zwei Interaktions- stile anhand von Prototypen untersucht. Einerseits gestenbasierte Interaktion und andererseits Interaktion mit Hilfe von physikalischen Objekten (‘tangible interaction’). Die Flexibilität und Physikalität dieser Lösungsansätze wird als Kriterium definiert um die Interaktionsstile zu be- werten. Darauffolgend werden die beiden Paradigmen auf Ihre Tauglichkeit als generelle Inter- aktionsmodelle hin untersucht. In der zweiten Phase werden die gewonnenen Erkenntnisse als Grundlage für die Entwick- lung eines neuen Modells für Tabletop-Interaktion verwendet. Dieses Modell kombiniert fortge- schrittene multi-touch Sensortechnik mit einer virtuellen 3D-Welt, deren Objekte von einer Phy- siksimulation aus dem Computerspielebereich kontrolliert werden. Der vorgeschlagene Ansatz erlaubt es Benutzern mit virtuellen Objekten zu interagieren in dem Konzepte die aus der rea- len Welt bekannt sind, wie z.B. Kollisionen und Reibung, angewendet werden. Dadurch werden eine Reihe von komplexen Interaktionen ermöglicht, zum Beispiel Interaktionen mit mehreren Fingern gleichzeitig, mit der ganzen Hand oder durch Verwendung von physikalischen Objekten. Das Modell stellt einen Schritt in Richtung noch natürlicherer und intuitiverer Tabletop- Interaktionen dar. Allerdings sind die vom System wahrgenommenen Benutzeraktionen und die angezeigten Informationen nach wie vor an die Displayoberfläche gebunden. Dadurch ergibt sich eine tiefgreifende Einschränkung bei der Manipulation von dreidimensionalen (3D) Objekten. Um diese Problem zu adressieren, wird eine Technik vorgestellt die es erlaubt Objekte - kon- zeptionell – vom Tisch aufzuheben und daraufhin deren Position im 3D Raum zu bestimmen. Hierbei war unser Ziel das ursprüngliche Modell zu ergänzen und eine Interaktionstechnik zu entwerfen, die es erlaubt so direkt wie nur möglich mit virtuellen Objekten zu interagieren. Um dies zu bewerkstelligen wurden zwei neue Hardwareprototypen entwickelt, die es ermöglichen viii Zusammenfassung Benutzerinteraktion zu messen die in größerer Entfernung von der Displayoberfläche stattfin- det. Darüber hinaus werden visuelle Feedbackmechanismen vorgestellt die die Illusion erzeugen sollen, dass der Benutzer die virtuellen Objekte tatsächlich von der Oberfläche aufhebt. Diese Dissertationsschrift leistet auf mehreren Ebenen einen wissenschaftlichen Beitrag. Mehrere neuartige Prototypen werden vorgestellt die während den Forschungsarbeiten erstellt und evaluiert wurden. Diese Prototypen werden verwendet um systematisch den Designspace zu erforschen. Dabei werden die Flexibiltät in der Benutzung und die vermittelte Physikalität als Kri- terien verwendet. Die betrachteten Interaktionsstile werden daraufhin untersucht, ob sie die hoch dynamischen und oft unstrukturierten Interaktionen unterstützen die typisch sind für Tabletop- Interaktionen. In einem weiteren Schritt wird ein neues Modell für die Tabletop-Interaktion vorgestellt, das die Qualität dieser Interaktionen steigert. Abschließend wird eine Erweiterung dieses Modells vorgestellt die es ermöglicht so direkt wie nur möglich mit virtuellen 3D Objekten zu interagieren. Dabei werden Objekte auf dem (zwei-dimensionalen) Display angezeigt während die Interaktion

Load more