Towards Document Engineering on Pen and Touch-Operated Interactive Tabletops
Total Page:16
File Type:pdf, Size:1020Kb
DISS. ETH NO. 21686 Towards Document Engineering on Pen and Touch-Operated Interactive Tabletops A dissertation submitted to ETH ZURICH for the degree of Doctor of Sciences presented by FABRICE MATULIC Diplôme d'Ingénieur ENSIMAG Diplom Informatik, Universität Karlsruhe (TH) accepted on the recommendation of Prof. Dr. Moira C. Norrie, examiner Prof. (FH) Dr. Michael Haller, co-examiner Dr. Ken Hinckley, co-examiner 2014 Document Authoring on Pen and Calibri 24 B I U © 2014 Fabrice Matulic Abstract In the last few years, the consumer device landscape has been significantly transformed by the rapid proliferation of smartphones and tablets, whose sales are fast overtaking that of traditional PCs. The highly user-friendly multitouch interfaces combined with ever more efficient electronics have made it possible to perform an increasingly wide range of activities on those mobile devices. One category of tasks, for which the desktop PC with mouse and keyboard remains the platform of choice, however, is office work. In particular, productivity document engineering tasks are still more likely to be carried out on a regular computer and with software, whose interfaces are based on the time-honoured "windows, icons, menus, pointer" (WIMP) paradigm. With the recent emergence of larger touch-based devices such as wall screens and digital tabletops (which overcome the limitations of mobile devices in terms of available screen real estate) as well as the resurgence of the stylus as an additional input instrument, the vocabulary of interactions at the disposal of interface designers has vastly broadened. Hybrid pen and touch input is a very new and promising interaction model that practitioners have begun to tap, but it has yet to be applied in office applications and document-centric productivity environments. Within the ongoing quest to conceive the office of the future, the goal of this work is to show how the interactive potential of pen and touch-operated tabletops as digital work desks can be leveraged to execute essential document engineering tasks such as document editing and authoring. In a first step, important properties of pen and touch input such as docking and tracing precision, palm rejection, mode preference for selections and bimanual coordination, are analysed and experimental results are provided, adding to the –as of yet, relatively scant– body of empirical data on the subject. One powerful asset of the pen and touch interaction paradigm that especially stands out in the experiments is the possibility to rapidly and smoothly switch the pen's function using the non-dominant hand (NDH). This creates an interesting design space, in which particular quasimodal (i.e. maintained) NDH postures on the touch-sensitive surface such as chords and recognisable contact shape patterns can be associated with rich categories of gestural commands articulated by the pen. In order to support developers in the creation of pen and touch applications with tight integration and interplay of the two modalities, and after realising that current major APIs are largely inadequate, a dedicated software framework is designed and implemented. At the lowest level, the framework provides an abstraction of hardware-specific input data, especially taking into account the limitations of the multitouch tabletop system used as enabling hardware: the DiamondTouch. In the middle layer, it integrates a powerful gesture module defining a set of handy pen and touch gestures, with flexible constructs to implement custom extensions. At the top level, the framework includes a component hierarchy with built-in UI elements endowed with typical behaviours controlled by classic pen and touch interactions. Based on this framework, two application prototypes are implemented with two carefully chosen document scenarios in mind, considering, among other factors, the suitability of particular types of documents for pen and touch interaction: active reading, and authoring of presentational documents. In the first program, an approach following a desk/codex metaphor, but augmented with tools from the digital world, is tested. Hence, while documents are shown as bound volumes, whose pages can be "flipped", users can also perform text searches with handwritten keywords and make use of various pen and touch functions for non-sequential document navigation. The user evaluation provides some insights as to the suitability of the tabletop platform for active reading tasks and how far it is able to combine the advantages of the analogue and digital worlds without the disadvantages of each. The second application, which allows users to create rich documents from scratch or based on existing documents, is the main contribution of the thesis. Its design relaxes the desk/paper metaphor in favour of a more pragmatic approach and a more extensive reliance on gestures (uni- and bimanual) instead of widgets. Those gestures are divided into different inking and non-inking modes activated by specific NDH postures. Modes in the former category consist of text and shape entry, where the system recognises the user's freeform input and converts it to formatted text or shape data. The non-inking modes associate groups of pen and touch gestures with common document-editing operations to add, select, edit and style content. Finally, the application integrates a clipart-search tool, which, in addition to regular keyword-searching also supports sketch-based queries. A lab study confirms the potential of this novel document- authoring environment and identifies areas of improvement for future iterations of the system. The thesis concludes with an overarching discussion of important issues that still need to be overcome in order to further the case of digital tabletops as compelling platforms for document engineering tasks and offers a vision of how the interactive work desk might make its way into the offices of the (near) future, among the other digital revolutions that lie ahead. Résumé Ces dernières années ont vu la transformation radicale du parc des appareils électroniques grand-public, sous l'impulsion des smartphones et des tablettes tactiles dont les ventes sont en passe de dépasser celles des PCs traditionnels. Les interfaces "multitouch" plus accessibles et plus faciles d'utilisation, couplées aux progrès de l'électronique ont permis à un nombre d'activités toujours plus grand d'être accomplies sur ces appareils mobiles. Une certaine catégorie de tâches pour laquelle le PC équipé de souris et de clavier demeure néanmoins la plateforme de choix est la bureautique. En particulier, les tâches liées à la production de documents sont plus à même d'être effectuées sur un ordinateur de bureau avec des logiciels dont les interfaces graphiques sont basées sur le principe consacré WIMP, c'est-à-dire avec des fenêtres, des icônes, des menus et un pointeur. Avec l'émergence des appareils tactiles disposant d'une plus large surface d'interaction, tels que les écrans muraux et les tables digitales, et la réapparition du stylet comme instrument de saisie complémentaire, le vocabulaire d'interactions à la disposition des concepteurs d'interfaces graphiques s'est considérablement agrandi. Le nouveau modèle d'interaction combinant le toucher et le stylo digital que les chercheurs et ingénieurs ont commencé à exploiter est prometteur, mais il n'a pas encore été mis en pratique pour les applications bureautiques et le traitement de documents. Dans le cadre de la quête perpétuelle qui vise à concevoir le bureau du futur, l'objectif de ce travail est de montrer comment le potentiel des tables interactives, contrôlées par le toucher et le stylet, peut être exploité pour le traitement et la production de documents, en particulier leur édition et création. Dans un premier temps, des propriétés fondamentales de ce modèle d'interaction, telles que la précision de traçage et de positionnement, les interférences de la paume de la main qui écrit avec la surface tactile, les préférences de modes pour les opérations de sélection et la coordination bimanuelle sont analysées et des résultats expérimentaux sont présentés. Ces- derniers viennent étoffer le volume, à ce jour bien maigre, de données empiriques disponibles dans la littérature scientifique concernant ce moyen d'interaction. L'un des atouts majeurs de la saisie au stylo et au toucher qui ressort des expériences est la possibilité de modifier rapidement et facilement la fonction du stylet via la main non-dominante (MND). Cette faculté permet notamment d'associer des poses quasimodales (c'est-à-dire maintenues sur la surface) de la MND, telles que des combinaisons de doigts ou des positions de mains particulières (postures), à de riches catégories de commandes gestuelles effectuées par le stylo (modes). Afin de faciliter la tâche des développeurs d'application qui s'appuient sur la gestion simultanée du toucher et du stylet et après avoir constaté l'inadéquation des APIs actuelles, une infrastructure logicielle dédiée est conçue et réalisée. Dans sa couche bas-niveau, la bibliothèque définit un dénominateur commun aux multiples types de signaux d'entrées spécifiques aux différents appareils et propose une interface universelle pour la gestion de ces données par les couches logicielles supérieures. Un soin particulier est pris pour prendre en compte les spécificités de la table multitouch employée pour le développement de prototypes: la DiamondTouch. La couche logicielle intermédiaire intègre un module de gestion de gestes combinant les deux modalités avec un certain