Interacting with signifier-less designs - the case of swhidgets Nicole Ke Cheng Pong To cite this version: Nicole Ke Cheng Pong. Interacting with signifier-less designs - the case of swhidgets. Human- Computer Interaction [cs.HC]. Université de Lille (2018-..), 2020. English. tel-03133122 HAL Id: tel-03133122 https://hal.inria.fr/tel-03133122 Submitted on 10 Feb 2021 HAL is a multi-disciplinary open access L’archive ouverte pluridisciplinaire HAL, est archive for the deposit and dissemination of sci- destinée au dépôt et à la diffusion de documents entific research documents, whether they are pub- scientifiques de niveau recherche, publiés ou non, lished or not. The documents may come from émanant des établissements d’enseignement et de teaching and research institutions in France or recherche français ou étrangers, des laboratoires abroad, or from public or private research centers. publics ou privés. École Doctorale Sciences Pour l’Ingénieur Laboratoire CRIStAL UMR 9189 INTERACTINGWITH SIGNIFIER-LESSDESIGNS – the case of swhidgets – Thèse présentée par nicole ke chen pong en vue de l’obtention du grade de docteur en informatique de l’Université de Lille Sous la direction de : Stéphane Huot directeur Nicolas Roussel co-directeur Sylvain Malacria encadrant Thèse soutenue le 21 octobre 2020 devant un jury composé de : Rapporteurs Nadine Couture Professeure des universités, École Supérieure des Technologies Industrielles Avancées (ESTIA) Kris Luyten Full Professor, Hasselt University Examinateurs Caroline Appert Directrice de recherche, CNRS Laurent Grisoni Professeur des universités, Université de Lille, président du jury Sylvain Malacria Chargé de recherche, Inria, encadrant de thèse Directeur de thèse Stéphane Huot Directeur de recherche, Inria Invité Nicolas Roussel Directeur de recherche, Inria RÉSUMÉ Le cas d’un utilisateur confronté à une interface qui ne l’informe pas d’une possibilité d’interaction au moment où il en a besoin est un problème fondamental d’IHM. La présence de telles possibilités d’interaction non-signalées est fréquente dans les interfaces homme- machine modernes et potentiellement problématique, rendant né- cessaire l’étude des interfaces et techniques d’interaction dites sans signifiants. Un exemple de conception "sans signifiants" moderne est ce que j’appelle un swhidget pour “SWIpe-revealed HIDden WIDGET” : un composant d’interface normalement caché sous les bords de l’écran ou sous un autre objet, pouvant être révélé en le tirant à l’aide d’un geste de balayage selon une métaphore de manipulation physique. Les swhidgets sont des composants importants des interfaces de télé- phones et tablettes à écran tactile, et sont la principale conception sans signifiant étudiée dans cette thèse. En présence d’une conception sans signifiant, les utilisateurs peuvent être confus quant à ce qu’ils doivent faire pour atteindre leur but, ou être réduits à utiliser des méthodes sous-optimales parce qu’ils ne sont pas conscients de l’existence de meilleures alternatives. Il est donc généralement recommandé d’éviter de concevoir des interfaces sans signifiants. De telles interfaces sont pourtant courantes bien que les concepteurs soient conscient des problèmes qu’elles causent. Elles mé- ritent donc une analyse plus approfondie, au delà du simple conseil de les éviter. En effet, il pourrait y avoir de bonnes raisons de concevoir des interfaces sans signifiants, qu’elles aient des qualités difficiles à mettre en évidence en l’état actuel de notre compréhension ou qu’il soit simplement impossible de les éviter. Dans cette thèse, j’analyse les raisons pouvant inciter à la conception d’interfaces qui n’exposent pas clairement les possibilités d’interaction qu’elles offrent, en prenant les swhidgets comme objet d’étude principal. Pour cette étude initiale des swhidgets, je me concentre sur les points suivants : que sont les conceptions sans signifiants et quels aspects des swhidgets leur sont propres ? Les utilisateurs connaissent-ils les swhidgets de leurs systèmes ? Comment les ont-ils connus malgré l’absence de signifiants ? Quels avantages y a-t-il à ne pas avoir de signifiants ? Les contributions de cette thèse sur ces points sont : • Une definition des conceptions sans signifiants basée sur des observations de telles conceptions dans des interfaces. iii • Une analyse des notions fondamentales requises pour la défini- tion des conceptions sans signifiants : affordances, signifiants et sémiotique. • Un modèle de la découverte et adoption par les utilisateurs de techniques d’interaction en général, reposant sur trois di- mensions et leurs relations : les compétences et connaissances actuelles des utilisateurs, leur motivations, et les moyens par lesquels une interface peut informer ses utilisateurs. • Les notions de degré de connaissance et de source de connais- sance, dérivées de ce modèle, qui permettent d’évaluer expéri- mentalement à quel point les utilisateurs connaissent une tech- nique d’interaction et comment ils l’ont découverte. • La conception et les résultats de deux expériences sur les swhid- gets d’iOS pour évaluer la connaissance qu’en ont les utilisateurs, comment ils les ont découvert, leurs éventuelles raisons de ne pas les utiliser, comment ils les perçoivent globalement et les intègrent dans leur façon de penser l’interaction. Ces études montrent que les swhidgets sont globalement appréciés et re- lativement bien connus, tout en laissant de la place pour des améliorations, surtout pour certains swhidgets. Cette thèse ouvre des perspectives concernant le transfert de connais- sances entre applications, la pertinence du concept d’expérience utilisa- teur pour la compréhension des swhidgets, et la possibilité de favoriser leur découverte lors de transitions animées entre vues. iv ABSTRACT At the heart of this thesis is a common but problematic situation that users of digital systems often face in their daily interactions: to interact with the system, they need some knowledge of an interaction possibility, some piece of information about the interface, but this information is not provided in the context in which they need it. I call such interaction possibilities non-signified, and signifier-less designs the interfaces and interaction techniques that rely on non-signified interaction possibilities. An example of modern signifier-less design is what I call "swhidgets" for "SWIpe-revealed HIDden WIDGETS": widgets that are hidden under the screen bezels or other interface elements, out of view and not advertised by any graphical mark, but that can be revealed by dragging them into view with a swipe gesture relying on a physi- cal manipulation metaphor. Swhidgets are an important component of touch-based smartphone and tablets interfaces, and will be the principal signifier-less design studied in this thesis. When facing a signifier-less design, users may be confused about what they should do and how to achieve their goals; or they might have to use suboptimal ways of achieving their goals because they are unaware of the existence of more efficient options. It is thus usually advised to avoid signifier-less designs. Yet, despite designers’ awareness of the problems they may cause, signifier-less designs are common in user interfaces. They thus deserve a deeper analysis than simply advising to avoid them in interface design. Indeed, there might be good reasons to apply this design: maybe they provide some benefits that are hard to see with our current understanding of these designs, or maybe there is no way to avoid them. In this thesis, I study the question of why designers would create interfaces that do not clearly expose some of their interaction possibil- ities, taking the case of swhidgets as an example and focus of inquiry. As a preliminary work on swhidgets, I focus on the following ques- tions: What are signifier-less designs and what aspects of swhidgets design make them unique? Do users know the swhidgets provided by their system? How did they get to know them despite their lack of signifiers? What are the benefits of not having signifiers in the design of swhidgets? My contributions to these questions are: • I define signifier-less designs and provide observations of this type of design in user interfaces. • I provide an analysis of the fundamental notions required to de- fine signifier-less designs: affordances, signifiers and semiotics. vii • I propose a model of user discovery and adoption of interaction techniques in general, relying on three dimensions and their relationships: users’ current knowledge and skills, users’ moti- vations, and the design means of informing users provided by the interfaces. • I propose the notions of Degree of Knowledge and Source of Knowledge derived from this model, that can be used in experi- ments to evaluate how well the participants know an interaction technique and how they discovered it. • I present the design and results of two studies on iOS swhidgets that investigate how well users known them, how they discover them, their reasons for not using them, how they generally feel about them, and how they integrate them in the way they think about their interactions with the system. These studies revealed that swhidgets were globally appreciated and relatively well known by users, although there is still room for improve- ment, notably for some specific swhidgets. I conclude with perspective for future works regarding the transfer of knowledge about swhidgets from one application to another, the per- tinence of considering all aspects of user experience to understand the design of swhidgets,