Designing Communication Technologies Based On Physiological Sensing Dissertation an der Fakultät für Mathematik, Informatik und Statistik der Ludwig-Maximilians-Universität München vorgelegt von Mariam Hassib M.Sc. Information Technology München, den 9. Juli 2018 Erstgutachter: Prof. Dr. Albrecht Schmidt Zweitgutachter: Prof. Dr. Florian Alt Drittgutachter: Prof. Dr. m.c. schraefel Tag der mündlichen Prüfung: 01.08.2018 iii iv Abstract Abstract The human body, that marvellous chamber of secrets, reveals myriads of information about its owner’s physical, psychological, emotional and cognitive state. In the last century, sci- entists in the medical field achieved huge leaps in identifying, collecting and analysing of signals generated inside the human brain and body.The advancement in the technology of sensing and collecting those physiological signals has finally matured enough; making the mysterious human body a more attainable source of information to regular non-trained users. Research in the field of Human Computer Interaction has always looked for new ways to in- terface between humans and machines. With the help of physiological sensing, a new channel of information originating inside the human body becomes available. The opportunities this new channel provides are limitless. In this thesis we take this opportunity to look at our own bodies as a source of information, to better understand ourselves, and others. In a world where partners and friends are in long-distance relationships, meeting rooms are distributed over cities, and working teams are remote, efficient communication mediated over a distance becomes crucial. We see our bodies as a direct interface for communication: our heartbeats reveal how excited we are, our brain reveals how focused we are, and our skin reveals how stressed we are. How can we use this information to create an implicit communication channel between people? Can we increase empathy, connectedness, and awareness, if we include the body as a source of information in our communication systems? What are the ethical and social implications of this type of novel sensing and sharing of information? These are some of the questions this thesis is concerned with. The field of Computer Mediated Communication (CMC) has a long rich history. In this work, we extend on the means of mediating communication to include the body at the source, and the sink, of a communication system. Through a user-centred design process, we first start with a requirements gathering stage in which we investigate the expectations of users towards implicit physiological sensing and sharing of information. We build on top of existing CMC concepts to include bio-signals of the human body within communication. We chart our view of an extensive design space that includes implicit sensing opportunities and dimensions that consider new trends in communication including the distribution and remoteness of users. Through a set of research probes, ordered by one dimension of our extended design space, namely the number of senders and receivers, we explore how signals from the human body can be collected, visualized, and communicated. Starting with self-reflection as a form of communication, we look into how the revealing of information about one’s own body to oneself can enhance their understanding and interaction with systems in different contexts. Using electroencephalography signals from the frontal lobe of the brain, we build a system that aims to aid information workers in understanding how their attention varies during dif- ferent tasks, and aids in scheduling and increased awareness. In a second research probe, we investigate the effect of revealing affective valence information collected through heart rate and electroencephalography to car drivers and its impact on driving performance. v Looking at one-to-one personal communication, comprising the bigger part of our 21st cen- tury relationships, we develop two probes which use intimate information collected from the human body to enhance empathy, awareness and connectedness. We explore ways to visu- alize and communicate heart rate in online chat scenarios and how users deal with such an intimate yet ambiguous source of information. In another probe we introduce the idea of, not only implicitly sensing emotions as an input from one sender, but also using an actu- ating component at the output side of the communication channel. We explain and develop our concept of embodied emotion actuation using electroencephalography on one side and electrical muscle stimulation on the receiver’s side to enhance the connection between com- municating partners. Communication in the large, with multiple senders and receivers who may be distributed or collocated over time and place, is the subject of our final set of research probes. Here we explored the area of audience sensing using physiological sensors to provide feedback to presenters or stakeholders. In two probes we investigated the use of electroencephalography to collect feedback from multiple audiences, in collocated, or distributed scenarios. In one probe, presenters can view real-time or post-hoc feedback to their presented material to evaluate and enhance it. In the second probe, visitors in a museum can implicitly rate their interest in exhibits which can be used by museum curators for better understanding of their audience. Finally, throughout our developed and evaluated research probes we reflect back on the de- sign space presented in the beginning. We derive implications and recommendations for de- sign as well as a conceptual architecture for physiologically augmented communication. We dedicate a discussion to the ethical and social implications of implicit physiological commu- nication derived through our field and lab evaluations of our developed probes. We conclude with a vision of computer mediated communication for the next 20 years and discuss oppor- tunities of future work. vi Zusammenfassung Zusammenfassung Der geheimnisvolle menschliche Körper liefert unzählige Informationen über den physi- schen, psychischen, emotionalen und kognitiven Zustand. Im medizinischen Bereich wurden im letzten Jahrhundert große Fortschritte auf dem Gebiet der Identifizierung und Analyse von Signalen des menschlichen Körpers und des Gehirns erzielt. Der Fortschritt auf dem Gebiet der Biosignalerkennung hat sich bereits weit genug entwickelt, um die Mysterien des menschlichen Körpers und die daraus abgeleiteten Informationen für die Allgemeinheit verständlich zu gestalten.. Die Forschung auf dem Gebiet der Mensch-Computer-Interaktion entwickelt neuartige Methoden und Modelle, um die Interaktion zwischen Mensch und Ma- schine auf verschiedenen Ebenen zu optimieren. Mit Hilfe von Biosignalen werden neue Informationsquellen aus dem menschlichen Körper verfügbar/erschlossen. Die Möglichkei- ten die sich aus diesen Signalen ergeben sind ohne Grenzen. Die vorliegende wissenschaftliche Arbeit befasst sich mit dem Betrachten des Körpers als Informationsquelle, um uns selbst und andere besser zu verstehen. In einer Welt, in welcher Partner und Freunde Fernbeziehungen führen, Meetings in verschiedenen Städten stattfin- den, und Abteilungen über Standorte hinweg verteilt arbeiten, ist eine effiziente Vermittlung der Kommunikation über weite Distanzen entscheidend. Der Körper kann dabei als direk- te Schnittstelle für die Kommunikation angesehen werden: Unsere Herzschläge zeigen, wie aufgeregt wir sind, unser Gehirn zeigt, wie fokussiert wir sind und unsere Haut zeigt, wie gestresst wir sind. Wie können Biosignale genutzt werden, um einen impliziten Kommuni- kationskanal zwischen Menschen zu schaffen? Kann Empathie, Bewusstsein und Verbun- denheit in der Kommunikation durch das Einbeziehen des Körpers als Informationsquelle gefördert werden? Was sind die ethischen und sozialen Implikationen dieser Art des neuar- tigen Erfassens und Teilens von Informationen? Dies sind einige der Fragen, mit denen sich diese Arbeit beschäftigt. Die computervermittelte Kommunikation (engl.: Computer Mediated Communication (CMC)) hat eine lange Tradition. Die vorliegende Arbeit befasst sich mit der Einbeziehung des Körpers als Informationsquelle und Empfänger eines Kommunikationssystems. Durch einen nutzerorientierten Entwicklungsprozesses wird zu Beginn die Erwartunghaltung der Nutzer hinsichtlich der impliziten Informationsweitergabe auf physiologischer Basis ermit- telt. Aufbauend auf bereits vorhandene CMC-Konzepte wird die Biosignalerkennung des menschlichen Körpers in die Kommunikation einbezogen. Es wird ein Entwurf entwickelt, welcher die Möglichkeiten der impliziten Signalerkennung nutzt und damit die neuen Trends in der Kommunikation berücksichtigt. Im Verlauf dieser Forschungsarbeit werden sechs Prototypen entwickelt, mit welchen Signa- le vom menschlichen Körper gesammelt, visualisiert und kommuniziert werden. Beginnend mit der Selbstreflektion als eine Form der Kommunikation wird untersucht, wie die Informa- tionen des eigenen Körpers das Verständnis und die Interaktion mit verschiedenen Systemen verbessern können. Mithilfe von elektroenzephalographischen Signalen aus dem Frontal- lappen des Gehirns wird ein System aufgebaut, welches Mitarbeiter dabei unterstützt zu vii verstehen, wann ihre Aufmerksamkeit während verschiedener Aufgaben schwankt, sodass das System auch bei der Planung und Steigerung der Aufmerksamkeit unterstützen kann. In einer zweiten Studie wird durch die Ermittlung der affektiven Valenz mittels Puls und Elektroenzephalographie der Einfluss auf Autofahrer und