Adaptive Cognitive Interaction Systems Zur Erlangung des akademischen Grades eines Doktors der Ingenieurwissenschaften der Fakult¨atf¨urInformatik des Karlsruher Instituts f¨urTechnologie (KIT) genehmigte Dissertation von Felix Putze aus K¨oln Tag der m¨undlichen Pr¨ufung: 31.10.2014 Erste Gutachterin: Prof. Dr.-Ing. Tanja Schultz Zweiter Gutachter: Prof. Dr. rer.nat. Joachim Funke Deutsche Zusammenfassung Durch die wachsende Verbreitung von Bildschirmarbeitspl¨atzen, intelligenten Telefonen, und multimodalen Tablet-PCs wird die optimale Gestaltung der Mensch-Computer-Interaktion immer wichtiger. Im Laufe des letzten Jahr- zehnts ergaben sich entscheidende Verbesserungen durch die Implementie- rung naturlicher¨ Ein- und Ausgabemodalit¨aten, wie Gestensteuerung, au- tomatische Spracherkennung oder Sprachsynthese. Durch diese naturlichen¨ Schnittstellen steigen auch die Erwartungen der Benutzer an die Systeme. Die Media Equation\ [RN96] belegt, dass Menschen Erfahrungen aus der " Mensch-Mensch-Interaktion auf die Mensch-Computer-Interaktion ubertragen.¨ Menschen beobachten den affektiven und kognitiven Zustand ihres Inter- aktionspartners und passen ihr Interaktionsverhalten entsprechend an. Ein wesentliche Konsequenz der \Media Equation" ist, dass Benutzer solches ad- aptives Verhalten auch von ihren technischen Systemen erwarten. In dieser Arbeit besch¨aftigen wir uns damit, die dafur¨ notwendigen F¨ahigkeiten fur¨ ein technisches System zu implementieren. Ein adaptives, kognitives Interaktionssystem erfasst und modelliert den Zu- stand des Benutzers und reagiert auf diesen Zustand durch eine Anpas- sung des Interaktionsverhaltens. Ein adaptives, kognitives Interaktionssys- tem besteht aus drei Komponenten: Dem adaptiven Interaktionsmanager, dem empirischen kognitiven Modell und dem komputationalen Modell. Ein adaptiver Interaktionsmanager fuhrt¨ die Kommunikation mit dem Benutzer durch und greift dazu auf die Informationen uber¨ dessen Zustand zuruck.¨ An diesen Zustand passt der Interaktionsmanager das Interaktionsverhalten an. Um die Informationen uber¨ den Benutzerzustand zu erhalten, greift der Interaktionsmanager auf zwei verschiedene Arten von kognitiven Modellen zuruck.¨ Das empirische kognitive Modell zeichnet Sensordaten des Benutzers auf und verwendet dazu Methoden des maschinellen Lernens, um aus den Daten Benutzerzust¨ande zu erkennen. Ein komputationales kognitives Mo- dell repr¨asentiert komplexe kognitive Prozesse und pr¨adiziert das aus diesen resultierende Verhalten. Diese beiden Ans¨atze zur kognitiven Modellierung k¨onnen parallel eingesetzt werden, um sich gegenseitig zu erg¨anzen (da sie ii Summary unterschiedliche Aspekte desselben Zustands abbilden) und einander zu be- einflussen (um den Einfluss eines Zustands auf einen anderen zu modellieren). In dieser Arbeit leisten wir substantielle Beitr¨age zum Fortschritt aller drei Komponenten. Weiterhin zeigen wir, wie die drei Komponenten gemeinsam in Ende-zu-Ende Interaktionssystemen eingesetzt werden k¨onnen, um eine signifikante objektive und subjektive Verbesserung der Mensch-Computer- Interaktion zu erzielen. In Bereich der empirischen kognitiven Modellierung konzentrieren wir uns auf die Zust¨ande mentale Auslastung\ und Verwirrung\. Beide Zust¨ande " " spielen in der Mensch-Computer-Interaktion eine große Rolle, da sie { wie im Falle mentaler Auslastung { direkten Einfluss auf das Verhalten und die kognitive Leistungsf¨ahigkeit des Benutzers haben oder { wie im Falle der Verwirrung { Aufschluss uber¨ den Verlauf der Interaktion liefern. Um diese beiden Zust¨ande zu erkennen, beschreiben wir die Entwicklung und Eva- luierung eines personenunabh¨angigen Modells mentaler Auslastung, basie- rend auf dem Elektroenzephalogramm (EEG) zur Gehirnaktivit¨atsmessung und anderen physiologischen Signalen. Dieses System wird auf einem außer- gew¨ohnlich großen Datensatz ausgewertet. Dieser enth¨alt Daten von uber¨ 150 Versuchspersonen, die verschiedene kognitive Aufgaben bearbeiten. Weiter- hin entwickeln wir das erste empirische kognitive Modell, dass verschiedene Modalit¨aten kombiniert, um die Verwendung verschiedener Wahrnehmungs- modalit¨aten zu erkennen. Außerdem stellen wir ein personen-adaptives Mo- dell zur EEG-basierten Erkennung des Benutzerzustands Verwirrung\ vor. " Diese personen-unabh¨angigen und personen-adaptiven empirischen kogniti- ven Modelle sind besonders fur¨ den Einsatz im Kontext der Mensch-Compu- ter-Interaktion geeignet. Sie liefern die erkannten Benutzerzust¨ande an die anderen Komponenten weiter, die Modelle und Interaktionsverhalten an die gesch¨atzen Zust¨ande anpassen. Im Bereich der komputationalen kognitiven Modellierung entwickeln wir ein modulares Ged¨achtnismodell zur Repr¨asentation von dynamischen Assozia- tionsprozessen im Ged¨achtnis fur¨ die Verwendung in Interaktionssystemen. Wir zeigen mit zwei verschiedenen Ans¨atzen, wie ein solches komputationa- les Modell an verschiedene Niveaus mentaler Auslastung angepasst werden kann. Das Niveau mentaler Auslastung kann uber¨ ein entsprechendes empiri- sches kognitives Modell erfasst werden. Dadurch steigt die Vorhersagegenau- igkeit bei wechselnder Auslastung gegenuber¨ einem nicht-adaptiven Modell signifikant. Am Beispiel einer mehrschrittigen, assoziativen Lernaufgabe zei- gen weiterhin, dass komputationale und empirische Modellierung kombiniert werden k¨onnen, um Benutzerzust¨ande zu erfassen, die keines der Modellie- rungsparadigmen fur¨ sich allein erkennen kann. Summary iii Außerdem entwickeln wir den leichtgewichtigen, adaptiven Interaktionsma- nager AIM. Mit dessen Hilfe implementieren wir mehrere adaptive, kognitive Interaktionssysteme fur¨ verschiedene Einsatzzwecke. AIM erh¨alt die Sch¨at- zungen der kognitiven Modelle uber¨ den Benutzerzustand, um sein Interakti- onsverhalten an diese Zust¨ande anzupassen. Die Interaktionssysteme wer- den in Benutzerstudien evaluiert, um messbare objektive und subjektive Usability-Verbesserungen adaptiver kognitiver Interaktionssysteme (gegenuber¨ nicht-adaptiven Systemen) zu dokumentieren. Dazu geh¨ort die Auswertung eines Ende-zu-Ende-Systems, bei dem wir zeigen, dass eine adaptive Stra- tegie zur Informations-Pr¨asentation signifikante Verbesserungen gegenuber¨ einer nicht-adaptiven Strategie erzielen kann, sowohl bezuglich¨ objektiver als auch subjektiver Qualit¨atsmetriken. Wir untersuchen weiterhin, wie sich ver- schiedene Interaktionsstrategien auf die subjektiv empfundene Intrusivit¨at auswirken. Eine selbst-korrigierende gestenbasierte Benutzerschnittstelle rea- giert auf Verwirrung des Benutzers nach Fehlinterpretationen von Benut- zereingaben. Eine Benutzerstudie vergleicht verschiedene Korrekturstrategi- en hinsichtlich Genauigkeit und Korrekturkosten. Zuletzt beschreiben wir die Entwicklung einer kognitiven Benutzersimulation fur¨ sprachbasierte Inter- aktionssysteme, die statistische Methoden mit komputationalen kognitiven Modellen verbindet. Contents 1 Introduction and Motivation 1 1.1 Motivation . 1 1.2 User States . 3 1.2.1 Media Equation & Adaptive Behavior . 3 1.2.2 User States vs. User Traits . 4 1.2.3 User State: Emotion . 5 1.2.4 User State: Workload . 5 1.2.5 User State: Confusion . 6 1.2.6 User State: Memory . 7 1.3 Adaptive Cognitive Interaction Systems . 8 1.4 Contributions . 9 1.5 Structure of this Thesis . 11 2 Empirical Cognitive Modeling 13 2.1 Introduction . 13 2.2 Related Work . 14 2.2.1 Signal Types for Empirical Cognitive Modeling . 14 2.2.2 Building Blocks of an Empirical Cognitive Model . 19 2.2.3 Workload Recognition . 25 2.2.4 Confusion Detection . 29 2.3 Person-Independent Workload Recognition . 31 2.3.1 Tasks and Recording Environments . 31 2.3.2 Physiological Data Acquisition . 37 2.3.3 Biosignal Labeling & Behavioral Data . 37 2.3.4 Workload Classifier Setup . 40 2.3.5 Evaluation of Classification Performance . 44 2.3.6 Discussion . 49 2.4 Workload Modality Recognition . 50 2.4.1 Participants . 52 2.4.2 Experimental procedure . 52 2.4.3 Data acquisition . 54 2.4.4 Preprocessing . 56 vi Contents 2.4.5 Grand Averages . 57 2.4.6 Classification . 59 2.4.7 Results . 62 2.4.8 Discussion . 67 2.5 Recognition of Confusion . 69 2.5.1 Error Potentials & Confusion . 69 2.5.2 ErrP Elicitation Paradigms . 71 2.5.3 Experiment Design . 72 2.5.4 Data Collection . 73 2.5.5 ErrP Classifier . 74 2.5.6 Evaluation . 77 2.5.7 Discussion . 81 2.6 Discussion . 81 3 Computational Cognitive Modeling 83 3.1 Introduction . 83 3.2 Related Work . 85 3.2.1 Computational Cognitive Modeling & Cognitive Archi- tectures . 86 3.2.2 Cognitive User Simulation . 86 3.2.3 Computational Cognitive Modeling in Interaction Sys- tems . 88 3.2.4 The cognitive architecture ACT-R . 89 3.2.5 Reinforcement Learning . 90 3.2.6 Threaded Cognition . 91 3.2.7 Knowledge Representation & Memory . 92 3.2.8 Memory Modeling in ACT-R . 93 3.2.9 Limitations of the ACT-R Memory Model . 96 3.2.10 LTMC ........................... 97 3.2.11 Interfacing ACT-R . 98 3.2.12 Adaptive Cognitive Modeling . 99 3.3 Dynamic Large-Scale Memory Model . 101 3.3.1 Flexible, Stand-alone Memory Model . 102 3.3.2 Implementation . 109 3.3.3 DMM Evaluation . 109 3.3.4 Discussion . 114 3.4 Overlay-based Modeling of Workload . 116 3.4.1 Approach: Explicit Representation of Workload Levels as DMM parameters . 117 3.4.2 Experiment Design . 121 3.4.3 Evaluation Results . 126 Contents vii 3.4.4 Discussion . 135 3.5 Dummy Model based Workload Modeling . 136 3.5.1 Computational and Empirical Models . 138 3.5.2 Empirical Workload Model . 139 3.5.3 Experimental Setup . 142 3.5.4 Evaluation