You Give Me The Creeps! The Uncanny Valley and Oculesics MASTER THESIS A thesis submitted in partial fulfillment of the requirements for the degree of “Master of Arts in Arts and Design” MultiMediaArt University of Applied Sciences Salzburg Author: Ilonka van Houwelingen Supervisors: FH-Prof. Dr. Michael Manfé (1st supervisor with regard to contents) DI (FH) Michael Großauer (2nd supervisor with regard to contents) Salzburg, 15 July 2016 Acknowledgements Acknowledgements Writing this master thesis has been a long road and there are several people who helped me on this way. First, I would like to thank my two supervisors FH-Prof. Dr. Michael Manfé and DI (FH) Michael Großauer from the University of Applied Science Salzburg, for their input, time and positive feedback. Secondly, I thank my friend Sebastian Geschke for his time to read everything, but especially for his patient every time I talked about my thesis. This cannot have been very interesting anymore after so many times. Next, I would like to thank my brother Marco van Houwelingen for his time and effort to read my thesis and his useful feedback. Also I would like to thank my parents, family and friends for all their support and interest about the progress of my work. And the most important person, I would like to thank my girlfriend Magdalena Birkl, without you there would not have been a master thesis. Thank you for pushing me and believing in my ability to finish it. 2 | P a g e Eidesstattliche Erklärung Eidesstattliche Erklärung Hiermit versichere ich, Ilonka van Houwelingen, geboren am 15. April 1985 in Bennekom, die Niederlande, dass ich die Grundsätze wissenschaftlichen Arbeitens nach bestem Wissen und Gewissen eingehalten habe und die vorliegende Masterthesis von mir selbstständig verfasst wurde. Zur Erstellung wurden von mir keine anderen als die angegebenen Quellen und Hilfsmittel verwendet. Ich versichere, dass ich die Masterthesis weder im In- noch Ausland bisher in irgendeiner Form als Prüfungsarbeit vorgelegt habe und dass diese Arbeit mit der den Begutachtern vorgelegten Arbeit übereinstimmt. Salzburg, den 15.07.2016 1210627040 ____________________________ _________________________ Ilonka van Houwelingen Matrikelnummer 3 | P a g e Kurzfassung Kurzfassung Vor- und Zuname: Ilonka van Houwelingen Institution: Fachhochschule Salzburg Studiengang: MultiMediaArt Titel: You Give Me The Creeps! The Uncanny Valley and Oculesics Begutachter (1): FH-Prof. Dr. Michael Manfé Begutachter (2): DI (FH) Michael Großauer Schlagwörter: 1. Uncanny Valley 2. Oculesics 3. Gesichtsausdrücke der Emotionen Wenn ein Computer-Grafik (CG) Charakter in seiner Erscheinung zu nah an das Aussehen eines echten Menschen herankommt, kann das beim ZuschauerIn ein unheimliches Gefühl auslösen. Dieses Phänomen wurde das erste Mal durch Masahiro Mori beschrieben und heißt das Uncanny Valley. In einigen Filmen haben die Schöpfer versucht die Charaktere wie echte Menschen aussehen zu lassen. Diese Charaktere haben im Anschluss schlechte Kritiken bekommen, die mit dem Uncanny Valley verbunden werden können. Insbesondere die Augen haben negative Aufmerksamkeit bekommen. Es gibt mehr als eine Theorie über das Uncanny Valley und warum das Phänomen auftritt. Der Begriff unheimlich (uncanny) ist das erste Mal beschrieben als intelektuelle Unsicherheit und ein Geheimnis, das im verborgenen bleiben sollte aber hervorgetreten ist in verschiedenen Essays von Jentsch (1906/1997) und Freud (1919) am Anfang des 20 Jahrhunderts. Weitere Theorien über das Uncanny Valley basieren auf der Angst ersetzt zu werden, die Angst vor inteligenten Maschinen und die natürliche menschliche Angst vor Gefahr und Tod. Um den Einfluss der Augen von CG-Charaktern besser zu verstehen, beschäftigt sich diese Arbeit mit Oculesics, die Rolle der Augen in nonverbaler Kommunikation. Dafür werden die Gesichtsausdrücke der Emotionen mit Hilfe des Facial Action Coding Systems von Ekman und Friesen untersucht. Ebenfalls werden die Bewegungen der Augen, die Pupillenerweiterung und das Augenzwinkern diskutiert. Abschließend werden die Unterschiede in Oculesics zwischen Charakteren der Filme The Polar Express (2004) und The Adventures of Tintin: The Secret of the Unicorn (2011) diskutiert. 4 | P a g e Abstract Abstract First and last name: Ilonka van Houwelingen Institution: University of Applied Sciences Salzburg Course of Studies: MultiMediaArt Title: You Give Me The Creeps! The Uncanny Valley and Oculesics Supervisor (1): FH-Prof. Dr. Michael Manfé Supervisor (2): DI (FH) Michael Großauer Keywords: 1. Uncanny Valley 2. Oculesics 3. Facial Expressions of Emotions When a Computer Graphic (CG) character’s appearance becomes to near to a real human being, this can give the perceiver a feeling of uneasy or uncanny. This phenomenon is first described by Masahiro Mori and it is called the uncanny valley. In some movies the creators have tried to make the characters near human-like. These characters have received negative reviews referring to the uncanny valley. Especially the eyes are getting negative attention. There is more than one theory about why the uncanny valley phenomenon occurs by people. The term uncanny is first described as intellectual uncertainty and something secret that emerges but should have stayed concealed in the different essays by Jentsch (1906/1997) and Freud (1919). Other theories about the uncanny valley are based on the fear of being replaced, the fear of intelligent machines and the human’s natural fear of danger and death. To see what the influences of the eyes of a CG-character are, this thesis studies oculesics, the role of the eyes in nonverbal communication. Here, we look at the facial expression of emotion with references to the Facial Action Coding System of Ekman and Friesen. Also the movements of the eyes, pupil dilation and blinking rate are discussed. In the end we compare the differences in oculesics between the characters in the movies The Polar Express (2004) and The Adventures of Tintin: The Secret of the Unicorn (2011). 5 | P a g e Table of Contents Table of Contents 1 Introduction ...................................................................................................................... 10 1.1 Research Interest ................................................................................................. 10 1.2 Field of Research and Research Question ............................................................ 10 1.4 Structure ............................................................................................................... 11 1.5 Notes on Reading ................................................................................................. 12 2 Understanding the Uncanny Valley .............................................................................. 13 2.1 Creepiness ........................................................................................................... 13 2.2 Ernst Jentsch and Sigmund Freud ........................................................................ 14 2.3 The Uncanny Valley by Masahiro Mori .................................................................. 18 2.3.1 The Effects of Movement ............................................................................... 22 2.3.2 Individual Responses ..................................................................................... 22 2.3.3 Examples of the Uncanny Valley.................................................................... 24 2.4 Theories about the Uncanny Valley ...................................................................... 28 2.4.1 Doppleganger ................................................................................................ 28 2.4.2 Expectation Violation ..................................................................................... 29 2.4.3 Mixed Human Identity and Cognitive Dissonance .......................................... 30 2.4.4 Evolutionary Aesthetics .................................................................................. 30 2.4.5 Theory of Disgust ........................................................................................... 31 2.4.6 Terror Management and Subconscious ......................................................... 32 2.4.7 Lack of Empathy ............................................................................................ 33 2.4.8 Mind Perception ............................................................................................. 35 2.5 The Eyes and the Uncanny Valley ........................................................................ 36 2.6 Summary .............................................................................................................. 39 3 Understanding Oculesics ............................................................................................. 40 3.1 The Anatomy of Facial Muscles and the Eyes ....................................................... 40 3.1.1 Facial Muscles in the Upperpart of the Face .................................................. 40 6 | P a g e Table of Contents 3.1.2 The Anatomy of the Eye ................................................................................ 42 3.2 Nonverbal Communication .................................................................................... 43 3.3 Emotions ............................................................................................................... 44 3.4 Facial Expressions of Emotions ...........................................................................