MESTRADO MULTIMÉDIA - ESPECIALIZAÇÃO EM TECNOLOGIAS A framework for the manipulation of video game elements using the player’s biometric data Manuel César Bessa Seixas M 2016 FACULDADES PARTICIPANTES: FACULDADE DE ENGENHARIA FACULDADE DE BELAS ARTES FACULDADE DE CIÊNCIAS FACULDADE DE ECONOMIA FACULDADE DE LETRAS FACULDADE DE ENGENHARIA DA UNIVERSIDADE DO PORTO A framework for the manipulation of video game elements using the player’s biometric data Manuel César Bessa Seixas Mestrado em Multimédia Orientador: Pedro Cardoso (Assistente Convidado) Co-orientadores: Miguel Carvalhais (Professor Auxiliar) Rui Rodrigues (Professor Auxiliar) Julho de 2016 © Manuel César Bessa Seixas, 2016 A framework for the manipulation of video game elements using the player’s biometric data Manuel César Bessa Seixas Mestrado em Multimédia da Universidade do Porto Aprovado em provas públicas pelo Júri: Presidente: Nuno Honório Rodrigues Flores (Professor Auxiliar) Vogal Externo: Carlos José Ribeiro Campos (Equiparado a Assistente 1º Triénio) Orientador: Pedro Jorge Couto Cardoso (Assistente Convidado) ____________________________________________________ 15 de Julho de 2016 Abstract The following dissertation focuses on the use of several physiological signals produced by human players to manipulate several game elements. These elements comprehend the game mechanics, aesthetics, behaviour of elements that act in opposition to the player, dialogues and narrative, among others. Our objective is the development of a framework aimed at supporting games that use, or intend to use, biofeedback. Looking for a solution (and inspiration), we studied how biofeedback is being presently applied, either in scientific experiences or commercially, type of biometric sensors are available in the market, other frameworks with similar purposes, as well as profiling and dramatic tension in games. The result is an application able to collect the players' biometric data, as well as their affective state, turning it into values usable by the game; and a rules system with the aim of streamlining this data handling. Keywords: biofeedback, affective feedback, affective gaming, framework, video games Resumo A presente dissertação foca-se na utilização dos vários sinais biométricos produzidos pelo ser humano (neste caso específico, os do jogador) para manipulação dos vários elementos existentes num videojogo. Estes elementos abrangem as mecânicas de jogo, estética, comportamento dos elementos que actuam em oposição ao jogador, diálogos e narrativa, entre outros. O nosso objectivo é o desenvolvimento de uma framework direccionada ao suporte de jogos que pretendam utilizar, ou utilizem, biofeedack. À procura de uma solução (e inspiração), estudou-se a forma como o biofeedback é empregue na actualidade, na área científica e comercial, os tipos de sensores biométricos disponíveis no mercado, outras frameworks com objectivos semelhantes, bem como profiling e tensão dramática em jogos. O resultado é uma aplicação capaz de captar a diversa informação biométrica proveniente do jogador, bem como o seu estado afectivo, transformando-os em valores utilizáveis pelo jogo; e um sistema de regras cujo o intuito é facilitar e agilizar a utilização destes dados. Palavras-chave: biofeedback, feedback afectivo, jogos afectivos, framework, videojogos Agradecimentos Gostava de agradecer ao meus orientadores Professor Rui Rodrigues, Professor Miguel Carvalhais e Professor Pedro Cardoso por toda a ajuda que me deram ao longo desta dissertação. Um agradecimento especial ao Professor Pedro Cardoso (e um pedido de desculpas) por todos os erros ortográficos (não eram de propósito, eu juro!). Manuel César Contents Introduction ....................................................................................................................... 1 1.1 The initial idea ........................................................................................... 2 1.2 Relevance and study's contribution ........................................................... 2 1.3 Objectives of the work ............................................................................... 3 1.4 Methodologies ........................................................................................... 3 1.5 Dissertation structure ................................................................................. 3 State of the Art .................................................................................................................. 5 2.1 Finding emotion......................................................................................... 5 2.1.1 Core Affect ...................................................................................... 6 2.1.2 Emotion ........................................................................................... 6 2.1.3 Mood ............................................................................................... 8 2.1.4 Emotional Traits .............................................................................. 9 2.1.5 Sentiments ....................................................................................... 9 2.1.6 Two types of emotion .................................................................... 10 2.2 Representing emotion .............................................................................. 11 2.2.1 Russell's circumplex model of affect ............................................ 11 2.2.2 Plutchik's circumplex model of affect ........................................... 13 2.2.3 Lövheim's cube of emotion ........................................................... 14 2.3 Affective and biofeedback ....................................................................... 15 2.3.1 Biofeedback ................................................................................... 15 2.3.2 Affective computing ...................................................................... 17 2.3.3 Affective feedback ........................................................................ 17 2.3.4 Types of biometric data ................................................................. 18 2.3.5 Ways of collecting biometric data ................................................. 21 2.4 Other frameworks for biofeedback. ......................................................... 22 2.5 Profiling ................................................................................................... 24 2.6 Dramatic tension in games ...................................................................... 28 2.7 Summary and conclusions ....................................................................... 33 Conceiving a framework for the manipulation of video game elements using the player's biometric data. .................................................................................................. 35 3.1 Uses of biofeedback in video games. ...................................................... 35 3.1.1 Influence or change the game aesthetics ....................................... 36 3.1.2 Dynamically adapt the players’ actions and performance ............. 40 3.1.3 Complement the game’s controller as a form of input .................. 41 3.1.4 Control the player’s avatar behaviour, precision and performance ................................................................................... 42 3.1.5 Control the elements that act in opposition or a neutral to the player ............................................................................................. 43 3.1.6 Control the game's difficulty ......................................................... 44 3.1.7 Change or adapt the game's narrative ............................................ 45 3.1.8 Manipulate the dramatic tension in a game ................................... 47 3.1.9 Generation the game level layout .................................................. 48 3.2 General description of the framework ..................................................... 50 3.2.1 The rules system ............................................................................ 55 3.2.2 Three ways to handle input data history ........................................ 58 3.3 Summary and conclusions ....................................................................... 60 Implementation of the framework and other support tools ........................................ 61 4.1 Biometrics Input ...................................................................................... 61 4.1.1 Technologies used ......................................................................... 62 4.1.2 Configuring the component ........................................................... 63 4.1.3 Flow and inner workings ............................................................... 75 4.2 Framework (game side) ........................................................................... 76 4.2.1 Technologies used ......................................................................... 77 4.2.2 Biometrics Core............................................................................. 77 4.2.3 Biometrics Receiver ...................................................................... 78 4.2.4 Biometrics Logger ......................................................................... 79 4.2.5 Installation process ........................................................................ 79 4.3 Rules system ............................................................................................ 80 4.3.1 Technologies used ........................................................................