Simulation of Nonverbal Social Interaction and Small Groups Dynamics in Virtual Environments
Total Page：16
File Type：pdf, Size：1020Kb
SIMULATION OF NONVERBAL SOCIAL INTERACTION AND SMALL GROUPS DYNAMICS IN VIRTUAL ENVIRONMENTS THÈSE PRÉSENTÉE A LA FACULTÉ INFORMATIQUE ET COMMUNICATIONS ÉCOLE POLYTECHNIQUE FÉDÉRALE DE LAUSANNE POUR L‘OBTENTION DU GRADE DE DOCTEUR ÈS SCIENCES DANS LE DOMAINE DE L'INFORMATIQUE PAR Anthony GUYE-VUILLÈME Maîtrise ès Sciences Sociales, Université de Lausanne Certificat de Maîtrise de spécialisation en Informatique, École Polytechnique Fédérale de Lausanne originaire de Les Bayards (Neuchâtel) jury: Prof. D. Thalmann, directeur de thèse Prof. P. Dillenbourg, rapporteur Dr. T. Rist, rapporteur Dr. D. Schneider, rapporteur Lausanne, EPFL 2004 Remerciements iii Remerciements Pour le précieux soutien qu'elles m'ont apporté, chacune à leur manière, pendant ces enrichissantes années d'études, de travail et parfois aussi de doutes, je souhaite remercier chaleureusement les personnes suivantes: Mon directeur de thèse, le Professeur Daniel Thalmann, qui m'a accordé sa confiance malgré un profil académique peu classique dans le contexte de l'EPFL, et qui m'a permis de réaliser cette recherche dans les meilleures conditions. Les rapporteurs de cette thèse, le Professeur Pierre Dillenbourg, le Docteur Thomas Rist et le Docteur Daniel Schneider, pour la grande pertinence de leurs commentaires et suggestions. Le jury dans son ensemble, pour l'inattendu honneur qu'il m'a fait en proposant ce travail pour le prix EPFL de doctorats. Le Docteur Tolga Çapin, qui m'a fait croire en ma capacité à réaliser une telle recherche et m'a amicalement mis le pied à l'étrier. Georges Dumoulin et Akram Hajjaoui, qui m'ont permis, par la grande compréhension dont ils ont fait preuve, d'aménager au mieux mon emploi du temps pour la réalisation de ce travail. Fabrice Vergnenegre, le Docteur Frédéric Vexo, Mireille Clavien, Michal Ponder, Sébastien Schertenleib, Bruno Herbelin, Olivier Renault, Josiane Bottarelli et Josiane Gisclon, pour l'aide précieuse qu'ils m'ont apportée chacun dans son domaine. Etienne de Sevin, Pascal Glardon, Raquel Urtasun, Benoît Le Callennec, Luca Vacchetti, Stéphanie Noverraz, Thierry Michellod, Branislav Ulicny, et les autres assistants du VRLab et du CVLab pour les bons moments passés ensemble. Mes parents, Rose-Marie et Jean-Frédéric Guye-Vuillème, pour leur aide et leurs constants encouragements. Last but not least, Beatriz Dias, interlocutrice aux compétences multiples et soutien de tous les instants, sans qui rien n'aurait été possible. Abstract v Abstract How can the behaviour of humans who interact with other humans be simulated in virtual environments? This thesis investigates the issue by proposing a number of dedicated models, computer languages, software architectures, and specifications of computational components. It relies on a large knowledge base from the social sciences, which offers concepts, descriptions, and classifications that guided the research process. The simulation of nonverbal social interaction and group dynamics in virtual environments can be divided in two main research problems: (1) an action selection problem, where autonomous agents must be made capable of deciding when, with whom, and how they interact according to individual characteristics of themselves and others; and (2) a behavioural animation problem, where, on the basis of the selected interaction, 3D characters must realistically behave in their virtual environment and communicate nonverbally with others by automatically triggering appropriate actions such as facial expressions, gestures, and postural shifts. In order to introduce the problem of action selection in social environments, a high-level architecture for social agents, based on the sociological concepts of role, norm, and value, is first discussed. A model of action selection for members of small groups, based on proactive and reactive motivational components, is then presented. This model relies on a new tag- based language called Social Identity Markup Language (SIML), allowing the rich specification of agents’ social identities and relationships. A complementary model controls the simulation of interpersonal relationship development within small groups. The interactions of these two models create a complex system exhibiting emergent properties for the generation of meaningful sequences of social interactions in the temporal dimension. To address the issues related to the visualization of nonverbal interactions, results are presented of an evaluation experiment aimed at identifying the application requirements through an analysis of how real people interact nonverbally in virtual environments. Based on these results, a number of components for MPEG-4 body animation, AML - a tag-based language for the seamless integration and synchronization of facial animation, body animation, and speech - and a high-level interaction visualization service for the VHD++ platform are described. This service simulates the proxemic and kinesic aspects of nonverbal social interactions, and comprises such functionalities as parametric postures, adapters and observation behaviours, the social avoidance of collisions, intelligent approach behaviours, and the calculation of suitable interaction distances and angles. Résumé vii Résumé Comment simuler dans les environnements virtuels le comportement d'humains en interaction avec d'autres humains ? Cette thèse contribue à l'avancement de la recherche dans ce domaine en proposant différents modèles comportementaux, languages, architectures et composants logiciels. Les contributions présentées sont fortement basées sur l'apport des sciences sociales, qui, par les concepts, descriptions et classifications qu'elles proposent, ont guidé le processus de recherche et de développement. La simulation des interactions sociales non-verbales et de la dynamique des groupes restreints dans les environnements virtuels peut être divisée en deux problèmes principaux: (1) un problème de sélection d'action, qui consiste à permettre à des agent autonomes de décider quand, avec qui, et comment ils interagissent, en fonction de leurs caractéristiques et de celles des autres agents, (2) un problème d'animation comportementale, qui consiste à représenter visuellement de manière réaliste, à partir des types d'interaction sélectionnés, les comportements des personnages virtuels en générant un flux d'animations faciales et corporelles appropriées. Afin d'introduire le problème de la sélection d'action dans un contexte social, une architecture de haut niveau pour agents sociaux, basée sur les concepts sociologiques de rôle, norme et valeur, est tout d'abord discutée. Un modèle de sélection d'action applicable aux membres de groupes restreints, comprenant des composants aussi bien réactifs que proactifs, est ensuite présenté. Ce modèle est basé sur SIML, un language de type XML developpé pour permettre la spécification aisée de différentes identités sociales. Un second modèle simule l'évolution des relations interpersonnelles au sein des groupes restreints. Les interactions de ces deux modèles créent un système complexe ayant des propriétés émergentes, permettant la génération de séquences d'interactions réalistes dans le temps. Pour déterminer les besoins en termes de fonctionnalités liés à la visualisation des interactions non-verbales, les résultats d'une évaluation qualitative de la manière dont des sujets réels agissent entre eux dans le contexte d'un environnement virtuel sont tout d'abord présentés. Un certain nombre de composants pour le standard d'animation MPEG-4, AML - un language permettant l'intégration et la synchronisation d'animations faciales, corporelles et de la synthèse de parole, ainsi qu'une service de visualisation d'interactions non-verbales pour la plateforme logicielle VHD++ sont ensuite décrits. Il est expliqué comment ce service permet la simulation des aspects kinésiques et proxémiques des interactions sociales, comprenant entre autre la génération automatique de postures et de comportements d'observation, l'évitement social de collision, des trajectoires d'approche intelligentes, et le positionnement adéquat des participants aux interactions en termes de distance et d'orientation. Table of Contents ix Table of Contents Remerciements __________________________________________________________________________ iii Abstract _________________________________________________________________________________ v Résumé_________________________________________________________________________________ vii Table of Contents ________________________________________________________________________ ix Chapter 1 ● Introduction ___________________________________________________________________ 1 1.1 Motivation and Objectives ________________________________________________________ 1 1.2 Definitions _____________________________________________________________________ 3 1.2.1 Social Behaviour and Social Interaction_____________________________________________ 3 1.2.2 Nonverbal Communication and Nonverbal Behaviour__________________________________ 3 1.2.3 Small Groups and Group Dynamics________________________________________________ 4 1.3 Literature Review _______________________________________________________________ 5 1.3.1 Artificial Intelligence and Autonomous Agents_______________________________________ 5 1.3.2 Artificial Life and Action selection ________________________________________________ 6 1.3.3 Social Simulation and Social Agents _______________________________________________ 7 1.3.4 Behavioural Animation and Embodied Agents _______________________________________