Facing the Challenge of Automated Negotiation with Humans A dissertation submitted by Angela Fabregues Vinent at Universitat Aut`onomade Barcelona to fulfill the degree of PhD in Computer Science. Bellaterra, September 18th, 2012 Director: Prof. Carles Sierra Tutor: Dr. Josep Puyol Elaborated at: Institut d’ Investigaci´o en Intel·lig`encia Artificial Consejo Superior de Investigaciones Cient´ıficas (IIIA-CSIC) Acknowledgements Voldria agrair a molta gent el temps que ha compartit amb mi aquests darrers anys corresponents a la realitzaciod'aquesta tesi doctoral. Especialment, voldria donar les graciesa en Juan Carlos. Sempre m'has acompanyat. Sempre m'has ajudat. Sempre has estat allaquan t'he necessitat, ja fossis al meu costat o a milles enfora. Ara que nos veim cada dia, esper no te cansis de jo. T'estim! Molts coneixements previs he hagut de menester. Molts altres els he adquirit pel cam.L'escola, l'institut, la carrera i el mastera l'IIIA m'han aportat molts d'ells. Tambeel meu pas per l'empresa privada, per tot arreu s'apren. Els valors, en canvi, s'aprenen a casa. Els vaig aprendre a Menorca graciesals meus pares i tambeals meus germans. Papa! Mama! Me vau donar una infanciaimpressionant, envoltada d'un entorn ple de coses per experimentar sentint-me segura i protegida. Me vau deixar creixer,que formessa meva propia personalitat, que anesagafant responsabilitats, i que fos lliure de decidir per jo mateixa lo que ningumespodia decidir. Vau conar en jo i me vau nancar els estudis a Barcelona. Casi res! Moltes graciesper tot. Bep, amb tu vaig aprendre a enraonar, a donar mil voltes a ses coses i a poder veure-les des de diferents punts de vista. Molt util.Joan, company de mil peripeciesi experiments. Mira si nos duim beque anys despreshem tornat a viure junts. A veure quina sera sa propera que nos passa. Esper sigui bona. \Culpables" directes de la meva trajectoriaacademicason en Joaquim Font, en Cerquides, na Maite, na Noyda, en Francesc, n'Arcos, i com no, en Carles. Tots heu inu•t directament en decisions clau de la meva vida academicai professional. Com crec que m'han portat per un bon cam,no vull deixar passar l'ocasiod'agrair-vos-ho. Carles, graciesper deixar-me gaudir d'aquests anys de doctorat. Seque en alguns moments puc arribar a ser un corc, de vegades es imprescindible. Per les altres em disculpo i t'agraeixo la paciencia.Diuen que amb el temps els estudiants s'assemblen als seus directors. Tan de bo se m'hagin enganxat algunes coses de tu. Companys d'aventures, bromes, viatges, moments difcilsi celebracions n'hi ha molts. Vull esmentar principalment a en Dani i na Txell. Perotambea la resta de l'IIIA: n'Isaac, n'Amanda, na Patricia, en Nin, en Jordi, n'Anna, en Tito, en Ramon(durequalque botil), en Pedro (traerequeso), en Llus,na Pilar, en Pablo, na Sandra, en JAR, en Felix, en Marco, n'Ana, na Montse, n'Imma, na Carol, na Nuria, ... tots no hi cabeu. Segur que m'oblido de gent important. Perdoneu. Una de les parts mesinteressants del doctorant esla realitzaciod'estades en altres centres de recerca. Voldria agrair l'oportunitat de fer aquestes estades a Londres, Jerusalem i Tel Aviv a: Prof. Mike Luck, Prof. Mark D'Inverno, Prof. Je Rosenschein i Prof. Sarit Kraus. Tambe vull agrair als seus estudiants i colaboradors, i a amics que he fet per aquests indrets: Samhar, Sanjay, Matthew, Padmaja, Yato i Michelle, Yael, Reshef, Noam, Roy, Roi, Kobi and Raz. Entranyables sontambeels nostres amics de Valencia:Maria, Elena, Jose, Natalia, Estela, Eva, Carlos i Vicent. Fem tanta pinya que es pensen els de fora que som del mateix laboratori. Bon senyal. Research supported by the Agreement Technologies CONSOLIDER project under contract CSD2007-0022 and INGENIO 2010, and by the Agreement Tech- nologies COST Action, IC0801. iii Abstract The research eld of negotiation has been studied from many dierent perspec- tives, among them: game theory, psychology, business, neuroeconomics, and psychopharmacology. The computational study of negotiations is denoted by automated negotiation. Most works on automated negotiation assume ratio- nal agents and static negotiation problems. However, humans are rationally bounded, and their negotiations are usually dynamic. It is often impossible to explore the complete negotiation space due to time limitations and the dynamics of the problem. By the time that an optimal solution is found, the solution is not optimal any more. Currently available testbeds on automated negotiation share the same shortcomings. Those testbeds that intend to involve humans in experiments assume that humans are rational, or are dened over articial domains that require intense instruction of experiment participants. This thesis contributes to automated negotiation dening an agent architecture suitable to negotiate with humans, and a testbed that allows for an easy participation of humans in experiments. We denote the agent architecture by HANA. It allows multiple bilateral ne- gotiations about actions, and deals with pre-negotiation looking for good enough sets of actions and oers. It is a modular architecture based on an ecological model of rationality. The mental state of the agent is represented as graded be- liefs, dynamic desires and general intentions. We use a novel search&negotiation technique where search and negotiation go hand in hand: the former providing oers to propose, and the later providing commitments for pruning the search space, and information for ne-tuning the evaluation of oers. Several negotia- tion strategies are provided that can be dynamically combined. The architecture is extensible, allowing the incorporation of new behavioural models. The name of the testbed is DipGame. It is based on a popular board game where being a skilled negotiator is crucial for winning. DipGame allows the study of relationships, emotions, and coalitions that take place during succes- sive negotiations involving humans. There are many research opportunities in dierent topics all of them connected to negotiation. The study of a topic or another is selected constraining the negotiation language used during the game. The testbed provides a framework for agent development, and several nego- tiation utilities for the representation of messages and communication among agents. It assists the execution of experiments using a graphical software appli- cation called GameManager. It facilitates the inclusion of humans with another application called ChatApp. Moreover, the analysis of results is supported by a dierent application called DipTools. This thesis is completed with a formal denition of the problem, a formal specication of the game, and the application of the work to the game industry. v Resum El camp de recerca en negociacioha estat estudiat des de diferents perspec- tives. Entre elles: la teoria de jocs, la psicologia, els negocis, la neuro-economia, i la psico-farmacologia. L'estudi computacional de la negociacios'anomena negociacioautomatica. La majoria de les feines sobre negociacioautomatica assumeixen que els agents sonracionals, i els problemes estatics. En canvi, els essershumans sonracionalment limitats, i els problemes acostumen a ser dinamics.Sovint resulta impossible explorar l'espai de negociaciocomplet degut a l'esgotament del temps i al dinamisme del problema. En el moment en quees troba una soluciooptima,aquesta ja ha deixat de ser optimades de fa temps. Els actuals bancs de proves disponibles sobre negociacioautomaticaes troben amb els mateixos problemes. Els que pretenen ser compatibles amb agents hu- mans assumeixen que aquests sonracionals, o utilitzen dominis articials que requereixen una instrucciointensiva dels essershumans per tal que puguin par- ticipar en els experiments. Aquesta tesi contribueix a la negociacioautomatica denint una arquitectura d'agent adequada per a negociar amb els humans, i un banc de proves que resol els problemes existents a l'hora d'incloure humans en els experiments. L'arquitectura d'agent s'anomena HANA, permet multiplesnegociacions bi- laterals sobre accions a realitzar, i s'ocupa de la pre-negociaciotot cercant bons conjunts d'accions i ofertes. Es tracta d'una arquitectura modular basada en un model ecologicde la racionalitat. L'estat mental de l'agent es representa amb graus de creences, desitjos dinamicsi intencions generals. Utilitzem una nova tecnicade cerca&negociacioon la cerca i la negociaciovan de la ma:una pro- porcionant ofertes per a proposar, i l'altra compromisos per a podar l'espai de cerca, i informacioper a anar l'avaluaciode les ofertes. Es deneixen diverses estrategiesde negociacioque es poden combinar dinamicament. L'arquitectura esextensible permetent la incorporaciode nous models de comportament. El banc de proves s'anomena DipGame i es basa en un joc de taula molt popular on ser un bon negociador escrucial per a guanyar. Aquest banc de proves permet l'estudi de les relacions, les emocions i les coalicions que tenen lloc durant successives negociacions entre essershumans. Hi ha moltes oportunitats d'estudi en diversos temes de recerca, tots ells vinculats a la negociacio.L'estudi d'un tema o d'un altre es selecciona restringir el llenguatge utilitzat durant el joc. El banc de proves proporciona un marc pel desenvolupament d'agents i diverses eines de negociacioper a la representaciodels missatges i la comunicacioentre ells. DipGame donasuport a l'execuciod'experiments utilitzant un programa anomenat GameManager, i facilita la inclusiodels essers humans amb un altre programa anomenat ChatApp. A mes,es donasuport a l'analisidels resultats amb un programa diferent anomenat DipTools. Aquesta tesi es completa amb una denicioformal del problema, una especi- cacioformal del joc i l'aplicaciodel treball a la industriadels jocs. vii Contents 1 Introduction 1 1.1 Motivation . 1 1.2 Contributions . 6 1.3 Overview . 9 2 Background 13 2.1 Multiple bilateral negotiation . 13 2.2 Pre-Negotiation . 15 2.3 Testbeds . 16 2.4 The Diplomacy Game . 19 2.4.1 Description of the game . 19 2.4.2 Player Community .