MASARYKOVA UNIVERZITA FAKULTA INFORMATIKY Û¡¢£¤¥¦§¨ª«¬­Æ°±²³´µ·¸¹º»¼½¾¿Ý Experimentální porovnání knihoven na detekci emocí pomocí webkamery DIPLOMOVÁ PRÁCE Bc. Milan Záleský Brno, podzim 2015 Prohlášení Prohlašuji, že tato diplomová práce je mým p ˚uvodnímautorským dílem, které jsem vypracoval samostatnˇe.Všechny zdroje, prameny a literaturu, které jsem pˇrivypracování používal nebo z nich ˇcerpal,v práci ˇrádnˇecituji s uvedením úplného odkazu na pˇríslušnýzdroj. Bc. Milan Záleský Vedoucí práce: RNDr. Zdenek Eichler i Klíˇcováslova OpenCV, facial expression analysis, webcam, experiment, emotion, detekce emocí, experimentální porovnání ii Podˇekování DˇekujiRNDr. Zdenku Eichlerovi, vedoucímu mé práce, za výteˇcnémento- rování, ochotu pomoci i optimistický pˇrístup, který v pr ˚ubˇehumého psaní projevil. Dˇekujisvým pˇrátel˚uma rodinˇeza opakované vyjádˇrenípodpory. V neposlední ˇradˇetaké dˇekujivšem úˇcastník˚umexperimentu, bez jejichž pˇrispˇeníbych porovnání nemohl uskuteˇcnit. iii Obsah 1 Úvod ...................................1 2 Rozpoznávání emocí ..........................2 2.1 Co je to emoce? . .2 2.2 Posouzení emocí . .3 2.3 Využití informaˇcníchtechnologií k rozpoznávání emocí . .3 2.3.1 Facial Action Coding System . .5 2.3.2 Computer vision . .6 2.3.3 OpenCV . 11 2.3.4 FaceTales . 13 3 Metoda výbˇeruknihoven pro rozpoznávání emocí ........ 15 3.1 Kritéria užšího výbˇeru . 15 3.2 Instalace knihoven . 17 3.3 Charakteristika knihoven zvolených pro srovnání . 20 3.3.1 CLMtrackr . 20 3.3.2 EmotionRecognition . 22 3.3.3 InSight SDK . 24 3.3.4 Vzájemné porovnání aplikací urˇcenýchpro experiment 25 4 Návrh experimentu ........................... 27 4.1 Pˇrípravaexperimentálního porovnání knihoven . 28 4.2 Promˇennéexperimentu . 29 4.2.1 Nezávislé promˇenné. 29 4.2.2 Závislé promˇenné . 29 4.2.3 Sledované promˇenné . 30 4.2.4 Vnˇejšípromˇenné . 30 4.3 Typ návrhu experimentu . 30 4.3.1 Faktoriální design 4 x 2 . 30 4.3.2 Within-subjects design . 30 5 Pr ˚ubˇehexperimentu .......................... 32 5.1 Pˇrípravapodmínek pro vykonání experimentu . 32 5.1.1 Použitý hardware . 33 5.1.2 Metoda výbˇeru a složení úˇcastník˚u . 33 5.2 Provedení experimentu . 35 6 Vyhodnocení experimentu ...................... 38 6.1 Zpracování získaných záznam ˚u. 38 6.2 Chyby v pr ˚ubˇehudetekce obliˇcejea rozpoznávání emoce . 39 6.3 Statistická analýza dat . 40 6.3.1 Detekce spontánního smutku . 41 iv 6.3.2 Detekce spontánní radosti . 43 6.3.3 Detekce zámˇernéhosmutku . 43 6.3.4 Detekce zámˇernéradosti . 45 6.3.5 Detekce neutrality . 45 6.3.6 Detekce hnˇevu . 45 6.4 Kontrola správnosti hypotéz . 46 6.4.1 Porovnání spontánního vyjádˇreníse zámˇerným. 46 6.4.2 Vliv vˇekuna kvalitu rozpoznávání vyjádˇrení . 46 6.4.3 Rozdíl mezi mužem a ženou v detekci obliˇcejových emocí . 48 6.4.4 Ovlivˇnujenalíˇcenírozpoznání výrazu? . 49 6.4.5 Délka vous ˚uu muž ˚u . 49 6.4.6 Korekce zraku v podobˇedioptrických brýlí . 50 6.4.7 Vliv míry vyjadˇrováníemocí na kvalitu detekce . 50 6.4.8 Vliv poˇcáteˇcnínálady na rozpoznání emocí . 51 6.5 Porovnání knihoven na základˇevýsledk ˚u . 51 7 Závˇer ................................... 53 Vysvˇetlivky ................................. 54 PˇrílohaA ................................... 56 Tabulka základních FACS . 56 PˇrílohaB ................................... 58 Dotazník . 58 PˇrílohaC ................................... 59 Krabicové grafy rozložení hodnot úspˇešnostirozpoznání emocí . 59 Spontánní smutek . 59 Zámˇernýsmutek . 60 Zámˇernáradost . 61 Hnˇev ................................ 62 Neutralita . 63 Pr ˚umˇer4 hodnot úspˇešnosti(oba typy smutku i radosti) . 64 v 1 Úvod Osobnˇevnímám emoce jako d ˚uležitousouˇcástlidského života. Na základˇe emocí ˇcinímrozhodnutí – jedno z nich bylo vybrání si daného tématu, jež dalo vzniknout základu celého textu. Skrze pocity a aktuální naladˇenítaké vnímám svˇetokolo sebe a vše, z ˇcehose skládá. Kromˇeizolovaného do- padu, jenž výraznˇe(at’ již pozitivnˇe,ˇcinegativnˇe)ovlivˇnujekvalitu proží- vání každého okamžiku jedince, považuji za nezbytné zohlednˇeníi vzájem- ných vliv ˚ua interakce v rámci skupiny osob, napˇr.šíˇrenípaniky, ˇcinadšení. V rámci neustávajícího vývoje technologií dochází ke snaze o zvyšo- vání uživatelské (posunu-li se o úroveˇnvýše, pak lidské) pˇrívˇetivosti,která se m ˚užeprojevit v rozšiˇrování základní funkcionality pˇrístroj ˚uo práci s emoce-mi. Mezi nˇekolikvybraných pˇríklad˚uz bˇežnéhoživota patˇríelek- troniˇctíroboti (pocity vyjadˇrují,ale mohou je také pˇriinterakci s ˇclovˇekem analyzovat) sloužící pro zábavu a pomoc s urˇcitýmiúkony, dialogové sys- témy, které své reakce pˇrizp˚usobujíaktuálnímu uživatelovu naladˇenía ana- lýza emocí urˇcenak dalšímu zpracování – zábˇeryz kamer detekující pode- zˇrelep ˚usobící(napˇr.nervózní, vystrašené) osoby aj. Na rozpoznávání obliˇcejovýchemocí snímaných webkamerou a porov- nání naprogramovaných knihoven urˇcenýchk jejich detekci se zamˇeˇruji ve své diplomové práci. Hlavní motivací je pro mˇetouha o hlubší proniknutí do zvolené problematiky a urˇcitézmapování souˇcasných,pˇredevšímbez- platnˇevyužitelných, ˇrešenívˇcetnˇeurˇceníúrovnˇea pˇresnosti,na jaké se v detekci pohybují. Pro získání vstupních dat, zde konkrétnˇezábˇerytváˇrí osob vyjadˇrujícípožadované pocity, volím experimentální pˇrístupve snaze o dosažení co nejvˇetšíautenticity projevu. Získané hodnoty dále zpracová- vám statistickými (kvantitativními) i kvalitativními metodami a následnˇe vyvozuji závˇer. V úvodní ˇcástipráce (kapitola 2) definuji pojem emoce, popisuji jakým zp ˚usobemmohou být posuzovány a poté zpracovány prostˇrednictvímin- formaˇcníchtechnologií. Ve tˇretíkapitole se již detailnˇevˇenujivýbˇeru a cha- rakteristice knihoven urˇcenýchk rozpoznávání emocí. V dalších ˇcástech pˇredstavujipodobu pˇripravovanéhoexperimentu s uskuteˇcnˇenýmpr ˚ubˇe- hem. V šesté kapitole provádím nad získanými daty výpoˇctya vyhodnocuji celé porovnání, následované závˇerem. Pro lepší srozumitelnost obsahu pˇri- kládám na konci práce i vysvˇetlivkypojm ˚u,jež považuji pro informatickou veˇrejnostza ménˇeznámé a nevˇenujijim patˇriˇcnoupozornost pˇrímov textu. 1 2 Rozpoznávání emocí Pˇredpokládám,že vˇetšinalidské populace projev emocí zná a je jí blízký. Pˇrestoje nezbytné vymezit, co vše daný termín zahrnuje a pˇriblížitme- todu posuzování emocí. Níže také nastíním možnosti využití informaˇcních technologií k rozpoznávání emocí. Vˇetšípozornost vˇenujipˇredevšímvýra- z ˚umobliˇceje,nebot’ jejich sledování a analýzu využívám i v praktické ˇcásti práce. 2.1 Co je to emoce? Odpovˇed’ na uvedenou otázku jsem se rozhodl hledat v knize Emotion- Focused Cognitive Therapy1[1]. Mick Power se zde dostává k definici emocí a jejich roli v bˇežnémživotˇejedince skrze pˇríkladfilmu The Invasion of the Body Snatchers2. Ve zmínˇenémsnímku p ˚usobíhumanoidní druh, který se liší od bˇežnýchlidí pouze nemožností vyjádˇritemoce. Nˇekolikdo- tázaných se po zhlédnutí filmu svˇeˇrilo,že ve svém okolí znají jedince, kteˇrí trpí podobným neduhem. Power v návaznosti na jejich vyjádˇrenípopisuje pˇrípady, kdy se u nˇekohovyskytuje bud’ pˇrílišnízká, nebo naopak pˇrílišvy- soká míra projevu emocí. Pro samotnou definici rozsahu slova emoce jsem se rozhodl využít Power ˚uvvýklad, na který dále navážu: “Emotions are mental and bodily states that typically comprise a constellation of physiological, behavioural and psychological pro- cesses that follow the appraisal or evaluation of a situation or event as relevant to the individual’s goals. These goals range from basic drive-based survival goals to higher-order interpersonal and aes- thetic goals. There are a limited set of such emotion states that in- clude fear, sadness, anger disgust and happiness, all of which have come to signal in a multitask multilevel system shifts in the prior- ity of goal-based functioning and from which an infinite range of more complex emotions are derivable. These emotion states are nor- mally short-lived in nature and need only last a matter of seconds or minutes; when they become more chronic, they are normally referred to as ‘moods’ for which the instigating situation or event may have 1. Knihu a definice Micka Powera využívám z d ˚uvodu,že je na její teorii postaven tré- novací program FaceTales[2] sloužící k nauˇceníse rozpoznávání emocí z výraz ˚uobliˇceje. Programu FaceTales se detailnˇejivˇenujiv sekci 2.3 Využití informaˇcníchtechnologií k roz- poznávání emocí. 2. V CRˇ byl film uveden pod názvem Invaze zlodˇej˚utˇel 2 2. ROZPOZNÁVÁNÍ EMOCÍ been forgotten. The conscious aspect of an emotion is referred to as its ‘affect’ or ‘feeling’, though under many circumstances emotions can be unconscious and have no reportable affect state.“[1] Za d ˚uležitépovažuji rozlišení mezi emocí a náladou, jež spadá spíše do myšlenkového stavu. Je vhodné se také umˇetorientovat v typech projev ˚u emocí, v rámci mé práce se dále zamˇeˇrímna fyzické projevy, pro jejichž vyvolání musím nalézt relevantní stimul. 2.2 Posouzení emocí Podle Powera souˇcasnýlékaˇrskýpˇrístupk mˇeˇrenía diagnostikování emocí nereaguje dostateˇcnˇeflexibilnˇena moderní trendy a míru poznání, zacho- vává si namísto nich tradiˇcnípostupy, na jejichž základˇem ˚užemezi jednot- livými diagnostickými pˇrístupydocházet k rozporu [1]. Ke ztížení a snížení možnosti rozpoznání emocí m ˚uževést oˇcekávání jedince, že následující situace bude emotivní, tudíž se na ni pˇripravía do- káže nastupující pocity lépe potlaˇcit[3]. Power regulaci emocí více zobec- ˇnujea pˇredpokládá,že lidé pˇredcházínepˇríjemnýmprojev ˚umpodobným zp ˚usobem.V pˇrípadˇe,že