Experimentální Porovnání Knihoven Na Detekci Emocí Pomocí Webkamery

MASARYKOVA UNIVERZITA

FAKULTA INFORMATIKY

Experimentální porovnání knihoven na detekci emocí pomocí webkamery

DIPLOMOVÁ PRÁCE

Bc. Milan Záleský

Brno, podzim 2015 Prohlášení

Prohlašuji, že tato diplomová práce je mým p ˚uvodnímautorským dílem, které jsem vypracoval samostatnˇe.Všechny zdroje, prameny a literaturu, které jsem pˇrivypracování používal nebo z nich ˇcerpal,v práci ˇrádnˇecituji s uvedením úplného odkazu na pˇríslušnýzdroj.

Bc. Milan Záleský

Vedoucí práce: RNDr. Zdenek Eichler

i Klíˇcováslova

OpenCV, facial expression analysis, webcam, experiment, emotion, detekce emocí, experimentální porovnání

ii Podˇekování

DˇekujiRNDr. Zdenku Eichlerovi, vedoucímu mé práce, za výteˇcnémento- rování, ochotu pomoci i optimistický pˇrístup, který v pr ˚ubˇehumého psaní projevil. Dˇekujisvým pˇrátel˚uma rodinˇeza opakované vyjádˇrenípodpory. V neposlední ˇradˇetaké dˇekujivšem úˇcastník˚umexperimentu, bez jejichž pˇrispˇeníbych porovnání nemohl uskuteˇcnit.

iii Obsah

1 Úvod ...... 1 2 Rozpoznávání emocí ...... 2 2.1 Co je to emoce? ...... 2 2.2 Posouzení emocí ...... 3 2.3 Využití informaˇcníchtechnologií k rozpoznávání emocí . . .3 2.3.1 Facial Action Coding System ...... 5 2.3.2 Computer vision ...... 6 2.3.3 OpenCV ...... 11 2.3.4 FaceTales ...... 13 3 Metoda výbˇeruknihoven pro rozpoznávání emocí ...... 15 3.1 Kritéria užšího výbˇeru ...... 15 3.2 Instalace knihoven ...... 17 3.3 Charakteristika knihoven zvolených pro srovnání ...... 20 3.3.1 CLMtrackr ...... 20 3.3.2 EmotionRecognition ...... 22 3.3.3 InSight SDK ...... 24 3.3.4 Vzájemné porovnání aplikací urˇcenýchpro experiment 25 4 Návrh experimentu ...... 27 4.1 Pˇrípravaexperimentálního porovnání knihoven ...... 28 4.2 Promˇennéexperimentu ...... 29 4.2.1 Nezávislé promˇenné...... 29 4.2.2 Závislé promˇenné ...... 29 4.2.3 Sledované promˇenné ...... 30 4.2.4 Vnˇejšípromˇenné ...... 30 4.3 Typ návrhu experimentu ...... 30 4.3.1 Faktoriální design 4 x 2 ...... 30 4.3.2 Within-subjects design ...... 30 5 Pr ˚ubˇehexperimentu ...... 32 5.1 Pˇrípravapodmínek pro vykonání experimentu ...... 32 5.1.1 Použitý hardware ...... 33 5.1.2 Metoda výbˇeru a složení úˇcastník˚u ...... 33 5.2 Provedení experimentu ...... 35 6 Vyhodnocení experimentu ...... 38 6.1 Zpracování získaných záznam ˚u...... 38 6.2 Chyby v pr ˚ubˇehudetekce obliˇcejea rozpoznávání emoce . . 39 6.3 Statistická analýza dat ...... 40 6.3.1 Detekce spontánního smutku ...... 41

iv 6.3.2 Detekce spontánní radosti ...... 43 6.3.3 Detekce zámˇernéhosmutku ...... 43 6.3.4 Detekce zámˇernéradosti ...... 45 6.3.5 Detekce neutrality ...... 45 6.3.6 Detekce hnˇevu ...... 45 6.4 Kontrola správnosti hypotéz ...... 46 6.4.1 Porovnání spontánního vyjádˇreníse zámˇerným. . . 46 6.4.2 Vliv vˇekuna kvalitu rozpoznávání vyjádˇrení . . . . 46 6.4.3 Rozdíl mezi mužem a ženou v detekci obliˇcejových emocí ...... 48 6.4.4 Ovlivˇnujenalíˇcenírozpoznání výrazu? ...... 49 6.4.5 Délka vous ˚uu muž ˚u ...... 49 6.4.6 Korekce zraku v podobˇedioptrických brýlí . . . . . 50 6.4.7 Vliv míry vyjadˇrováníemocí na kvalitu detekce . . . 50 6.4.8 Vliv poˇcáteˇcnínálady na rozpoznání emocí . . . . . 51 6.5 Porovnání knihoven na základˇevýsledk ˚u ...... 51 7 Závˇer ...... 53 Vysvˇetlivky ...... 54 PˇrílohaA ...... 56 Tabulka základních FACS ...... 56 PˇrílohaB ...... 58 Dotazník ...... 58 PˇrílohaC ...... 59 Krabicové grafy rozložení hodnot úspˇešnostirozpoznání emocí . 59 Spontánní smutek ...... 59 Zámˇernýsmutek ...... 60 Zámˇernáradost ...... 61 Hnˇev ...... 62 Neutralita ...... 63 Pr ˚umˇer4 hodnot úspˇešnosti(oba typy smutku i radosti) . . 64

v 1 Úvod

Osobnˇevnímám emoce jako d ˚uležitousouˇcástlidského života. Na základˇe emocí ˇcinímrozhodnutí – jedno z nich bylo vybrání si daného tématu, jež dalo vzniknout základu celého textu. Skrze pocity a aktuální naladˇenítaké vnímám svˇetokolo sebe a vše, z ˇcehose skládá. Kromˇeizolovaného do- padu, jenž výraznˇe(at’ již pozitivnˇe,ˇcinegativnˇe)ovlivˇnujekvalitu proží- vání každého okamžiku jedince, považuji za nezbytné zohlednˇeníi vzájem- ných vliv ˚ua interakce v rámci skupiny osob, napˇr.šíˇrenípaniky, ˇcinadšení. V rámci neustávajícího vývoje technologií dochází ke snaze o zvyšo- vání uživatelské (posunu-li se o úroveˇnvýše, pak lidské) pˇrívˇetivosti,která se m ˚užeprojevit v rozšiˇrování základní funkcionality pˇrístroj ˚uo práci s emoce-mi. Mezi nˇekolikvybraných pˇríklad˚uz bˇežnéhoživota patˇríelek- troniˇctíroboti (pocity vyjadˇrují,ale mohou je také pˇriinterakci s ˇclovˇekem analyzovat) sloužící pro zábavu a pomoc s urˇcitýmiúkony, dialogové sys- témy, které své reakce pˇrizp˚usobujíaktuálnímu uživatelovu naladˇenía ana- lýza emocí urˇcenak dalšímu zpracování – zábˇeryz kamer detekující pode- zˇrelep ˚usobící(napˇr.nervózní, vystrašené) osoby aj. Na rozpoznávání obliˇcejovýchemocí snímaných webkamerou a porov- nání naprogramovaných knihoven urˇcenýchk jejich detekci se zamˇeˇruji ve své diplomové práci. Hlavní motivací je pro mˇetouha o hlubší proniknutí do zvolené problematiky a urˇcitézmapování souˇcasných,pˇredevšímbez- platnˇevyužitelných, ˇrešenívˇcetnˇeurˇceníúrovnˇea pˇresnosti,na jaké se v detekci pohybují. Pro získání vstupních dat, zde konkrétnˇezábˇerytváˇrí osob vyjadˇrujícípožadované pocity, volím experimentální pˇrístupve snaze o dosažení co nejvˇetšíautenticity projevu. Získané hodnoty dále zpracová- vám statistickými (kvantitativními) i kvalitativními metodami a následnˇe vyvozuji závˇer. V úvodní ˇcástipráce (kapitola 2) deﬁnuji pojem emoce, popisuji jakým zp ˚usobemmohou být posuzovány a poté zpracovány prostˇrednictvímin- formaˇcníchtechnologií. Ve tˇretíkapitole se již detailnˇevˇenujivýbˇeru a cha- rakteristice knihoven urˇcenýchk rozpoznávání emocí. V dalších ˇcástech pˇredstavujipodobu pˇripravovanéhoexperimentu s uskuteˇcnˇenýmpr ˚ubˇe- hem. V šesté kapitole provádím nad získanými daty výpoˇctya vyhodnocuji celé porovnání, následované závˇerem. Pro lepší srozumitelnost obsahu pˇri- kládám na konci práce i vysvˇetlivkypojm ˚u,jež považuji pro informatickou veˇrejnostza ménˇeznámé a nevˇenujijim patˇriˇcnoupozornost pˇrímov textu.

1 2 Rozpoznávání emocí

Pˇredpokládám,že vˇetšinalidské populace projev emocí zná a je jí blízký. Pˇrestoje nezbytné vymezit, co vše daný termín zahrnuje a pˇriblížitme- todu posuzování emocí. Níže také nastíním možnosti využití informaˇcních technologií k rozpoznávání emocí. Vˇetšípozornost vˇenujipˇredevšímvýra- z ˚umobliˇceje,nebot’ jejich sledování a analýzu využívám i v praktické ˇcásti práce.

2.1 Co je to emoce?

Odpovˇed’ na uvedenou otázku jsem se rozhodl hledat v knize Emotion- Focused Cognitive Therapy1[1]. Mick Power se zde dostává k definici emocí a jejich roli v bˇežnémživotˇejedince skrze pˇríkladfilmu The Invasion of the Body Snatchers2. Ve zmínˇenémsnímku p ˚usobíhumanoidní druh, který se liší od bˇežnýchlidí pouze nemožností vyjádˇritemoce. Nˇekolikdo- tázaných se po zhlédnutí filmu svˇeˇrilo,že ve svém okolí znají jedince, kteˇrí trpí podobným neduhem. Power v návaznosti na jejich vyjádˇrenípopisuje pˇrípady, kdy se u nˇekohovyskytuje bud’ pˇrílišnízká, nebo naopak pˇrílišvy- soká míra projevu emocí. Pro samotnou definici rozsahu slova emoce jsem se rozhodl využít Power ˚uvvýklad, na který dále navážu: “Emotions are mental and bodily states that typically comprise a constellation of physiological, behavioural and psychological pro- cesses that follow the appraisal or evaluation of a situation or event as relevant to the individual’s goals. These goals range from basic drive-based survival goals to higher-order interpersonal and aes- thetic goals. There are a limited set of such emotion states that in- clude fear, sadness, anger disgust and happiness, all of which have come to signal in a multitask multilevel system shifts in the prior- ity of goal-based functioning and from which an infinite range of more complex emotions are derivable. These emotion states are normally short-lived in nature and need only last a matter of seconds or minutes; when they become more chronic, they are normally referred to as ‘moods’ for which the instigating situation or event may have

1. Knihu a deﬁnice Micka Powera využívám z d ˚uvodu,že je na její teorii postaven tré- novací program FaceTales[2] sloužící k nauˇceníse rozpoznávání emocí z výraz ˚uobliˇceje. Programu FaceTales se detailnˇejivˇenujiv sekci 2.3 Využití informaˇcníchtechnologií k roz- poznávání emocí. 2. V CRˇ byl ﬁlm uveden pod názvem Invaze zlodˇej˚utˇel

2 2. ROZPOZNÁVÁNÍ EMOCÍ

been forgotten. The conscious aspect of an emotion is referred to as its ‘affect’ or ‘feeling’, though under many circumstances emotions can be unconscious and have no reportable affect state.“[1]

Za d ˚uležitépovažuji rozlišení mezi emocí a náladou, jež spadá spíše do myšlenkového stavu. Je vhodné se také umˇetorientovat v typech projev ˚u emocí, v rámci mé práce se dále zamˇeˇrímna fyzické projevy, pro jejichž vyvolání musím nalézt relevantní stimul.

2.2 Posouzení emocí

Podle Powera souˇcasnýlékaˇrskýpˇrístupk mˇeˇrenía diagnostikování emocí nereaguje dostateˇcnˇeﬂexibilnˇena moderní trendy a míru poznání, zacho- vává si namísto nich tradiˇcnípostupy, na jejichž základˇem ˚užemezi jednot- livými diagnostickými pˇrístupydocházet k rozporu [1]. Ke ztížení a snížení možnosti rozpoznání emocí m ˚uževést oˇcekávání jedince, že následující situace bude emotivní, tudíž se na ni pˇripravía do- káže nastupující pocity lépe potlaˇcit[3]. Power regulaci emocí více zobec- ˇnujea pˇredpokládá,že lidé pˇredcházínepˇríjemnýmprojev ˚umpodobným zp ˚usobem.V pˇrípadˇe,že mají napˇr.strach ze zkoušky, vyhnou se zkoušce, pokud je to možné, pˇrípadnˇese pokusí pˇredejítalespoˇnjiž získané zkuše- nosti s úzkostí, napˇr.pomocí medikament ˚u[1]. Pro zhodnocení základních pˇetiemocí a neutrálního stavu obliˇcejeje možné využít obr. 2.1. Zkušený terapeut má být také schopen zazname- nat tzv. mikro-vyjádˇrení emoce[1], nicménˇepro srovnání knihoven postaˇcí rozlišit pouze pˇrevažujícívýrazy a hlubší analýza pocit ˚ujednotlivce není zapotˇrebí.

2.3 Využití informaˇcníchtechnologií k rozpoznávání emocí

Poˇcítaˇcovézpracování emocí3 se pokouší nalézt cestu k propojení lidských emocí s výpoˇcetnítechnikou [8]. Motivace m ˚užebýt r ˚uznorodá, hlavním cílem je: „Umožnit stroj˚um(poˇcítaˇc˚um)poznat a interpretovat emocionální stav uživatele a pˇrizp˚usobitsvé chování takovým zp˚usobem,aby poskytly uživateli vhodnou odpovˇed’.“[9] Emoce mohou být prostˇrednictvímpoˇcítaˇc˚uinterpre- továny, zpracovávány, ale také i simulovány. Získané schopnosti lze uplat- nit v oblasti využití dialogových systém ˚unapˇr.k výuce a na letištích pro interakci s cestujícími.

3. V angliˇctinˇeoznaˇcovánotermínem Affective computing

3 2. ROZPOZNÁVÁNÍ EMOCÍ

Obrázek 2.1: Žena vyjadˇrujícíemoce (zleva po ˇrádcích):neutrální, znechu- cení, radost, smutek, úzkost, vztek Zdroj: [1]

Možností aplikace se nachází také u automobilových systém ˚uza úˇce- lem zajištˇenívˇetšíbezpeˇcnostia plynulosti provozu a v neposlední ˇradˇeu psychologických zaˇrízení[9].

Emoce mohou být detekovány následujícími zp ˚usoby4:

• snímání a analýza obrazu (výraz obliˇceje,gesta, postoj, apod.)

• analýza ˇreˇci

• invazivní metody: GSR (Galvanic Skin Response) – slouží k mˇeˇrení galvanického napˇetík ˚uže, SPR (Surface Plasmon Resonance) – mˇeˇrí hladiny hormon ˚uv lidském tˇele, BVP (Blood Volume Pulse) – ur- ˇcujerychlost srdeˇcníhotepu, Respiration – kontrola dechu, EMG (Electromyogram) – zaznamenává elektrickou aktivitu sval ˚u,atd.

K modelování emocí se využívají pokroˇcilejšímatematické metody, pˇrede- vším matematické modely dialogu a dialogových systém ˚u,skryté Marko- vovy modely a koneˇcnˇestavové diskrétní a pravdˇepodobnostnímodely [9]. V následující ˇcástikapitoly se blíže zamˇeˇrujina technologie vztahující se ke snímání a analýze obrazu, konkrétnˇek detekci emocí z výrazu tváˇre.

4. Výˇcetˇcerpánze zdroje: [9]

4 2. ROZPOZNÁVÁNÍ EMOCÍ

Emoce AU Radost 6+12 Smutek 1+4+15 Pˇrekvapení 1+2+5B+26 Strach 1+2+4+5+7+20+26 Vztek 4+5+7+23 Znechucení 9+15+16 Opovržení R12A+R14A

Tabulka 2.1: Emotional Facial Action Coding System, ukázka kódování sedmi emocí do AU. Zdroj: [12]

2.3.1 Facial Action Coding System

Facial Action Coding System (FACS) je systém sloužící k vymezení obliˇcejo- vých výraz ˚una základˇestažení jednotlivých sval ˚upˇredníˇcástihlavy, p ˚u- vodnˇepopsán švédským anatomem Carl-Herman Hjortsjö v knize Man’s Face and Mimic Language [10]. Pojem FACS pozdˇejipˇrevzaliPaul Ekman a Wallace V. Friesen, kteˇríjej rozvedli v pulikaci FACS manual [11]. Každá po- zorovatelná ˇcástobliˇcejovéhopohybu je ve zmínˇenémtextu zvaná Action Unit (AU), v jejíž souvislosti manuál popisuje kritéria pro pozorování a kódování každé jednotlivé jednotky a také, jak se AU jeví ve vzájemné kombinaci.[11] Velkou pˇrednostíužití FACS je jeho nezávislost na interpretaci; podle návodu m ˚užejakýkoliv jedinec zakódovat témˇeˇrkaždé ana- tomicky proveditelné vyjádˇreníobliˇcejebez ohledu na to, zda je schopen daný výraz korektnˇepˇriˇraditke skuteˇcnˇeprožívané emoci [12]. V sekci vˇenovanéposouzení emocí uvádím, že pro urˇcitésložitˇejšípro- jevy (mikro-vyjádˇreníemocí) musí být pozorující terapeut již dostateˇcnˇe zkušený. Zastoupit jej lze výpoˇcetnítechnikou, která zanalyzuje stav sval ˚u obliˇcejea následnˇejej zakóduje do AU, na jejichž interpretaci je emoce roz- poznána. V tabulce 2.1 pˇrikládámkódování sedmi emocí prostˇrednictvím Emotional Facial Action Coding System (EMFACS) [12]. Pro možnost interpretace hodnot AU pˇrikládámvýˇcetkód ˚u1–46 s vy- svˇetlujícímpopisem, nachází se v pˇrílozeA. Ukázkový výklad deﬁnic z tabulky 2.1 – radost je vymezena hodnotami AU 6 + 12, což po pˇriˇrazenívýznam ˚u6 ~ stažené svaly okolo oˇcí,kon- krétnˇeOrbicularis oculi, pars orbitalis a kódu 12 ~ stažené koutky rt ˚u, sval Zygomaticus major, urˇcujepodmínku, že emoce radosti je na obli- ˇcejiidentiﬁkovaná v pˇrípadˇesouˇcasnéhostažení sval ˚uokolo oˇcí(viz obrá- zek 2.2) a koutku rt ˚u(obrázek 2.3) bez zapojení ostatních obliˇcejovýchˇcástí.

5 2. ROZPOZNÁVÁNÍ EMOCÍ

Písmeno uvedené za kódem znaˇcí intenzitu vyjádˇrení,m ˚uženabývat hodnot A–E, kde A znaˇcínáznak, stopu, B – nepatrnˇe, C – bˇežný, pˇrípadnˇe výraznˇejší projev, D – vyjádˇreno silnˇeji až extrémnˇe, E Obrázek 2.2: Stažení sval ˚uOrbicula- – maximum. U emoce pˇrekvapení ris oculi, pars orbitalis odpovídající tedy hodnota 5B zastupuje nepa- AU kódu 6 (Cheek Raiser). trné nadzvednutí oˇcníchvíˇcek(viz Zdroj: [13] tabulka kód ˚uAU v pˇrílozeA).

2.3.2 Computer vision Informatická oblast poˇcítaˇcového vidˇení (angl. computer vision) obsahuje metody pro získávání, zpracování, analýzu a porozumˇení obrazovým vstup ˚um reálného svˇeta prostˇrednictvím výpoˇcetní techni-ky [14]. Richard Szeliski v knize Computer Vision: Algori- thms and Applications porovnává Obrázek 2.3: Stažení svalu Zygoma- snahu psycholog ˚u porozumˇet ticus major odpovídající AU kódu 12 lidskému vnímání trojrozmˇerné re- (Lip Corner Puller). ality, s výzkumem matematických Zdroj: [13] technik pro vyobrazení trojrozmˇer- ných objekt ˚ua jejich vlastností na snímcích. Szeliski popisuje nároˇcnost vyobrazení a pˇrenesení fyzikálních podmínek do poˇcítaˇcovégraﬁky; ke zpracování se využívá radiometrie, optika a jiné senzory k zjištˇení,jak se svˇetloodráží na urˇcitémpovrchu, do jaké míry je ovlivnˇenoatmosférou apod. V souˇcasnostihodnotí úroveˇnmodelované iluze reality za perfektní. Zámˇerem poˇcítaˇcového vidˇení je dosáhnout inverzního cíle, z jednoho nebo více obrázk ˚uodhadnout tvar, osvˇetlenía škálu barev zachycených pˇredmˇet˚u.[14] Na obrázcích lze aplikovat široké množství metod analýzy a možností dalšího zpracování.5 Pro detekci a urˇceníemocí je zcela zásadní schopnost rozpoznání objekt ˚u.Korektní rozpoznání je velmi nároˇcnépˇredevšímz d ˚u- vodu vysoké variability vzhledu objekt ˚u,rozdílnosti v tvaru, rysech, což

5. Pro lepší pˇredstavuuvádím nˇekoliktechnik: analýza textury, rekonstrukce tˇretíhoroz- mˇeru, modely pohybu, svˇetelnápole aj. [14].

6 2. ROZPOZNÁVÁNÍ EMOCÍ

ˇciníjednoduché porovnávání vstupu v ˚uˇcidatabázi vzor ˚udosti nepravdˇe- podobným. Problém rozpoznání se dá zjednodušit zámˇerem nalézt kon- krétní vyobrazení (napˇr.oˇci,ústa, obrys hlavy), ˇcímžse algoritmus zkou- mání obrazu mˇenína detekci objekt ˚uumožˇnujícírychle prohledat grafický vstup a urˇcit,kde se shoda nachází.[14] Zp ˚usoburˇceníobliˇcejemá více podob. Pˇredsamotným procesem roz- poznávání tváˇre je ovšem nezbytné urˇcitoblast a možné velikosti obli- ˇceje,jež má být nalezen. V principu nemá smysl aplikovat rozpoznávání tváˇrena každý pixel a mˇeˇrítko.Richard Szeliski se odkazuje na taxonomii Yanga, Kriegmana a Ahuji, podle nichž mohou být techniky detekce obli- ˇcejeklasifikovaný jako ‘feature-based‘, ‘template-based‘, nebo ‘appearance- based‘.6[14] ‘Feature-based‘ technika se pokouší nalézt umístˇení prvku obrázku v podobˇeoˇcí,nosu a úst. Poté ovˇeˇruje,zda jsou dané ˇcástiv pravdˇepodob- ném geometrickém umístˇení. ‘Template-based‘ pˇrístupy, nebo také aktivní modely vzhled ˚u(angl. acti-ve appearance models – AAMs) pracují s širokou škálou póz a pro- mˇenlivostívýraz ˚u,jež se snaží pˇriˇraditk analyzovanému obrázku. ‘Appearance-based‘ technika snímá skrze malé pˇrekryvy obdélní- kové skvrny obrázku k dohledání pravdˇepodobných obliˇcej˚u. S r ˚uz- norodostí mˇeˇrítek obliˇcej˚use obvykle vyrovnává konverzí obrázku do sub-oktavových pyramid, které prochází na každé jejich úrovni. Vˇetšina ‘appearance-based‘ pˇrístup˚u v dnešní dobˇe spoléhá na trénování kla- sifikátor ˚uvyužívajících sadu oznaˇcených obliˇcejových a neobliˇcejových vyobrazení.[14] Dˇelení‘appearance-based‘ metod podle Szeliského: • Clustering and PCA – Jakmile je dokonˇceno zpracování obliˇcejových a neobliˇcejovýchznak ˚u,rozdˇelíse shluk datové sady za využití k pr˚u- mˇer˚u na šest oddˇelenýchˇcástí,které prostˇrednictvím analýzy hlavních komponent (angl. Principal Component Analysis – PCA) vyplní pod- prostory každého z výstupních dvanácti blok ˚u.Bˇehemdetekce jsou využity Moghaddamovy a Pentlandovy metriky7 k produkci 24 Mahala- nobisových vzdáleností mˇeˇrení,dvˇepˇripadajína každý blok. Výsled- ných 24 mˇeˇreníslouží jako vstup mnohavrstvému perceptronu (MLP), jež tvoˇríneuronovou sít’ se stˇrídajícímise vrstvami váhových souˇct˚u a sigmoidalními nelinearitami trénovaných použitím backpropagation algoritmu.[14] Celý pr ˚ubˇehdetekce je znázornˇenna obrázku 2.4.

6. Volnˇepˇreloženojako detekce založeny na prvcích, na šablonˇe,nebo na vzhledu. 7. KonkrétnˇeDistance from face space (DFFS) a Distance in face space (DIFS) [14].

7 2. ROZPOZNÁVÁNÍ EMOCÍ

Obrázek 2.4: Obliˇcejovéa neobliˇcejovévzory. Nejprve jsou rozdˇelenydo skupin o šesti obrázcích na základˇek pr ˚umˇeru a poté analyzovány pro- stˇrednictvímPCA. Zdroj: [14]

8 2. ROZPOZNÁVÁNÍ EMOCÍ

Obrázek 2.5: Neuronová sít’ pro detekci tváˇre.Zdroj: [14]

• Neural networks – Metoda namísto rozdˇelovánídat a poˇcítáníMa- halanobisovy vzdálenosti do stˇredubloku aplikuje neuronovou sít’ (MLP) pˇrímodo skvrn šedých odstín ˚uo rozmˇerech 20x20 pixel ˚u. Využívá r ˚uznorodost rozdílnˇevelikých ruˇcnˇevytvoˇrenýchreceptiv- ních polí k získání struktury ve vˇetšími menším mˇeˇrítk˚uzároveˇn. Výsledná neuronová sít’ pˇrímovrací pravdˇepodobnostvýskytu ob- liˇcejeve stˇredukaždé se pˇrekrývajícískvrny v mnoha úrovˇnovépy- ramidˇe.S ohledem na možnost r ˚uznýchpˇrekryv˚uskvrn, které se vy- skytují v blízkosti obliˇceje,se využívá pˇrídavná spojovací sít’ ke slou- ˇcenípˇrekrývanýchdetekcí. Pro rychlejší analýzu obrazu je možné kombinovat více neuronových sítí operujících souˇcasnˇe.Ošetˇrenje i výskyt otoˇcenýchtváˇrí,smˇerovací sít’ na základˇeanalýzy skvrn odhadne pravdˇepodobnourotaci objektu a poté ji aplikuje na kaž- dou ˇcástodhadovaného obrazce, než ji pˇredák dalšímu vyhodno- cení detektoru obliˇceje.Obrázek 2.5 obsahuje ukázku neuronové sítˇe pro detekci tváˇrese všemi pr ˚ubˇežnýmiúkony. Pˇrekrývajícíse ˇcásti jsou získány z r ˚uznýchúrovní pyramidy a poté pˇredzpracovány. K detekci pravdˇepodobnostiumístˇeníobliˇcejeje následnˇepoužita tˇrí- vrstvá neuronová sít’. [14]

• Support vector machines – Metoda strojového uˇcení(SVM) nevyu- žívá neuronové sítˇea svým pˇrístupemse více podobá vyhodnocení typu ‘Clustering and PCA‘, nebot’ klasiﬁkuje stejné pˇredzpracované skvrny. SVM vyhledává sérii maximálního rozpˇetímezi rozdílnými tˇrídami,v daném pˇrípadˇeobliˇcejovéa neobliˇcejovéskvrny. V situa- cích, neúspˇešnélineární klasiﬁkace mezí, m ˚užebýt dimenze funkˇc-

9 2. ROZPOZNÁVÁNÍ EMOCÍ

Obrázek 2.6: Jednoduché funkce použité v detektoru typu ‘boosting‘. Zdroj: [14]

ního prostoru navýšena.[14]

• Boosting – Pravdˇepodobnˇenejznámˇejšía široce využívaný typ ‘boosting‘ detekce pˇredstavili P. A. Viola a M. J. Jones [19]. Opˇetse jedná o metodu strojového uˇcení,jež konstruuje klasifikátor pro roz- lišování skvrn jako souˇcet slabých žák˚u(weak learners), kteˇrízastu- pují extrémnˇe jednoduchou funkci vstupu, a proto se nepˇredpo- kládá, že pˇrílišpˇrispˇejí(izolovanˇe)k výraznˇejšímuklasifikaˇcnímu výkonu. V mnoha jiných aplikacích metody ‘boosting‘ algoritmus vybírají jednu ze vstupních vektorových složek a oznaˇcujíji za nej- lepší na prahu. V detektoru Violy a Jonese jsou funkcemi rozdíly ob- délníkových oblastí ve vstupní ˇcásti,viz obrázek 2.6. Cástˇ (a) zastupuje rozdíl obdélníkových funkcí sestávající ze 2–4 obdélník ˚u(pixely uvnitˇrbílého obdélníku jsou odeˇctenyod šedých), v ˇcásti(b) je první a druhá funkce vybrána metodou AdaBoost. První funkce mˇeˇrírozdíly v intenzitˇemezi oˇcimaa tváˇrí,druhá mezi oˇcimaa hor- ním m ˚ustkemnosu. Výhodou využívání zmínˇenéhopˇrístupuje vy- soká rychlost výpoˇctupoté, co vybraná sumarizovaná oblast byla pˇredzpracována.K dalšímu zrychlení detektoru m ˚užepˇrispˇetvytvo- ˇreníkaskády klasifikátor ˚u,kde každý z nich využívá malé množství test ˚u(napˇr. AdaBoost klasifikátor) k vyˇrazenírozsáhlých neobliˇcejo- vých ˇcástíbˇehempokusu o nalezení všech potencionálních tváˇrí.[14]

10 2. ROZPOZNÁVÁNÍ EMOCÍ

2.3.3 OpenCV

OpenCV pˇredstavujeknihovnu naprogramovaných funkcí orientovaných pˇredevšímna oblast poˇcítaˇcovéhovidˇení.Šíˇrenaje pod licencí open-source BSD license a udržována neziskovou nadací OpenCV.org. Projekt v roce 1999 oficiálnˇe spustila spoleˇcnost Intel, jejíž iniciativou bylo posunout vpˇredvývoj CPU-intenzivních aplikací, napˇr.sledování paprsku (ray tra- cing) a 3D zobrazení stˇen.První vydání knihovny probˇehlov roce 2000. Pozdˇejivývoj OpenCV pˇrešelpod Willow Garage a nyní pokraˇcujev ruské spolenosti Itseez. Souˇcasnánejnovˇejšíverze (OpenCV 3.0) vyšla v kvˇetnu 2015. Knihovna je naprogramována v jazyce C++, ale váže se i na Py- thon, Javu a Matlab/Octave. Doplnˇenabyla také o podporu jazyk ˚uC#, Perl, Ch a Ruby, za úˇcelemzískání širší uživatelské základny. OpenCV je multiplatformní, podporuje operaˇcnísystém Windows, Linux, MacOS a Android.[15][16] Knihovna obsahuje více než 2 500 optimalizovaných algoritm ˚u,které mohou být využity k detekování a rozpoznání obliˇceje,identifikování objekt ˚u,klasifikování lidských akcí ve videu, stopování pohyb ˚ukamery, na- cházení podobných obrázk ˚uz databáze obrázk ˚u,extrakci 3D model ˚uz objekt ˚ua mnoho jiných [16]. Níže uvádím se struˇcnoucharakteristikou vý- ˇcetzákladních oblastí OpenCV popsaných v knize Learning OpenCV Gary Bradskiho a Adriana Kaehlera [15].

Funkcionalita OpenCV:

• HighGUI – Umožˇnujeinterakci s operaˇcnímsystémem, dˇelíse na tˇri ˇcásti:hardwarovou, souborovˇesystémovou a na oblast graﬁckého uživatelského rozhraní (GUI). Hardwarová ˇcástje primárnˇezamˇe- ˇrenana práci s fotoaparátem, ˇcikamerou a výraznˇeulehˇcujepoˇrí- zení snímku do poˇcítaˇce.Sekce zamˇeˇrenána souborový systém zpro- stˇredkovávánaˇcítánívidea stejnou metodou, jako u dˇrívezmínˇené práce s kamerou, ˇcímžumožˇnujepˇripsaní kódu oprostit se od závis- losti na zaˇrízení,které program využívá. Tˇretíˇcástpracuje s GUI, vy- tváˇrígraﬁcká okna, do kterých umist’uje požadovaný výstup, napˇr. zpracovaný obrázek, v oknˇepracuje také s klávesnicí a myší.[15]

• Image Processing – Cílem je pˇristupovat k obrázk ˚umjako k objekt ˚umobrázku a nevnímat je na úrovni zpracování pouze jako posloupnosti hodnot barev. OpenCV podporuje nˇekolikoperací ke zpracování obrázk ˚u,napˇr.vyhlazování ke snížení šumu, izolování jednotlivých element ˚ua spojování vyobrazených prvk ˚u.

11 2. ROZPOZNÁVÁNÍ EMOCÍ

Podporuje také vytváˇrení vlastních funkcí pro morfologické8 úpravy.[15]

• Image Transforms – Oproti zpracování soubor ˚us vizuálním obsa- hem zahrnující spíše estetické úpravy, se transformace váže spíše ke zmˇenˇereprezentace obrázku celkovˇe.Pˇríklademm ˚užebýt Fourie- rova transformace, použití Laplaceovy funkce aj. Výsledkem aplikace transformace je napˇr.detekce hran vyobrazených objekt ˚u.[15]

• Histograms and Matching – Histogramy mohou být využity k re- prezentaci rozdíl ˚uv podobˇe barevné distribuce objektu, šablony hran objektu a distribuce pravdˇepodobnostihypotézy o umístˇeníob- jektu. Nachází uplatnˇenív mnoha aplikacích poˇcítaˇcovéhovidˇení, napˇr.detekci pr ˚uhlednostiscény ve videu prostˇrednictvímznaˇcení místa, kde se hrana a barva statisticky výraznˇemˇenísnímek od snímku. Využívají se také pro urˇcenízajímavých bod ˚uv obrázku a základních souˇcástítyp ˚uprocházených klasiﬁkátory pro rozpoznání objektu.[15]

• Contours – Pˇrestožealgoritmy typu ‘Canny edge detector‘ (spada- jící pod ‘Image Transforms‘) mohou detekovat pixely hran oddˇelující jednotlivé segmenty v obrázku, nevypovídají nic o hranách jako en- titách samotných. Následující krok spoˇcíváv sestavení hran pixel ˚u do obrysu, což zprostˇredkováváfunkcionalita Contours.[15]

• Image Parts and Segmentation – Izoluje celé objekty, nebo jejich ˇcástiz analyzovaného obrázku. Možnost využití je napˇr.v pˇrípadˇe bezpeˇcnostníkamery, kdy je cílem oddˇelitod zbývajícího záznamu (pˇrípadnˇezaˇcítzaznamenávat) situace, kdy nˇekdo,pˇrípadnˇenˇeco, vstou-pí do zábˇeru, ˇcije zde ponecháno. K dalšímu zpracování se lze také zamˇeˇritpouze na ˇcástsledovaného objektu, napˇr.obliˇcej osoby.[15]

• Tracking and Motion – Navazuje na pˇredchozífunkcionalitu, po vy- brání konkrétního objektu je za využití barevného histogramu sledo- ván každý jeho pohyb ve viditelném poli. OpenCV zahrnuje také ná- roˇcnˇejšítechniky pro sledování dopˇreduneidentiﬁkovaných objekt ˚u –‘Lucas-Kanade‘a‘Horn-Schunck‘ reprezentující metody založené na hustém resp. ˇrídkémoptickém toku.[15]

8. Z ˇreckéhomorfé, tvar + logia, nauka, ˇcilipráce s tvary.

12 2. ROZPOZNÁVÁNÍ EMOCÍ

• Camera Models and Calibration – Pracuje s paprsky svˇetlaa kalib- rací pˇrirozených jednotek kamery (pixely) s jednotkami fyzikálního svˇeta(napˇr.metry), nebot’, jedinˇepoté je možné se ze získaného obrazu pokusit správnˇerekonstruovat trojrozmˇernýprostor.[15]

• Projection and 3D Vision – Podporuje 3D projekci na základˇedat získaných bud’ ze stereo kamer, pˇrípadnˇez jedné, která zabírala objekty s ˇcasovýmodstupem z r ˚uznéhoumístˇení.[15]

• Machine Learning – Strojové uˇceníje zde pojato podobnˇejako v dˇríveuvedeném výˇctuRicharda Szeliského. D ˚uležitáje ˇcástvˇeno- vána trénování stroje prostˇrednictvímdatabáze vhodných obrázk ˚u. Data mohou být doprovázena popisky, napˇr.vyobrazení obliˇcejeje doplnˇenoi o informaci vˇeku– uˇcenístroje tedy probíhá pod dohle- dem (supervised), v opaˇcnémpˇrípadˇeje bez dohledu (unsupervised) – data s sebou nenesou žádné další oznaˇcení. OpenCV obsahuje také algoritmy vhodné pro detekcí obliˇcejeuvedené u Szeliského – Ma- halanobis, K-means (k pr ˚umˇery),Boosting, Neural networks/MLP, SVM a mnoho dalších.[15]

2.3.4 FaceTales Z pˇredchozíhovýˇctulehce vyboˇcujevýukové prostˇredíFaceTales (viz ob- rázek 2.7), nebot’ oproti dˇríve uvedeným pˇríklad˚umaplikace nerozpo- znává emoce z obliˇcej˚u.Naopak interaktivní formou nechává uživatele na základˇefotek lidských obliˇcej˚urozhodnout, jaká emoce je právˇevyobra- zena. Slouží pˇredevšímpsychoterapeut ˚umk prohloubení jejich dovednosti správné emo-ˇcnídetekce a obsahuje následující stavy lidského rozpoložení – neutralita, hnˇev, radost, smutek, strach, znechucení, stud. Na vývoji programu se významnˇepodílí Mick Power zmínˇenýv úvodu kapitoly. Na praktické využití FaceTales dále navazuji v kapitole vˇenovanévyhodnocení experimentu.

13 2. ROZPOZNÁVÁNÍ EMOCÍ

Obrázek 2.7: FaceTales – podle výrazu ˇcela,oˇcía úst lze po krátkém tré- ninku správnˇeodvodit, že vyobrazená žena vyjadˇruje znechucení (Dis- gust).

14 3 Metoda výbˇeruknihoven pro rozpoznávání emocí

Vytváˇreníseznamu knihoven vhodných pro analýzu emocí z webkamery jsem nejprve podˇrídilpouze jedinému cíli – licenˇcnímožnosti jejich vyu- žití k provedení experimentu. Zamˇeˇriljsem se pˇredevšímna aplikace, které jsou dostupné zdarma (open-source, freeware). V dalším kroku jsem své preference rozšíˇrili o programy, jež jsou placené, nicménˇepo vymezenou dobu a pro nekomerˇcníúˇcelyk dispozici pro vyzkoušení. Vyhledávání jsem provádˇelskrze vyhledávaˇcGoogle, použil jsem r ˚uznáspojení klíˇcových slov, abych dosáhl relevantních výsledk ˚u.Proˇcítaljsem také nalezené dis- kuze a procházel úložištˇeopen-source softwaru, za velmi pˇrínosnýpova- žuji GitHub (https://github.com), webovou službu podporující vývoj apli- kací. Zpoˇcátku jsem nerozlišoval mezi vstupními parametry, zaˇradil jsem kni-hovny analyzující emoce z obrázk ˚u,videa i pˇrímoz webkamery. Vzhle- dem k nejistotˇe,jak velké množství z nich je v plnˇefunkˇcnímstavu, jsem poˇcítali s možností, že metodu ohodnocení testovaných aplikací pˇrizp˚u- sobím, v rámci zachování objektivity pˇriporovnání, nalezenému vzorku. V tabulce 3.1 pˇrikládámseznam všech nalezených knihoven urˇcenýchpro další porovnání.

3.1 Kritéria užšího výbˇeru

Po sestavení obecného seznamu jsem jednotlivé položky rozdˇelildo dvou kategorií – knihovny analyzující emoce pouze z obrázk ˚u(urˇcenydo zá- lohy), respektive webkamery (video soubor ˚u).Z výbˇeru jsem vyˇradilnásle- dující položky: emotionRecognition (https://github.com/nauhc/emotion Recognition), nebot’ jako vstup využívá kinect, Semaine 3.1 sice analyzuje emoce, ale využívá je pouze pro koordinaci virtuálního agenta, který v re- álném ˇcasereaguje na snímánou osobu a u eRS analýza emocí ještˇenebyla zcela dovyvinuta. Vˇetšinaprojekt ˚unalezených na GitHubu bohužel trpí nedostateˇcnou dokumentací, v další ˇcástipráce jsem se tedy rozhodl, po detailnˇejšímpro- zkoumání všech odkaz ˚uz tabulky 3.1, blíže podívat pouze na knihovny urˇcenépro rozpoznávání emocí z webkamery (videa). Jejich výˇcetuvádím v tabulce 3.2. SpoleˇcnostemiMotions a Visage technologies jsem odeslal požadavek na zpˇrístupnˇenízkušební verze jejich programu pro akademické úˇcely, kon- krétnˇesrovnávací experiment v rámci diplomové práce.

15 3. METODAVÝBERUˇ KNIHOVEN PRO ROZPOZNÁVÁNÍ EMOCÍ Licence Open-source MIT license GNU license Open-source Imperial College London Open-source Open-source Open-source Open-source University of Waterloo Open-source Open-source Open-source Open-source Open-source Nutnost požadavku Trial - max 100 min Trial - 14 dní Trial - nutná registrace Open-source MIT license Zdroj https://github.com/luca-m/emotime https://github.com/auduno/clmtrackr https://github.com/Ectelion/facial-expression-recognition https://github.com/leonardean/EmotionRecognition https://github.com/AlanVey/emotionRecognition https://github.com/atvasof/Facial-emotion-recognition https://github.com/kimhuijun/EmotionRecognition http://uf-lightbot.googlecode.com/svn/ https://code.google.com/p/emotion-detection/ https://github.com/mpillar/java-emotion-recognizer http://www.cs.colostate.edu/evalfacerec/algorithms5.php https://github.com/pezon/emorec https://github.com/ajkannan/EmotionRecognition https://github.com/miguelki/Emotion_Recognition https://github.com/nauhc/emotionRecognition http://emotient.com/solutions/academic-research/ https://www.kairos.com/emotion-analysis-api#beta http://sightcorp.com/licensing/ http://www.visagetechnologies.com/download/software-evaluation/ http://semaine.opendfki.de/wiki/SEMAINE-3.1 https://github.com/dumoulinj/ers iMotions)

16 Název Emotime CLMtrackr Facial expression recognition Emotion recognition Machine Learning Facial-emotion-recognition EmotionRecognition Uf-lightbot emotion-detection JEmotionRec CSU Face IE System v 5.1 Emorec EmotionRecognition emotion_recognition emotionRecognition Emotient ( Kairos InSight SDK Visage technologies Semaine 3.1 eRS 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21

Tabulka 3.1: Seznam všech nalezených knihoven 3. METODAVÝBERUˇ KNIHOVEN PRO ROZPOZNÁVÁNÍ EMOCÍ

Název 1 Emotime 2 CLMtrackr 3 Facial expression recognition 4 Emotion recognition (leonardean) 5 Facial-emotion-recognition 6 EmotionRecognition (kimhuijun) 7 Emotient (iMotions) 8 Kairos 9 InSight SDK 10 Visage technologies

Tabulka 3.2: Knihovny rozpoznávající emoce z videa (webkamery)

Odpovˇedimi pˇrišlybˇehem následujících dní; iMotions mi zaslali tabulku s pˇrehledemlicencí a výši poplatk ˚uza jejich udˇelení,Visage technologies k obdobnému dokumentu doplnili i pˇrístupk demo verzím jejich program ˚u a nabídli mi také, po vyplnˇeníregistraˇcníhoformuláˇre,možnost získání 30 denní licence na otestování plné verze zdarma. Programový balík Emotient spoleˇcnostiiMotions jsem se vzhledem k poplatku 2900 USD za základní verzi bez doplˇnkovýchmodul ˚urozhodl ze seznamu potenciálních knihoven vyˇradit.

3.2 Instalace knihoven

V pˇredchozí ˇcástijsem zmínil, že vˇetšinˇesoubor ˚uchybˇeladokumentace a ˇcastoi návod, jak je spustit. Abych se ujistil, zda fungují korektnˇea je možné je využít pro srovnání, odhadoval jsem vnitˇrnístrukturu knihoven a následnˇe zkoušel jejich instalaci. Uspokojivé množství provozuschop- ných program ˚upro vzájemné porovnání jsem stanovil na 3–4. Pokud bych jej nemohl sestavit z aplikací analyzujících video sekvenci, byl jsem pˇri- praven pˇrizp˚usobitparametry srovnání zaˇclenˇeníknihoven, jež analyzují emoce pouze ze samostatných obrázk ˚u.

Popis krok ˚ua zjištˇenípˇriprocházení jednotlivých prvk ˚uz tabulky 3.2:

• Facial expression recognition – Napsáno v jazyce R, ve složce není pˇrítomenprojektový soubor, chybí jakýkoliv manuál popisující funkcionalitu, dokumentace se nachází pouze uvnitˇrkódu. Stáhl jsem si všechny potˇrebnémoduly a prošel jednotlivé soubory, z nichž se

17 3. METODAVÝBERUˇ KNIHOVEN PRO ROZPOZNÁVÁNÍ EMOCÍ

každý vˇenujejinému typu rozhodování a porovnávání obrázk ˚u.D ˚u- vod vyˇrazení– nepodaˇrilose mi odhalit, jak knihovnu zprovoznit.

• CLMtrackr – Zpracování probíhá prostˇrednictvímwebového pro- hlížeˇce,v podadresáˇrivšak chybí soubor vypisující emoce snímané webkamerou. Nachází se v ukázkách projektu na GitHubu. Po ulo- žení zobrazené1 webové stránky do adresáˇreexamples ve složce projektu, již lze bez obtíží testovat funkˇcnostaplikace na pˇredloženém vstupu. Bližšímu popisu vnitˇrnífunkcionality se vˇenujiv sekci 3.3.

• Emotion recognition (leonardean) – Knihovnu jsem se pokoušel zkompilovat pod operaˇcnímsystémem Linux (Ubuntu 14.04), chybí dokumentace i bližší popis, k dispozici je pouze soubor makeﬁle. D ˚uvodvyˇrazení:sestavení neprobˇehloúspˇešnˇe,pˇrikompilaci do- cházelo k chybám vztahujícím se k OpenCV, které se ani po nˇekolika úpravách nepodaˇriloodstranit.

• Facial-emotion-recognition – Situace velmi obdobná jako u zmí- nˇeného Facial expression recognition, knihovna je vytvoˇrena v Matlabu2 a odkazuje se navíc na uživatelovy soubory, jež nejsou ve staženém balíku pˇriloženy. D ˚uvodvyˇrazení:chybˇejícísoubory ne- zbytné pro korektní bˇehaplikace.

• Emotime – Obsahuje i struˇcnýmanuál pro zprovoznˇení,není však pˇrílišpˇrehlednýa u mnoha informací je doplnˇeno,že již nejsou ak- tuální. V požadavcích je uvedeno, že má být využito OpenCV verze 2.4.5, nebo novˇejší,CMake verze >= 2.8 a Python verze >= 2.7 a zá- roveˇn< 3.0. Nainstaloval jsem OpenCV 3.0 a splnil i zbývající pˇred- poklady. Pˇripokusu o sestavení prostˇrednictvímprogramu CMake, jsem obdržel chybovou hlášku týkající se chybˇejícíchrozšiˇrujících modul ˚upro OpenCV. Hledal jsem ˇrešenív mnoha diskuzích, po- koušel se knihovnu OpenCV sestavit znovu i s rozšiˇrujícímimoduly, vyzkoušel celý postup pod jiným operaˇcnímsystémem, nicménˇepo- každé jsem skonˇcils totožným neúspˇechem.Po delším hledání a pˇre- formulování klíˇcovýchslov, jsem nalezl diskuzi, ve které reagovala autorka programu Emotime. Uvedla, že se pˇripoužití OpenCV 3.0 také potýká s komplikacemi a doporuˇcujeproto použít starší verzi. Po následném úspˇešnémsestavení aplikace jsem dospˇelke kroku

1. Dostupné zde: http://auduno.github.io/clmtrackr/examples/clm_emotiondetection.html 2. Interaktivní prostˇredíurˇcenépro matematické výpoˇctya práci s maticemi.

18 3. METODAVÝBERUˇ KNIHOVEN PRO ROZPOZNÁVÁNÍ EMOCÍ

trénování model ˚uemocí pomocí obrázkové sady pro následné po- rovnání bˇehemanalýzy video vstupu. K trénování je v návodu do- poruˇcenovyužít Cohn-Kanade database3. Pˇritestovacím pokusu o zpracování pˇredloženéhovidea OpenCV vypsalo chybu týkající se nesouladu mezi rozmˇerynauˇcenýchmodel ˚uvýraz ˚utváˇrea analy- zovaného vstupu. Upravil jsem rozmˇeryv konﬁguraˇcnímsouboru Emotime a opˇetspustil proces trénování model ˚u.Ani poté zpraco- vání skrze OpenCV neprobˇehlozdárnˇe.D ˚uvodvyˇrazení:knihovnu se mi po nˇekolika pokusech o odstranˇenípˇríˇcinchybových hlášek nepodaˇriloúspˇešnˇezprovoznit.

• EmotionRecognition (kimhuijun) – Napsáno v jazyce Python, po instalaci potˇrebnýchmodul ˚usoubor pˇrispuštˇeníhlásil chybu. Fun- kce bránící úspˇešnémupˇrekladua spuštˇeníjsem úspˇešnˇeupravil, blíže vše popisuji v sekci 3.3.

• Visage technologies – Využívá knihovnu OpenCV, k dispozici je podrobná on-line dokumentace. Po instalaci nešla aplikace spustit. V do-kumentaci známých problém ˚ujsem nalezl, že aktuální verze visage SDK 7.4.2500 vyžaduje starší verzi programu Visual Studio (2008). V pˇrípadˇenainstalované novˇejšíverze je nezbytné stáhnout z uvedeného odkazu odlišný registraˇcnímanažer. Poté již lze aplikaci bez obtíží spustit, v testovací verzi podporuje ovšem analýzu emocí pouze z obrázk ˚u.Ze srovnávacího testu ji tedy z d ˚uvodunezpraco- vání video sekvencí vyˇrazuji.

• InSight SDK – Pro získání bezplatné licence na 14-denní beta verzi knihovny bylo nezbytné vyplnit formuláˇržádosti s uvedením bliž- ších okolností využití programu. Následnˇejsem obdržel licenˇcníkód s popisem, jak stáhnout a nainstalovat program pro zvolený operaˇcní systém. Vybírat lze z aplikací pro Windows, Linux, OS X a Android. Ke zprovoznˇeníverze pro Windows bylo nezbytné stáhnout a nainstalovat Visual C++ 2010, v nˇemotevˇrítsoubor knihovny a podle ná- vodu upravit nˇekolikpromˇenných,vˇcetnˇevložení licenˇcníhokódu. Sestavení programu neprobˇehlokv ˚ulichybovým kód ˚umúspˇešnˇe, rozhodl jsem se tedy aplikaci zprovoznit pod operaˇcnímsystémem Ubuntu 14.04. Zde bylo zapotˇrebínainstalovat kromˇeInsight SDK také knihovnu OpenCV 2.4.

3. Databáze obrázk ˚uurˇcených pro rozsáhlou analýzu výraz ˚uobliˇceje. Dostupná zde: http://www.consortium.ri.cmu.edu/ckagree/

19 3. METODAVÝBERUˇ KNIHOVEN PRO ROZPOZNÁVÁNÍ EMOCÍ

Licenˇcníkód se zadává pˇrispouštˇenískrze pˇríkazovouˇrádku.Bližší popis funkcionality uvádím v sekci 3.3.

• Kairos – Podobnˇejako u InSight SDK, i zde je zapotˇrebívyplnit for- muláˇrs žádostí o bezplatnou beta verzi, která umožˇnujezpracovat 100 minut videa. Po registraci je nutné odeslat e-mail s odpovˇedí na doplˇnujícíotázky (jakým zp ˚usobemchci knihovnu využít, ko- lik ﬁnancí plánuji na analýzu emocí vymezit, zda mám vlastní pro- gramátory, nebo budu chtít využít externisty apod.), na nˇežnava- zuje telefonní rozhovor se zástupcem ﬁrmy. Až po absolvování všech krok ˚u,se spoleˇcnostrozhoduje, zda mi licenci udˇelí.Pˇripr ˚unikuse- znam ˚uzpracovaných emocí s ostatními zvolenými knihovnami vy- chází u Kairos pouze dvˇetotožné emoce. Minimální hranici testova- ných emocí jsem stanovil na tˇri,knihovnu tedy z d ˚uvodunemožnosti dostateˇcnéhosrovnání a otestování (licence vystaˇcujepouze na ana- lýzu 100 minut videa) z užšího výbˇeru vyˇrazuji.

3.3 Charakteristika knihoven zvolených pro srovnání

Vˇetšinavybraných knihoven poskytuje spíše základní funkcionalitu bez pˇrídavnýchfunkcí, ohodnotím zde tedy také osobní zkušenosti z poˇcáteˇc- ního testování pˇredprovedením experimentu a v závˇeru se pokusím odhadnout možné výsledky srovnávacího pokusu.

3.3.1 CLMtrackr

Knihovna CLMtrackr napsána v jazyce JavaScript slouží k detekci a sle- dování obliˇcejena obrázku, respektive ve videu, obliˇcejumí také nahra- dit, nebo deformovat a rozpoznat z výrazu tváˇreˇctyˇriemoce – hnˇev, smutek, pˇrekvapenía radost. Projekt udržován Norem Audunem Mathiasem Øygardem m ˚užebýt využíván a šíˇrenv rámci open-source MIT licence4. Hlavní funkcionalita vychází z algoritm ˚uJasona Saragiha a Simona Lu- ceye, konkrétnˇez jejich ˇclánku‘Face Alignment through Subspace Constra- ined Mean-Shifts‘.5 Obliˇcejovýmodel generovaný po inicializaci aplikace sestává ze 70 bod ˚u,na obrázku 3.1 odpovídají kˇrivkámv místˇedetekova- ného oboˇcí,nosu, úst a obrysu tváˇre.Na základˇeurˇcenépoˇcáteˇcnípozice dosahuje algoritmus zmínˇenéhomodelu využitím 70 malých klasiﬁkátor ˚u.

4. Odkaz na podmínky užití v rámci MIT licence: http://opensource.org/licenses/MIT 5. Dostupné online: http://www.ri.cmu.edu/pub_ﬁles/2009/9/CameraReady-6.pdf

20 3. METODAVÝBERUˇ KNIHOVEN PRO ROZPOZNÁVÁNÍ EMOCÍ

Obrázek 3.1: CLMtrackr – modul pro rozpoznání emocí. Na obliˇcejilze spatˇritkˇrivky, jež správnˇedetekovaly obrys tváˇrí,oˇci,oboˇcí,nos i ústa. Níže se nachází výpis rozpoznaných emocí s mírou intenzity, jež se v reálném ˇcaseaktualizuje na základˇezmˇenvýrazu obliˇceje.

21 3. METODAVÝBERUˇ KNIHOVEN PRO ROZPOZNÁVÁNÍ EMOCÍ

Každý odpovídá jednotlivému bodu, které na malé vymezené oblasti pro- stˇrednictvímSVM pˇrístupuvyhledávají body odpovídající požadovanému zadání.[17] Podle Øygarda patˇríobliˇcejmezi relativnˇejednoduché modely a na- pˇríˇclidskou populací se pˇrílišneliší, tudíž by mohl být vytvoˇrenpokaždé manuálnˇe.Nicménˇeje jednodušší nechat aplikaci uˇcitse z již zpracova- ných oznaˇcenýchtváˇríz databáze, zde konkrétnˇez ‘MUCT database‘6.K sestavení vzor ˚uze zmínˇenýchdat Øygard využívá PCA. Následnˇeaplikuje klasiﬁkátory a výpoˇctypravdˇepodobnostivýskytu hledaných obliˇcejových ˇcástí,které zpracovává metodou SVM; tzn. prostˇrednictvímklasiﬁkátor ˚u a databáze porovnává obliˇcejovéa neobliˇcejovˇeskvrny a lépe tak koriguje umístˇeníobliˇcejovýchkˇrivek.[17] CLMtrackr umožˇnujezdroj obrázk ˚upro strojové uˇcenílibovolnˇeupra- vit, lze využít i vlastní databázi s podklady a techniku rozpoznávání obli- ˇcejeuzp ˚usobitvíce na míru svých potˇreb. Pˇredbˇežnétestování aplikace obˇcasodhalilo chybné zamˇeˇreníobliˇceje, z ˇcehožse poté pochopitelnˇeodvíjela i nekorektnˇerozpoznaná emoce. Oce- nil bych implementaci výstupu analýzy, napˇr.ve formˇenapˇr.textového souboru, kam by se v urˇcitémintervalu zaznamenala právˇedetekovaná emoce. Knihovnu lze ovšem pomˇernˇejednoduše využít jako základ roz- sáhlejšího kódu, výsledný program lze tedy o libovolné doplˇnkovéfunkce obohatit.

3.3.2 EmotionRecognition Aplikace EmotionRecognition je p ˚uvodnímškolním projektem, stojí za ní studenti: Clint Ascencio, Rene Garcia, Dory Glauberman, Tomas Gonzalez a Huijun Kim. Knihovna využívá vstup z webkamery k identiﬁkaci tˇrízá- kladních emoˇcníchstav ˚uobliˇceje– radosti, neutrality a smutku. Kód programu je napsán v jazyce Python, ke svému bˇehuvyužívá OpenCV verze 2.4 a modul pro matematické výpoˇctyNumPy. Autoˇripˇrinávrhu a tvorbˇevycházeli z ˇclánku‘Recognizing Human Fa- cial Expression‘ Yasera Yacooba a Larry S. Davise, vydaného v roce 1994.7 I pˇresstáˇríinformací ubezpeˇcují,že nové výzkumy stále využívají principy vycházející z optického toku, jež je využit i zde pro rozpoznávání emocí. Zmínˇenámetoda sleduje pohyb klíˇcovýchbod ˚una obliˇceji,napˇr.posun rt ˚u nahoru, respektive dol ˚u.Na základˇesmˇeru zmˇenyv dané oblasti rozhodují

6. Bližší informace zde: http://www.milbo.org/muct/ 7. Dostupné online: http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.57.5912 &rep=rep1&type=pdf

22 3. METODAVÝBERUˇ KNIHOVEN PRO ROZPOZNÁVÁNÍ EMOCÍ

Obrázek 3.2: EmotionRecognition – vnˇejší rámeˇcek ohraniˇcuje oblast detekovaného obliˇceje (výstup ‘haarcascade_frontalface_alt.xml‘ klasifi- kátor ˚u), oˇci jsou rozpoznány a vyznaˇceny prostˇrednictvím ‘haarcas- cade_eye.xml‘ klasifikátor ˚ua ústa byla nalezena a vymezena ‘haarcas- cade_mcs_mouth.xml‘ klasifikátory. Vlevo nahoˇreje vypsána rozpoznaná emoce. autoˇrio typu vyjádˇrené emoce. Pokud se vˇetšinabod ˚uv oblasti úst zvedá vzh ˚uru, detekují radost, v opaˇcnémpˇrípadˇesmutek.[18] Zpracování obrazu je zprostˇredkovánopˇredevšímknihovnou OpenCV. Ke sledování obliˇcejejsou využity dva její soubory klasifikátor ˚u:‘haarcas- cade_frontalface_alt.xml‘ a ‘haarcascade_eye.xml‘. Autorem tˇretíchklasifi- kátor ˚u‘haarcascade_mcs_mouth.xml‘ je Modesto Castrillón Santana, soubor byl ovšem kv ˚ulinesprávnému rozpoznávání úst znaˇcnˇeupraven au- tory EmotionRecognition.[18] Na obrázku 3.2 se nachází aplikace Emoti- onRecognition s vyobrazením praktického využití soubor ˚uklasifikátor ˚u. Optický tok vypoˇcítávánativní funkce OpenCV, tv ˚urci programu zde pracují s daty týkajícími se oblasti oˇcía úst. Pro rozhodování o vyjádˇrené

23 3. METODAVÝBERUˇ KNIHOVEN PRO ROZPOZNÁVÁNÍ EMOCÍ emoci využívají pouze vrácenou hodnotu smˇeru pohybu úst.[18] Poˇcáteˇcnítestování aplikace neprobˇehloúspˇešnˇe,nebot’ se mi zobrazo- vala chybová hláška: “OpenCV Error: Assertion failed (prev0.size() == next0.size() && prev0.channels() == next0.channels() && prev0.channels() == 1 && pyr_scale < 1) in cv::calcOpticalFlowFarneback, file C:\builds\master _PackSlaveAddon-win32-vc12- static\opencv\modules\video\src\opt-flowgf.cpp, line 1098“, kterou se mi podaˇriloodstranit až náhradou pˇríkazu ‘flow = cv2.calcOptical FlowFarneback( prevgray, gray, 0, 5, 3, 2, 3, 5, 1, 0)‘ na ˇrádku272 (soubor opt_flow.py) za ‘flow = cv2.calcOpticalFlowFarneback(prevgray, gray, float(0) float(0), 3, 2, 3, 5,float(1), 0)‘. Dále jsem musel u vypisovaného textu rozpo- znané emoce vymˇenitp ˚uvodnítyp linky ‘cv2.CV_AA‘ za ‘cv2.LINE_AA‘. Poté již šel program bez obtíží spustit. Podobnˇejako u aplikace CLMtrackr i zde postrádám využití výstupu pro další (napˇr.statistické) zpracování. K chybným detekcím ˇcástíobliˇcejezde ovšem pˇripˇredbˇežnémtestování dochází mnohem ˇcastˇeji,než v pˇredchozímpˇrípadˇe.

3.3.3 InSight SDK InSight SDK umí detekovat sedm emocí: neutralitu, radost, pˇrekvapení, hnˇev, znechucení, strach a smutek. Aplikaci vyvíjí spoleˇcnostSightcorp, v rámci experimentu mi zpˇrístupnila14-denní demo verzi. Kód programu je napsán v jazyce C++ a využívá funkce knihovny OpenCV. Ke správnému bˇehuaplikace je nezbytné mít zaˇrízenís instalovaným produktem pˇripo- jené k internetu. Bližší informace týkající se vnitˇrnífunkcionality zpraco- vání emocí mi jsou vzhledem k uzavˇrenémuvývoji neznámé. Na svých webových stránkách spoleˇcnost uvádí názorné ukázky využití aplikace jako souˇcástiC++ sdílených knihoven urˇcenýchpro integraci do vlastního softwaru.8 Uživatelské prostˇredíInSight SDK na mˇep ˚usobípˇrívˇetivýmdojmem. Kromˇevýpisu rozpoznaných emocí zobrazuje také vypoˇcítané natoˇcení hla-vy a pohled oˇcí,viz obrázek 3.3. V pˇrípadˇedetekce obliˇcejejsem se nesetkal s chybnˇerozpoznanými ˇcástmihlavy, z porovnávaných aplikací na mˇeprozatím p ˚usobínejlépe. Opˇetchybí jakákoliv možnost exportu roz- poznaných emocí pro následné zpracování, v pˇrípadˇepotˇrebysi ji musí programátor v rámci vlastního softwaru vytvoˇritsám.

8. Ukázky možné integrace knihovny InSight SDK: http://sightcorp.com/docs/insight/latest/

24 3. METODAVÝBERUˇ KNIHOVEN PRO ROZPOZNÁVÁNÍ EMOCÍ

Obrázek 3.3: InSight SDK – u obliˇcejese nachází výpis rozpoznaných emocí, vlevo dole detail oˇcía na pravé stranˇevypoˇcítanápozice a natoˇceníhlavy

3.3.4 Vzájemné porovnání aplikací urˇcenýchpro experiment

Z pohledu nabízené funkcionality jsou si všechny tˇrizvolené knihovny do velké míry podobné. Detekují obliˇceja následnˇerozeznávají emoce, vý- stup v reálném ˇcasevypisují na obrazovce. Umožˇnujírozšíˇrenía úpravu dle vlastní potˇreby, v základu ovšem žádné další speciální funkce nenabízí. Jeden z hlavních rozdíl ˚unacházím v metodˇevyužité k analýze obrazového vstupu. Zatímco CLMtrackr vychází ˇcistˇez vlastního algoritmického zpra- cování a vyhodnocování, EmotionRecognition a InSight SDK využívají také možnosti knihovny OpenCV. Výhodou CLMtrackru je snadná pˇrenositel- nost (JavaScript) – zcela zde odpadá nutnost instalace, v pˇrípadˇeumístˇení na server m ˚užebýt analýza provádˇenabez potˇrebydodateˇcnýchúprav z jakéhokoliv poˇcítaˇcepˇripojenéhov síti. Urˇcitéznevýhodnˇení lze oˇcekávat v robustnosti a kvalitˇezpracování, OpenCV je, co se možností týˇce,mnohem vˇetšíma také využívanˇejšímprojektem – zda je m ˚ujpˇredpokladopráv- nˇený,se ukáže v závˇereˇcnémexperimentálním porovnání. Za slabší stránku EmotionRecognition považuji zvolený algoritmus pro rozhodování, o jakou emoci se jedná. Oproti ostatním aplikacím, jež sle- dují i oˇci,nos, tváˇrea jiné svalové ˇcásti hlavy, se autoˇrizamˇeˇrilipouze na pozorování pohybu úst, na jehož základˇerozhodují, zda se jedná o radost, ˇcio smutek. Jejich zpracování a proniknutí do problematiky vyjadˇrování emocí mi pˇripadápouze povrchové, nebot’ podle (EM)FACS (tabulka 2.1)

25 3. METODAVÝBERUˇ KNIHOVEN PRO ROZPOZNÁVÁNÍ EMOCÍ

CLMtrackr Uživatelské prostˇredí Intuitivní, pˇrívˇetivé Výhody Pˇrenositelnost Nevýhody Pomalejší vyhodnocování Celkové hodnocení 7/10

Tabulka 3.3: CLMtrackr – základní pˇrehled

EmotionRecognition Uživatelské prostˇredí Pouze výstupní obrazovka Výhody Vhodné pro nauˇceníse práce s OpenCV Nevýhody Nedostateˇcnézpracování obliˇcejovýchvýraz ˚u Celkové hodnocení 4/10

Tabulka 3.4: EmotionRecognition – základní pˇrehled je radost urˇcenanejen pohybem sval ˚uokolo úst, ale také posunem oboˇcí, i pro korektní rozpoznání smutku je nezbytné sledovat tˇrisvalové ˇcástiob- liˇceje.Pˇredpokládám,že v praktické ˇcástizde bude docházet ke znaˇcnému zkreslení a ménˇepˇresnémurozpoznání pocit ˚usnímaných úˇcastník˚u. InSight SDK detekuje z vybraných knihoven nejvíce emocí, kde pro kaž- dou z nich udává hodnotu aktuálního projevu. Obávám se, že u knihov-ny pracující s ménˇeemocemi je, pˇrisprávném nastavení interpretace stažení obliˇcejovýchsval ˚u,vˇetšípravdˇepodobnostkorektního rozpoznání, než v pˇrípadˇeaplikace, jež rozlišuje emocí více, ale m ˚užeje kv ˚ulinejednoznaˇc- nosti, pˇrípadnˇe hraniˇcnímu vyjádˇrení, vzájemnˇe zamˇeˇnovat.Oˇcekávám zde tedy bˇehemtestu oproti zbývajícím programu urˇcitéznevýhodnˇenía z nˇejplynoucí ménˇejednoznaˇcnoudetekci projevených pocit ˚u. V tabulkách 3.3 , 3.4 a 3.5 uvádím pˇrehledvlastností porovnávaných aplikací a své hodnocení na základˇeinformací uvedených výše a osobních pocit ˚uz pˇredbˇežnéhotestování.

InSight SDK Uživatelské prostˇredí Pouze výstupní obrazovka Výhody Zobrazuje i doplˇnujícívýpoˇctya údaje Nevýhody Možnost zámˇenypodobnˇevyjádˇrenýchemocí Celkové hodnocení 8/10

Tabulka 3.5: InSight SDK – základní pˇrehled

26 4 Návrh experimentu

Ronald Aylmer Fisher1 v knize The Design of Experiments popisuje dva druhy útoku, jimž mohou být experimentátoˇripo zveˇrejnˇenísvého vˇedec- kého závˇeru vystaveni: naˇrˇceníz chybné interpretace – statistické metody nebyly provedeny a vyhodnoceny korektnˇe;a obvinˇeníz chybnˇenavrže- ného, pˇrípadnˇevykonaného, samotného experimentu [5]. Správný návrh zkoumání a odhalování souvislostí Fisher ilustruje na pˇríkladudámy, prohlašující, že po ochutnání šálku ˇcajes mlékem pozná, zda bylo mléko pˇridáno do ˇcajepozdˇeji, ˇcizda byl šálek nejprve napl- nˇenmlékem a poté zalit ˇcajem.Navrhuje pokus, na jehož základˇetvrzení otestuje. Sestává z namíchání osmi šálk ˚uˇcaje;ˇctyˇriz nich pˇripravíjedním z popsaných postup ˚ua ˇctyˇrizbývající druhým. Dámˇebylo pˇredemvysvˇet- leno, z ˇcehobude experiment sestávat; obdrží v náhodném poˇradízmínˇe- ných osm nápoj ˚ua jejím úkolem je rozdˇelitje do dvou skupin. Každá obsahuje ˇctyˇrihrníˇcky, jež jsou všechny bud’ s ˇcajemdoplnˇenýmdo mléka, respektive mlékem dolitým do ˇcaje.Na matematickém modelu výpoˇctu pravdˇepodobnostiFisher dále od ˚uvodˇnuje,proˇczvolil právˇeosm šálk ˚u. Nejprve úˇcastnicevybírá ˇctyˇrihrníˇckyz osmi, což znamená, že si volí na za- ˇcátkuz osmi, sedmi, šesti a nakonec pˇetiobjekt ˚u,což nabízí 8x7x6x5 = 1680 zp ˚usob˚uprovedení. Získané ˇcíslozahrnuje nejen poˇcetvšech možných skupin po ˇctyˇrech,ale také všechna možná poˇradíkaždého ze šálk ˚u.Vzhledem k faktu, že nemá smysl v rámci totožné skupiny hrníˇckyrozlišovat, je ne- zbytné vydˇelitvýsledek ˇcíslem24, nebot’ pˇredmˇetymohou být uspoˇrádány 4x3x2x1 zp ˚usoby. Výsledná hodnota vychází 70. Pokud by Fisher pro experiment zvolil namísto osmi šálk ˚ušest, možných zp ˚usob˚urozdˇelenído dvou skupin je rovno 20. Jinými slovy, v daném pˇrípadˇez pohledu pravdˇepodob- nosti, by testovaná žena pˇripˇetipokusech ze sta (= 5 %) zcela náhodného rozlišování objekt ˚uuspˇela.Z hlediska testu signiﬁkance2 lze výsledky zís- kané zmínˇenýmzp ˚usobembez dalšího zkoumání zahodit, nebot’ právˇe5 % je považováno za hranici statistické významnosti. Pozornost je vˇenována pouze jev ˚ums pravdˇepodobnostívýskytu menší 5 %. [5] Skrze pˇríklads dámou a jejího tvrzení o schopnosti rozlišovat pˇrípravu ˇcajeautor také názornˇevysvˇetlujeaplikaci nulové hypotézy. Pojmem nu- lová hypotéza experimentátor oznaˇcípˇredpokládanýjev, jenž chce pomocí

1. Ronald A. Fisher je považován za zakladatele moderních pˇrístup˚uk návrh ˚umexperi- ment ˚u.[4] 2. Test signiﬁkance = Test hladiny významnosti získaných výsledk ˚u,využíván v kapitole 6 – Vyhodnocení experimentu

27 4. NÁVRH EXPERIMENTU pˇripravovanéhopokusu potvrdit, pˇrípadnˇevyvrátit. Váha je kladena na správnou formulaci hypotézy, primárním cílem experimentu není ji potvrdit, ba naopak, existuje možnost, že ji vyvrátí. V dˇrívezmínˇenémmodelu je nesprávné pˇredpokládata tvrdit, že se žena pˇrirozlišování hrneˇck˚unikdy nemýlí, nebot’ na základˇejediného pochybení, kterého se dopustí, je možné celou hypotézu zamítnout, ale neexistuje koneˇcnémnožství experiment ˚u, jimiž by byl výrok potvrzen. [5] V závˇeru ukázkového pˇrípaduRonald Fisher vykresluje vnˇejšívlivy, jež se mohou ve vykonávaném pokusu projevit. Nelze napˇríkladpožado- vat, aby všech osm kalíšk ˚ubylo naprosto shodných. Rozdílný m ˚užebýt tvar, povrch materiálu, množství mléka v jednotlivých šálcích a pochopi- telnˇetaké teplota nápoje, která v pr ˚ubˇehutestování klesá. Pˇrinávrhu experimentu není cílem odhadnout a eliminovat vnˇejšívlivy za každou cenu, ale uˇcinitrozhodnutí, jaká narušení optimálních podmínek jsou nežádoucí, a která naopak budou ignorována. [5]

4.1 Pˇrípravaexperimentálního porovnání knihoven

Pˇrinávrhu svého experimentu vycházím z doporuˇcenía pˇríkladuRonalda Fishera. V pˇrípravnéˇcástipovažuji za d ˚uležité d ˚ukladné nastudování po- zorovaného jevu, snahu o odhalení výše zmínˇenýchvnˇejšíchvliv ˚u,jež mohou do pokusu vstoupit a dovést experimentátora k nesprávné implikaci, ˇcizávˇeru. Nejprve je nezbytné stanovit pˇredpoklady, které chci pokusem potvrdit, pˇrípadnˇevyvrátit, tzv. nulové hypotézy. Na základˇetvrzení ná- slednˇenadeﬁnuji promˇenné,pomocí nichž budu mˇeˇrit,zda bylo naplnˇeno, respektive vyvráceno. Pˇredpokládám,že ne všechny knihovny analyzují emoce obdobnˇe;využívají rozdílné technologie, mohou mít jinou metodiku pro rozlišování jednotlivých výraz ˚uobliˇcejeapod. V návaznosti na výše uvedené pokyny Fishera vytváˇrímnegativní pˇred- poklad, který mohu na základˇevýsledku statistické analýzy vyvrátit – 1. H0: Všechny porovnávané knihovny analyzují emoce se stejným výsled- kem, jejich vrácené hodnoty pro pˇredloženývstup se neliší. Mike Power v knize Emotion-Focused Cognitive Therapy zmínil jedince, jež projevují bud’ pˇrílišmálo, nebo naopak mnoho své emoce [1]. Domnívám se, že existuje rozdíl mezi emocemi projevovanými cílenˇe(na požádání) a mezi spontánní reakcí jednotlivce na pˇríslušnýpodnˇet.Pˇred- pokládám, že lidé, kteˇrímají spontánní vyjadˇrováníemocí v nerovnováze, je mohou pˇricíleném hraní lépe kontrolovat a pˇriblížitse tak k normˇe.Není ovšem jisté, zda bude rozdíl pozorovatelný na základˇerozhodování kniho-

28 4. NÁVRH EXPERIMENTU ven. Druhou nulovou hypotézu stanovuji H0: Pro vstupy shodné emoce vyjádˇrenéa) spontánnˇe,b) cílenˇe,vrací testovaná aplikace tutéž hodnotu. Další pˇredpokladyse váží k charakteristikám úˇcastník˚u– 3. H0: Vˇek úˇcastník˚unemá vliv na správnost rozpoznání jejich emocí, 4. H0: Zda se jedná o muže, ˇciženu nemá vliv na korektnost rozpoznání emocí, 5. H0: Nalíˇcenížen nemá vliv na korektnost rozpoznání emocí, 6. H0: Úprava vous ˚uu muž ˚unemá vliv na korektní urˇceníemocí a 7. H0: Korekce zraku prostˇrednictvímdioptrických brýlí neovlivˇnujekvalitu rozpoznání vyjád- ˇrenýchemocí. V dotazník ˚utaké ke každé osobˇedoplˇnujiinformaci, do jaké míry projevovala emoce. Snažím se tak zachytit jev popisovaní Powerem ve druhé kapitole, kdy nˇekteˇríjedinci vyjadˇrujíemoce pˇríliš,respektive témˇeˇr v ˚ubec.8. H0: Míra vyjadˇrováníemocí nemá vliv na kvalitu jejich detekce. Pˇredzahájením experimentu také zjišt’uji aktuální náladu úˇcastník˚u– 9. H0: Poˇcáteˇcnínálada nemá vliv na rozpoznání emocí.

4.2 Promˇennéexperimentu

Následující výˇcetpromˇennýchnavazuje na výše deﬁnované nulové hy- potézy a úžeji vymezuje pojetí celého experimentu. Zároveˇnpˇribližuje všechny vstupy a projevy, které jsou v pr ˚ubˇehupokusu sledovány.

4.2.1 Nezávislé promˇenné

V rámci mˇeˇrenís nimi mohu manipulovat a pozorovat jejich pˇredpoklá- daný vliv na závislé promˇenné. Radímˇ zde srovnávané knihovny, nebot’ právˇeod jejich volby a využití se odvíjí zp ˚usoba kvalita rozpoznání emocí. Patˇrísem také metoda vyjádˇreníemocí (spontánnˇevs. cílenˇe).

4.2.2 Závislé promˇenné

Závislé promˇennéjsou ovlivnˇenévolbou nezávislé promˇenné.U aplikací sleduji správnost detekce – emoce je rozpoznána korektnˇe.Ve vyhodnoco- vací ˇcástitaké v pˇrípadˇenesprávného urˇcenízkontroluji homogenitu v roz- hodování – zda pro shodný vstup podává knihovna totožný výstup (bez ohledu na správnost rozpoznání). Kontrolu homogenity považuji pouze za doplˇnkovou,nebot’ v pˇrípadˇeemocí nebudou nikdy dva oddˇelenˇepoˇrí- zené vstupy zcela shodné, spíše se tedy budu snažit možnou stejnorodost v rozhodování odhalit, než-li cílenˇeoˇcekávat.

29 4. NÁVRH EXPERIMENTU

4.2.3 Sledované promˇenné Sledované promˇennése po celý pr ˚ubˇehexperimentu nemˇení.Na jejich hodnotu je nezbytné dohlížet, nebot’ jakákoliv zmˇenam ˚uževést k nespráv- nému úsudku o vlivu mezi nezávislými a závislými promˇennými.[6]Pro zajištˇenípodobných podmínek natáˇceníúˇcastník˚ukontroluji pozici jednotlivce vzhledem k webkameˇrea zábˇerobliˇcejev analyzovaném videu.

4.2.4 Vnˇejšípromˇenné Vnˇejšípromˇennémohou, ale nemusí výsledky mˇeˇreníovlivnit, viz výše uvedena Fisherova ˇcástvˇenovanávnˇejšímvliv ˚um.Pˇrípadnývliv na závislé promˇennése budu snažit odhalit v charakteristikách snímaných osob. Roz- lišuji, zda nosí brýle, mají vousy, jsou nalíˇcenía jakého jsou vˇeku(ve stáˇrí mohou být tváˇrevrásˇcité,k ˚užeje ménˇepružná aj.).

4.3 Typ návrhu experimentu

S ohledem na deﬁnování více nezávislých promˇennýchsouˇcasnˇe(zvolená knihovna, metoda vyjádˇrení emoce), volím pro návrh experimentu faktori- ální uspoˇrádání[5].

4.3.1 Faktoriální design 4 x 2 Faktoriální design nachází své uplatnˇenív pˇrípadˇepotˇrebypozorovat a mˇe- ˇritvliv více nezávislých promˇenných(faktor ˚u)souˇcasnˇe.Pˇripravovanýex- periment obsahuje dva faktory – porovnávané knihovny (4 hladiny) a metodu vyjádˇreníemocí (2 hladiny). Pokus tedy sestává z 4 x 2 faktoriálního designu.[6] Detailní rozepsání pˇrikládámv tabulce 4.1.

4.3.2 Within-subjects design Within-subjects design využívá tutéž skupinu objekt ˚uk více r ˚uznýmzpra- cováním. Aplikuji jej pro úˇcelyporovnání knihoven, nebot’ záznam s úˇcast- níkem mohu vyhodnotit ve všech srovnávaných programech, aniž by do- cházelo ke zmˇenˇeanalyzovaných dat. Každý z pozorovaných jedinc ˚upod- stoupí všechny kombinace uvedené v Tabulce 4.1. V d ˚usledkuanalýzy ne- mˇennýchvstupních dat vázaných na konkrétního úˇcastníka,zcela odpadá slabá stránka Within-subjects designu, kdy hrozí, že úˇcastv daném zpraco- vání ovlivní zpracování následující.

30 4. NÁVRH EXPERIMENTU

Faktory Knihovna pro analýzu emocí Metoda vyjádˇreníemoce 1 CLMtrackr Spontánnˇe 2 CLMtrackr Cílenˇe 3 EmotionRecognition Spontánnˇe 4 EmotionRecognition Cílenˇe 5 InSight SDK Spontánnˇe 6 InSight SDK Cílenˇe 7 Kairos Spontánnˇe 8 Kairos Cílenˇe

Tabulka 4.1: Seznam pokusných scénáˇr˚uv závislosti na pozorovaných fak- torech

Zároveˇnnenastane situace, že by se nˇekteráz vybraných aplikací ocitla v rámci vyhodnocení v nerovném postavení v ˚uˇciostatním – ovlivní-li napˇr. nepˇríznivˇepr ˚ubˇehexperimentu vnˇejšípromˇenná,se kterou jsem v návrhu nepoˇcítal,projeví se na vstupu všech hodnocených knihoven.[7]

31 5 Pr ˚ubˇehexperimentu

Návrh získání potˇrebnýchdat a následného porovnání by nemohl být úspˇe- šnˇevytvoˇrenbez procesu operacionalizace, tedy urˇcení,co konkrétnˇeje mým zámˇerem mˇeˇrit,jakou technikou jej budu mˇeˇrita rozhodnutí, zda je vyko- naná metoda provedení a mˇeˇrenískuteˇcnˇereprezentantem vlastnosti, jež chci sledovat – zda je validní. Abych pˇredešelnežádoucím vliv ˚umvnˇejších promˇenných,jež nepˇríznivˇeovlivˇnujízískávání a vyhodnocení dat, musel jsem peˇclivˇezvážit návaznost a vzájemnou nekonﬂiktnost jednotlivých ˇcástípokusu. V optimálním pˇrípadˇe,kdy je cílem zachytit zcela spontánní projev úˇcastníka,by nemˇelo provádˇeníexperimentu s webkamerou v ˚ubec vˇedˇet,což je nejen v rámci mých možností neproveditelné, ale mohlo by být také považováno za neetické, nebot’ by byl klamán. Zároveˇnje mnohem vhodnˇejšípoˇrizovatkaždou z požadovaných emocí s vˇetšímˇcasovým rozestupem, nejlépe takovým, aby dobrovolník zcela zapomnˇelna emoci pˇredcházející.V rámci vykonání experimentu se ovšem pohybuji v reál- ném svˇetˇes limitovanými možnostmi a zdroji, jež musím zohlednit. Blíže se realizované podobˇepokusu vˇenujiv sekci 5.2.

5.1 Pˇrípravapodmínek pro vykonání experimentu

V pˇredchozíkapitole uvádím doporuˇcenípˇrístupuR. A. Fishera týkající se vnˇejšíchvliv ˚u,konkrétnˇe,že je vhodné se dopˇredurozhodnout, jakým ex- perimentátor zkusí pˇredejít,a které budou zcela ignorovány [5]. Vzhledem k povaze projevování emocí a metodˇesnímání obliˇcejesleduji a bˇehempr ˚u- bˇehukontroluji typ zábˇeru a velikost obliˇcejev nahrávaném videu, nebot’ od nˇejse odvíjí výsledná detekce a analýza emocí. S ohledem na rozdíl- nou výšku úˇcastník˚ua cíl zprostˇredkovatjim co nejpohodlnˇejšízp ˚usobsle- dování monitoru, zcela vypouštím snahu o udržování totožné vzdálenosti jedince od obrazovky a webkamery. V pˇrípravnéˇcástitaké porovnávám nasvˇetleníobliˇcejeve snímaném ob- raze za úˇcelemdospˇeník homogenním svˇetelnýmpodmínkám pro všechny pokusy. Nicménˇezde také ustupuji pohodlí úˇcastník˚una úkor udržení to- tožné hodnoty svˇetelnosti,nebot’ považuji zachycení a okolnosti projevu emocí za prioritnˇejšía vycházím z pˇredpokladu,že vnímá-li dobrovolník míru osvˇetleníjako nepˇríjemnou,ˇcirušivou, m ˚užese daný vliv projevit i v jeho uvolnˇenía spontaneitˇeprojevu. D ˚urazkladu na nasvícení všech ˇcástí obliˇcejerozhodných pro správnou detekci – oˇcí,nosu a úst. Nepˇrípustnéje napˇr.zastínˇeníoˇcí,výrazné stíny pˇrestváˇrapod.

32 5. PRUB˚ EHEXPERIMENTUˇ

Pˇrípadnédrobné odchylky záznam ˚uv míˇrenasvícení jednotlivc ˚unezne- výhodˇnujížádnou z testovaných knihoven pro rozpoznání emocí, každá z nich analyzuje tatáž videa. V popisu funkcionality a požadavk ˚unemají hodnotu svˇetelnostiuvedenou a srovnání více úrovní nasvˇetlenípˇriopa- kování pokusu nelze považovat za dostateˇcnˇesigniﬁkantní (pokud by se nejednalo o skuteˇcnˇevelké rozdíly – napˇr.šero, denní svˇetlo,pˇresvˇetlení, u natáˇceníse ovšem pohybuji v rámci optimálních hodnot) kv ˚ulinemož- nosti opakovat celý experiment za stejných podmínek s totožnými vý- sledky. Možné drobné odlišnosti v hodnotách svˇetelnostitedy vnímám jako projev vítaného aspektu náhodnosti, jež pˇrípadnˇenˇekterýmaplikacím detekci lehce ztíží, respektive usnadní, v závislosti na jejich provedení.

5.1.1 Použitý hardware

Získání, zpracování i vyhodnocení dat jsem provedl na notebooku Dell La- titude E6410 s následujícími parametry: operaˇcnísystém Windows 7 a v pˇrí- padˇeknihovny InSight SDK také Ubuntu 14.04, procesor Intel i5 M560 @ 2.67 GHz, operaˇcnípamˇet’ 6 GB. Pro snímání videa využívám webkameru Logitech HD Webcam C270 pˇrirozlišení 800 x 600 pixel ˚u.Externích moni- tor ˚ukombinuji z d ˚uvoduodlišných míst získávání dat r ˚uznétypy tak, aby vyhovovaly podmínkám uvedeným výše – umožnily pohodlné sledování pouštˇenýchvideí a správné snímání úˇcastníkawebkamerou zároveˇn.

5.1.2 Metoda výbˇerua složení úˇcastník˚u

Pro otestování knihoven a porovnání jejich kvalit volím množinu deseti lidí, nebot’ pojetí experimentu odpovídá kombinaci kvalitativního výzkumu s kvantitativní ˇcástí.Pˇrestožeje mým cílem dosáhnout výsledk ˚uaplikova- telných na bˇežnoupopulaci, není v mých možnostech vybrat náhodným zp ˚usobem(každý ˇclovˇekspadající do cílového skupiny m ˚užebýt do vý- bˇeru zaˇrazense stejnou pravdˇepodobností) reprezentativní vzorek obyva- tel CRˇ (alespoˇn1 000 jedinc ˚ua více). Pozorování a spoleˇcnévlivy jež pˇri testování nacházím, nezobecˇnuji,nebot’ mohou být zapˇríˇcinˇenyvýbˇero- vou chybou. V kapitole vˇenovanévyhodnocení experimentu tedy inter- ferenˇcnístatistku vypouštím a držím se pouze deskriptivní statistiky, ˇcili popisu vlastností nasbíraných dat bez vztahování ke zdrojovému souboru. U úˇcelovéhovýbˇeru dobrovolník ˚ujsem si na základˇepˇredpoklad˚ua hypo- téz z kapitoly 4 stanovil následující cíle: mít mezi úˇcastníkystejné množství žen i muž ˚u,jedince s brýlemi i bez brýlí, muže s vousy a bez vous ˚ua ženy s nalíˇcením,respektive nenalíˇcené.

33 5. PRUB˚ EHEXPERIMENTUˇ

Snažil jsem se také držet rovnomˇernéhovˇekovéhorozložení dobrovolník ˚u, pˇredevšímzískat do vzorku i starší osoby, abych posoudil, zda u nich napˇr. z d ˚uvoduvýskytu vrásek, ˇcijinak vˇekempoznamenaných ˇcástíobliˇceje, knihovny rozlišují emoce stejnˇeúspˇešnˇe,jako u mladších osob. Pro lepší pˇrehledo charakteristikách úˇcastník˚ua možnost následné analýzy, jsem je nechal vyplnit krátký dotazník sestávající z otázek týkajících se vˇeku,po- hlaví, u muže, zda má vousy (volí hodnotu sémantického diferenciálu 1 ~ zcela bez vous ˚u– 7 ~ velmi dlouhé vousy), u ženy, zda je nalíˇcená(1 ~ bez make- upu – 7 ~ silnˇenalíˇcená),zda má dotyˇcný/ána nose brýle, jak se aktuálnˇe cítí (1 ~ pozitivita a uvolnˇenost– 7 ~ stres, napˇetí).Bˇehemanalýzy vytvo- ˇrenéhozáznamu jsem ke každému úˇcastníkovidoplnil do jaké míry proje- voval své emoce (1 ~ témˇeˇrv ˚ubec– 7 ~ velmi emotivní). Ukázka podoby dotazníku je souˇcástípˇrílohyB. Pˇrehlednasbíraných dat:

• 10 subjekt ˚u(5 žen a 5 muž ˚u)

• dioptrické brýle mají 4 úˇcastníci(1 muž a 3 ženy)

• vˇekovérozložení:

vˇek 21 24 25 33 38 54 57 zastoupení 1 3 2 1 1 1 1

Tabulka 5.1: Vˇekovérozložení zúˇcastnˇenýchosob

• úvodní nálada jednotlivc ˚u:

naladˇení 1 (pozitivní) 2 (spíše poz.) 3 (lehce poz.) 4 (neutrální) zastoupení 2 3 2 3

Tabulka 5.2: Úvodní nálada zúˇcastnˇenýchosob

• vˇetšinadotyˇcnýchse v míˇreprojevu emocí blížila stˇredníhodnotˇe:

míra projevu 2 (slabý projev) 3 (lehce pod pr ˚umˇerem) 4 (stˇred) zastoupení 1 5 4

Tabulka 5.3: Míra projevu emocí zúˇcastnˇenýchosob

• charakteristiky podle pohlaví viz obrázek 5.1

34 5. PRUB˚ EHEXPERIMENTUˇ

Obrázek 5.1: Charakteristiky úˇcastník ˚upodle pohlaví (hodnoty jsem kate- gorizoval podle klíˇce:a) u žen 1–3 ~ témˇeˇrbez make-upu, 4–7 ~ s make- upem b) u muže 1–3 ~ bez vous ˚u,4–7 ~ s delšími vousy

5.2 Provedení experimentu

V druhé kapitole uvádím Power ˚uvpˇredpoklad,že lidé oˇcekávajícínutnost projevu konkrétní emoce, se dokáží pˇripravita vyjádˇrenítak lépe zkoor- dinovat. V rámci vyhodnocení porovnávám spontánní projev pocit ˚uv ˚uˇci cílenému. V návaznosti na poznání Powera tedy rozdˇelujipr ˚ubˇehexperi- mentu na dvˇeˇcástia zohledˇnujipoˇradíjednotlivých vyjádˇrení– nejprve zaznamenávám projevy spontánní, kdy úˇcastnícinetuší, jaké emoce se v nich pokusím vyvolat a teprve poté po nich požaduji cílený projev. Spon- tánní emoce jsem se v dobrovolnících rozhodl navodit pouštˇenímtematicky zamˇeˇrenýchvideí, konkrétnˇese jedná o vyjádˇrenísmutku a radosti. Zvažo- val jsem i navodˇenískuteˇcnéhopocitu naštvání, oblast lidské psychiky ale nepatˇrímezi má zamˇeˇrení.Po d ˚ukladnémzvážení jsem dospˇelk závˇeru, že pokud bych úˇcastníkyskuteˇcnˇeúspˇešnˇerozˇcílil(zde bych volil jinou metodu, než video), je dost pravdˇepodobné,že bych tím výraznˇeovlivnil i následující pr ˚ubˇehexperimentu. Vztek i neutralitu participanti vyjadˇrují pouze zámˇernˇe,zbývající emoce obˇemazp ˚usoby. Pˇred zapoˇcetím pokusu nechávám každého úˇcastníka vyplnit dˇríve zmínˇenýdotazník. V úvodu experimentu participujícím jednotlivˇevysvˇet- luji, co je oˇcekáváa nastavuji na nˇezábˇerkamery v programu Logitech Webcam Software, viz obrázek 5.2.

35 5. PRUB˚ EHEXPERIMENTUˇ

Obrázek 5.2: Logitech Webcam Software: Vpravo nahoˇrese nachází kon- trolní panel, kde je možné prostˇrednictvím šipek a tlaˇcítek pro pˇriblí- žení/oddálení upravit zábˇer, aby byl obliˇcejsnímán korektnˇea umístˇen uprostˇredobrazu

36 5. PRUB˚ EHEXPERIMENTUˇ

Zamýšlená emoce Odkaz na video 1 Smutek https://youtu.be/SbByK8bBR3g 2 Smutek https://youtu.be/fdFVjufexBA 3 Radost https://youtu.be/u9vbXpMKz6I 4 Radost https://youtu.be/FhkS4Ez4nu8 5 Radost https://youtu.be/IUlfMx9eKgE

Tabulka 5.4: Seznam videí využitých pro vyvolání spontánních emocí

Poté jim pouštím na monitoru náhodné video (hudební klip apod.), u nˇe- hož sleduji jejich chování pˇredkamerou a zároveˇnjim ponechávám ˇcasna uvolnˇeníse a aklimatizaci. Následnˇepˇrecházímjiž ke snímk ˚umurˇcenýchk vyvolání emoce. V rámci zohlednˇenívariability potˇrebnýchpodnˇet˚uk na- vození požadované reakce jedinc ˚u,zaˇrazujivíce r ˚uznýchvideí se shodnou citovou tématikou. Nejprve nechávám dobrovolníky sledovat záznamy ur- ˇcenék vyvolání smutku a poté radosti, abych je po úvodním pr ˚ubˇehulépe navnadil a optimisticky naladil na další ˇcást.Seznam pˇrehrávanýchvideí dostupných v nezkrácené podobˇepˇrikládámv tabulce 5.1. Pro úˇcelyex- perimentu jsem u nˇekterýchobrazových stop využil kv ˚ulipˇrílišnédélce pouze ˇcást,pˇredevšímu odkazu ˇcíslo3. V druhé ˇcástipráce s úˇcastníkyjim oznamuji, jakou emoci mají vyjádˇrit – radost, smutek, vztek, neutrální/bˇežnývýraz (optimálnˇepo dobu 15 s). Po zdárném vykonání ukonˇcujinatáˇcenía s dobrovolníky se louˇcím.

37 6 Vyhodnocení experimentu

Z každého sezení s úˇcastníkemjsem získal pˇribližnˇe20 minutový video- záznam. Vzhledem k povaze analýzy a metodˇevýpisu emocí aplikacemi, bylo nezbytné naplánovat, jakým zp ˚usobem porovnání a otestování knihoven uskuteˇcním.

6.1 Zpracování získaných záznam ˚u

Po zbˇežnékontrole nahrávek a zkušenostech z natáˇcenístanovuji délku videa s vyjádˇrenímpožadované emoce na 10 s. U delších stop vˇetšinoudo- chází k narušení kontinuity projevu, což je provázeno rizikem nepˇríznivého ovlivnˇenínásledné statistické analýzy dat – starší osoba napˇr.nevydrží pro- jevovat svou emoci po celou dobu bez pˇrerušení – pˇrikontrole dat se ukáže, že bˇehemdetekce výrazu docházelo k nekorektnímu rozpoznání, což již m ˚užebýt mylnˇeinterpretováno a dáváno za vinu vyššímu vˇeku,nebo-li pozmˇenˇenéstruktuˇreobliˇceje.Cílem a stanovenou optimální podmínkou je tedy 10 vteˇrinovénepˇrerušované vyjádˇreníkaždé kontrolované emoce. V kapitole 3, v ˇcástivˇenovanépopisu funkcionalit zvolených knihoven pro porovnání uvádím, že všechny rozpoznané emoce jsou pouze vypiso- vány na obrazovku a zcela chybí možnost exportu výstupních dat. Pro úˇcel dalšího zpracování jsem se rozhodl urˇcitˇcetnost,se kterou si zaznamenám právˇedetekovanou hodnotu. Za dostaˇcující považuji zápis emoce každou vteˇrinu,nebot’ pravdˇepodobnost,že by aplikace, jež rozeznává 3 typy vy- jádˇrenípocit ˚u,dosáhla zcela náhodnˇe(po celou dobu analýzy daného pro- 100 jevu) správného výsledku vychází 310 = 0,0017 % (v každé vteˇrinˇevybírá jednu ze tˇríemocí, délka záznamu je 10 s). U knihoven s více detekova- nými výrazy je pravdˇepodobnostpochopitelnˇeještˇenižší, výsledek tedy v každém pˇrípadˇesplˇnujeFisherovu podmínku testu signiﬁkance.[5] Videozáznamy jsem nastˇríhalv programu Adobe Premiere Pro CC 2015. K rozhodnutí, která ˇcástprojevu nejlépe odpovídá požadované emoci, vyu- žívám znalost získanou prostˇrednictvímtrénování v aplikaci FaceTales (viz kapitola 2), kde se mi podaˇrilodosáhnout páté úrovnˇerozpoznávání zá- kladních emocí. Absolvování doplˇnujícíhokurzu rozpoznání mikro-vyjád- ˇrenípocit ˚upostrádá pro úˇcelysrovnání knihoven význam. Ze všech zá- znam ˚ujsem vytvoˇrilcelkem deset videí, každému úˇcastníkovipˇríslušíjed- no. Na zaˇcátkuse vždy po dobu 5 s zobrazí popisek obsahující projev, jež bude následovat. Sekvence stav ˚uje: spontánní smutek, spontánní radost, zámˇernýsmutek, zámˇernáradost, neutralita a hnˇev.

38 6. VYHODNOCENÍEXPERIMENTU

Obrázek 6.1: CLMtrackr - vousy zapˇríˇcinilynekorektní rozpoznání úst

Všechna videa urˇcenák porovnání knihoven pˇrikládámk práci ve složce analyzovana_videa. Aplikace CLMtrackr a EmotionRecognition komuni- kují pouze s webkamerou, pro simulaci vstupu z webkamery jsem využil program Virtual Webcam 8.0. Následnˇemi již nic nebránilo zaˇcíttestování podle dˇrívestanovených kritérií.

6.2 Chyby v pr ˚ubˇehudetekce obliˇcejea rozpoznávání emoce

Pˇredpokládám,že ne všechny chyby, jež bˇehemtestování nastaly, mohou být odhalitelné v rámci statistické analýzy dat. Nejvýznamnˇejšíz nich pro každou aplikaci proto uvádím oddˇelenˇe.Bˇehemzávˇereˇcnéhoporovnávání knihoven k nim také pˇrihlédnu,zároveˇntvoˇrínedílnou ˇcástjiž dˇrívezmí- nˇenékombinace kvalitativního výzkumu s kvantitativní ˇcástí. Aplikace CLMtrackr se obˇcas potýkala s nesprávným rozeznáním okraj ˚uobliˇceje,na obrázku 6.1 je patrné, že delší vousy skuteˇcnˇemohou rozlišování ˇcástítváˇrea urˇcováníemocí nepˇríznivˇeovlivnit.

39 6. VYHODNOCENÍEXPERIMENTU

Obrázek 6.2: EmotionRecognition - absence detekovaných úst zapˇríˇcinila chybné urˇceníemoce

U EmotionRecognition docházelo nejˇcastˇejik neidentiﬁkování úst, což vzhledem k metodˇevyhodnocování, jež je na jejich pohybu založena, ˇciní velký problém. Na obrázku 6.2 lze vidˇetkonkrétní nepˇríznivýdopad na rozpoznání pomˇernˇe’dobˇreˇcitelné’emoce. Zˇrídkanastaly komplikace i u InSight SDK, u pár záznam ˚udošlo v ur- ˇcitýchmomentech k úplnému výpadku detekování obliˇcejevˇcetnˇevýpisu emocí. Na obrázku 6.3 m ˚užebýt pˇríˇcinounenadálé naklonˇeníhlavy sní- mané osoby, tentýž problém se ovšem vyskytl i v jiných situacích.

6.3 Statistická analýza dat

Získaná data analyzuji v programu IBM SPSS Statistics 23. Nejprve jsem zde vytvoˇrilpromˇenné,do kterých vkládám hodnoty z dotazník ˚ua vý- sledky rozpoznávání emocí. Výstup z knihoven zaznamenávám pro každý projev v každé vteˇrinˇemˇeˇrenízvlášt’ – pˇríklademm ˚užebýt spontánní vy-

40 6. VYHODNOCENÍEXPERIMENTU

Obrázek 6.3: InSight SDK - zcela chybí detekce obliˇcejevˇcetnˇetabulky s rozpoznanými emocemi

CLMtrackr EmotionRecognition InSight SDK Pr ˚umˇerhodnot 0,28 / 28 % 0,1 / 10 % 0 / 0 % Poˇcetzáznam ˚u 10 10 10 Smˇer. odchylka 0,39944 0,31623 0

Tabulka 6.1: Procentuální úspˇešnostsprávného rozpoznání spontánního smutku jádˇrenísmutku zpracovávané aplikací CLMtrackr, pro nˇežse v souboru statistiky nachází 10 promˇennýchnabývajících hodnot 0 (nekorektní roz- poznání), resp. 1 (korektnˇerozpoznaná emoce). Výsledný soubor (stat.sav) ˇcítajícídeset záznam ˚use 188 promˇennýmije také pˇriloženk práci.

6.3.1 Detekce spontánního smutku

Pr ˚umˇery, jež uvádím v tabulce 6.1, získávám nejprve vypoˇctením pr ˚u- mˇeru úspˇešnostirozpoznání konkrétní emoce (v daném pˇrípadˇesmutku) pro danou osobu – tzn. seˇctunamˇeˇrenéhodnoty z každé vteˇrinypozoro- vání a vydˇelímje celkovým poˇctem,tj. 10. Výsledek m ˚uženabývat hodnot v rozmezí <0;1>. Získám-li napˇr.ˇcíslo0,2, mohu ˇríci,že ve 2 vteˇrináchz 10 knihovna u osoby X korektnˇeidentiﬁkovala smutek. Podobnˇepokra- ˇcujii u ostatních úˇcastník˚ua následnˇevypoˇcítávámpr ˚umˇerz hodnot všech

41 6. VYHODNOCENÍEXPERIMENTU

Obrázek 6.4: CLMtrackr - graf distribuce úspˇešnostidetekce smutku u jed- notlivých osob. Emoce pˇetiúˇcastník˚ubyla detekována zcela nesprávnˇe,za- tímco dvou zcela správnˇe.

P pr˚umerˇ hodnot kazdˇ e´ osoby osob, což lze vyjádˇrit: 10 . Výsledné ˇcíslose pochopi- telnˇestále pohybuje v intervalu <0;1> a urˇcujecelkovou úspˇešnosttesto- vané aplikace. Druhý ˇrádektabulky 6.1 uvádí poˇcetzáznam ˚u.Vzhledem ke 100% vyplnˇenívšech údaj ˚u,nad nimiž se provádí výpoˇcty, poˇcetzáznam ˚u v dalších tabulkách neuvádím, vždy se rovná 10. Tˇretíˇrádekobsahuje smˇe- rodatnou odchylku, prostˇrednictvímníž si lze lépe pˇredstavitodlišnost jed- notlivých hodnot, z nichž byl poˇcítánpr ˚umˇer. Nízké ˇcíslosmˇerodatné odchylky indikuje spíše homogenní soubor dat, naopak vyšší ˇcísloznaˇcívˇetší výskyt variability u namˇeˇrenýchhodnot. V rozpoznání spontánního smutku vychází nejlépe CLMtrackr s 28% úspˇešností, na druhém místˇeje EmotionRecognition s 10% správnou de- tekcí a pˇrekvapivˇezcela nulové úspˇešnostidosáhla knihovna InSight SDK. Distribuce pr ˚umˇernýchhodnot jednotlivých osob je dobˇrepatrná na ob- rázku 6.4. U pˇetiúˇcastník˚unebyl smutek rozpoznán ani v jedné vteˇrinˇevy- jádˇrení,což m ˚uževypovídat o kvalitách knihovny, respektive o nedosažení žádaného projevu emoce úˇcastníky. Nˇekolikdobrovolník ˚use mi po experimentu pˇriznalo,že se v urˇcitýchmomentech (vˇetšinouprávˇev souvislosti se smutkem) snažili své pocity pˇredkamerou ovládat.

42 6. VYHODNOCENÍEXPERIMENTU

CLMtrackr EmotionRecognition InSight SDK Pr ˚umˇerhodnot 0,52 / 52 % 0,2 / 20 % 0,69 / 69 % Smˇer. odchylka 0,47563 0,42164 0,39001

Tabulka 6.2: Procentuální úspˇešnostsprávného rozpoznání spontánní radosti

Pˇriklánímse tedy ke druhé možnosti a pˇredpokládám,že emoce nebyla projevena zcela uvolnˇenˇea v plném rozsahu, což ztížilo její korektní urˇcení.

6.3.2 Detekce spontánní radosti

U spontánního vyjádˇreníradosti je situace zcela opaˇcná,než v pˇredchozím pˇrípadˇe.Obecnˇeji knihovny detekovaly ze všech emocí s nejvyšší úspˇeš- ností, pravdˇepodobnˇez d ˚uvodu,že smích se nikdo ze zúˇcastnˇenýchnesna- žil ve svém projevu omezovat. Lidé se také zˇrejmˇepo sledování vážných vi- deí zamˇeˇrenýchna vyvolání soucitu pˇrizábavných podnˇetechlépe uvolnili a byli rádi, že se atmosféra pr ˚ubˇehu experimentu výraznˇenadlehˇcila.Nej- lepšího rozpoznání dosáhla aplikace InSight SDK – 69 %, CLMtrackr má 52% úspˇešnost,tˇretímísto náleží EmotionRecognition s 20 % korektního ur- ˇcení,pˇrehledviz tabulka 6.2. Obrázek 6.5 obsahuje krabicový graf (boxplot) typu Tukey. Vnˇejšívodorovné okraje obdélníku znaˇcídolní a horní kvartil, silnˇejšíhorizontální ˇcára uvnitˇrzastupuje medián, hvˇezdiˇckaindikuje ex- trémní (podezˇrelou)hodnotu a spodní ˇcástlinky ve tvaru obráceného T zobrazuje nejnižší hodnotu souboru, která je nad rozdílem hodnoty dol- ního kvartilu a 1,5 násobku interkvartilového rozpˇetí.Na ose y se nachází hodnoty úspˇešnostikorektní detekce. U aplikace EmotionRecognition bylo osm úˇcastník ˚uanalyzováno s nulovou úspˇešnostía dva (osoby s ˇcísly4 a 6) se 100% správností, což se pˇriporovnání s normálním rozložení jeví po- dezˇrele,proto jsou oznaˇcenyhvˇezdiˇckou.Výskyt vzdálených a extrémních hodnot správnosti rozpoznání zde není ojedinˇelýmpˇrípadem,nachází se i u ostatních detekovaných emocí. Krabicové grafy pro zbývající zpracované emoce uvádím v pˇrílozeC.

6.3.3 Detekce zámˇernéhosmutku

Zámˇernýsmutek detekovaly programy mezi sebou velmi podobnˇe,z pohledu míry úspˇešnostiknihovny na prvním místˇe – CLMtrackr s 24 % vy- chází ze všech emocí nejh ˚uˇre.Jednotlivé výsledky uvádím v tabulce 6.3.

43 6. VYHODNOCENÍEXPERIMENTU

Obrázek 6.5: Spontánní radost – distribuce hodnot správnosti urˇceníjed- notlivých knihoven.

CLMtrackr EmotionRecognition InSight SDK Pr ˚umˇerhodnot 0,24 / 24 % 0,12 / 18 % 0,19 / 19 % Smˇer. odchylka 0,39777 0,38239 0,26013

Tabulka 6.3: Procentuální úspˇešnost správného rozpoznání zámˇerného smutku

44 6. VYHODNOCENÍEXPERIMENTU

CLMtrackr EmotionRecognition InSight SDK Pr ˚umˇerhodnot 0,56 / 56 % 0,12 / 12 % 0,48 / 48 % Smˇer. odchylka 0,46236 0,31552 0,39665

Tabulka 6.4: Procentuální úspˇešnostsprávného rozpoznání zámˇernéradosti

EmotionRecognition InSight SDK Pr ˚umˇerhodnot 0,45 / 45 % 0,56 / 56 % Smˇer. odchylka 0,49721 0,47188

Tabulka 6.5: Procentuální úspˇešnostsprávného rozpoznání neutrality

6.3.4 Detekce zámˇernéradosti

V detekci zámˇernéradosti vítˇezí CLMtrackr (56 %), druhá je InSight SDK (48 %) a poslední EmotionRecognition (12 %), hodnoty viz tabulka 6.4 Za pozornost stojí porovnání se spontánní radostí, kde zvítˇezilaaplikace InSi- ght SDK, jež dosáhla o 21 % lepšího výsledk ˚u,než nyní. CLMtrackr naopak dosahuje zde o 4 % vyšší úspˇešnosti.Zmínˇenýpˇríkladnázornˇeilustruje od- lišné zpracování projevených výraz ˚u,kdy i u totožné emoce pouze s roz- dílem spontánního, resp. zámˇernéhovyjádˇrení,m ˚uževýsledek významnˇe variovat.

6.3.5 Detekce neutrality

Obˇeknihovny se pohybují kolem 50% úspˇešnostisprávného rozpoznání neutrality, InSight SDK 56 %, EmotionRecognition 45 %, podrobnosti viz tabulka 6.5.

6.3.6 Detekce hnˇevu

Pˇresvˇedˇcitúˇcastníky, aby se zámˇernˇerozˇcílili,byl nároˇcnˇejšíúkol. Nˇekteˇrí zaˇcaliprojevovat vztek skrze mluvený projev doplnˇenýbouˇrlivougesti- kulací. Po upozornˇení,že pro experiment je d ˚uležitýpouze výraz obliˇceje, dali najevo spíše zklamání a zmatení. Kv ˚ulizachování autenticity vyjád- ˇreníjsem zámˇernˇeobcházel situaci, kdy participujícím explicitnˇeˇríkám,jak pracovat se svaly na jejich obliˇceji.Pˇríˇcinunízké úspˇešnostidetekce hnˇevu tedy nevidím pouze v kvalitˇeknihoven, ale také v obtížnˇejšísimulaci (i sti- mulaci) požadované emoce. CLMtrackr dosáhl 36 % a InSight SDK 23 % správného urˇcení,viz tabulka 6.6.

45 6. VYHODNOCENÍEXPERIMENTU

CLMtrackr InSight SDK Pr ˚umˇerhodnot 0,36 / 36 % 0,23 / 23 % Smˇer. odchylka 0,43256 0,27508

Tabulka 6.6: Procentuální úspˇešnostsprávného rozpoznání hnˇevu

6.4 Kontrola správnosti hypotéz

Ve ˇctvrtékapitole jsem pˇripokusu o nalezení promˇenných,jež mohou pr ˚u- bˇehexperimentu ovlivnit, stanovil odpovídající hypotézy. Níže se na zá- kladˇeanalýzy získaných dat pˇresvˇedˇcím,zda mohu tvrzení ponechat, ˇci zda je musím zamítnout.

6.4.1 Porovnání spontánního vyjádˇreníse zámˇerným

Deﬁnoval jsem hypotézu H0: Pro vstupy shodné emoce vyjádˇrenéa) spon- tánnˇe,b) cílenˇe,vrací testovaná aplikace tutéž hodnotu. V rámci statistické analýzy ovˇeˇruji korelaci mezi jednotlivými knihovnami rozpoznávajícími spontánní, respektive zámˇernouradost. Pokud se vrácená hodnota v závislosti na typu vyjádˇrení(spontánnˇeX zámˇernˇe)ne- mˇení,zmínˇenáshoda se projeví také ve vysoké korelaci mezi prvky stejné knihovny. Z tabulky 6.7 je ovšem patrné, že statisticky významná souvztaž- nost hodnot nastává pouze v pˇrípadˇeprogramu EmotionRecognition. V zá- vˇeru kapitoly u hodnocení aplikací zmiˇnujiv souvislosti s EmotionRecogni- tion témˇeˇrstatické vyobrazení nápisu detekované emoce. Pokud knihovna bez ohledu na správnost v obou pˇrípadechvypisuje stále tutéž emoci, pak logicky vychází, že rozhoduje podobnˇe,zde ovšem bez ohledu na vstup. Pˇrivýpoˇctukorelace vztahující se k emoci smutku dosahuji obdobného výsledku. Z uvedeného d ˚uvodua vzhledem k neprokázání propojenosti promˇennýchu zbývajících dvou aplikací nulovou hypotézu o podobnosti spontánního a zámˇernéhovyjádˇrenízamítám.

6.4.2 Vliv vˇekuna kvalitu rozpoznávání vyjádˇrení

H0: Vˇekúˇcastník˚unemá vliv na správnost rozpoznání jejich emocí. Test vzájemné nezávislosti zmínˇenýchpromˇenných(vˇek,úspˇešnostroz- poznání emocí) provádím skrze výpoˇcetPearsonova chí-kvadrátu. Hod- notu poˇcítámpro všechny knihovny zvlášt’, nebot’ každá využívá lehce odlišný typ detekce – nˇekterýz nich by mohl být stáˇrímosob ovlivnitelný.

46 6. VYHODNOCENÍEXPERIMENTU Tabulka 6.7: Výpis korelací mezi jednotlivými aplikacemi rozpoznávajícími spontánní, respektive zámˇernouradost

47 6. VYHODNOCENÍEXPERIMENTU

Tabulka 6.8: CLMtrackr - test vztahu mezi úspˇešnostírozpoznání a vˇekem úˇcastník˚u

Tabulka 6.9: EmotionRecognition - test vztahu mezi úspˇešnostírozpoznání a vˇekemúˇcastník˚u

U CLMtrackru se závislost mezi vˇekema úspˇešnostíurˇcenípocitu ne- prokázala, vyznaˇcenáhodnota chí-kvadrátu v tabulce 6.8 dosahuje vyšší hodnoty, než 0,05 (hranice statistické signiﬁkance). O nˇecoh ˚uˇredopadla i knihovna EmotionRecognition, viz tabulka 6.9, u níž se korelace také nepro- kázala. Ani InSight SDK, tabulka 6.10 nevyboˇcujez ˇrady, nulovou hypotézu tedy podržím.

6.4.3 Rozdíl mezi mužem a ženou v detekci obliˇcejovýchemocí

H0: Zda se jedná o muže, ˇciženu nemá vliv na korektnost rozpoznání emocí. Pro ovˇeˇreníopˇetvyužívám Pearson ˚uvchí-kvadrát. Z tabulky 6.11 je pa- trné, že žádná z aplikací nemá kvalitu detekce ovlivnˇenoupohlavím úˇcast- níka, nulovou hypotézu ponechávám.

48 6. VYHODNOCENÍEXPERIMENTU

Tabulka 6.10: InSight SDK- test vztahu mezi úspˇešnostírozpoznání a vˇekem úˇcastník˚u

CLMtrackr EmotionRec. InSight SDK Pearson ˚uvchí-kvadrát (sign.) 0,433 0,490 0,238 Tabulka 6.11: Test vztahu mezi úspˇešnostírozpoznání a pohlavím úˇcast- ník ˚u

6.4.4 Ovliv ˇnujenalíˇcenírozpoznání výrazu?

H0: Nalíˇcenížen nemá vliv na korektnost rozpoznání emocí. Ani u nalíˇcenížen nedochází k prokázání souvislosti s kvalitou rozpo- znání, viz tabulka 6.12. Výsledek je také pravdˇepodobnˇeovlivnˇen výbˇero- vým vzorkem lidí a celkovˇenižší kvalitou knihoven v rozpoznávání emocí. Vˇetšímíru nalíˇcenímˇelapouze jedna žena.

6.4.5 Délka vous ˚uu muž ˚u

H0: Úprava vous ˚uu muž ˚unemá vliv na korektní urˇceníemocí. Na základˇevýpoˇctuchí-kvadrátu (viz tabulka 6.13 ) mohu vyvodit, že délka vous ˚uu muž ˚usprávné rozpoznání emocí neovlivˇnuje.Ze zkušeností bˇehemtestování a ukázek chyb, jež v pr ˚ubˇehudetekce nastaly, je patrné, že delší vousy mohou skuteˇcnˇedetekci obliˇcejenepˇríznivˇeovlivnit. Vzhle- dem k celkovˇenízké kvalitˇerozpoznání však vnˇejšívliv nezasahuje signiﬁ- kantnˇedo výsledk ˚uúspˇešnosti,hypotézu tedy podržím.

CLMtrackr EmotionRec. InSight SDK Pearson ˚uvchí-kvadrát (sign.) 0,265 0,659 0,353 Tabulka 6.12: Test vztahu mezi úspˇešnostírozpoznání a nalíˇcenímžen

49 6. VYHODNOCENÍEXPERIMENTU

CLMtrackr EmotionRec. InSight SDK Pearson ˚uvchí-kvadrát (sign.) 0,241 0,405 0,350 Tabulka 6.13: Test vztahu mezi úspˇešnostírozpoznání a délkou vous ˚uu muž ˚u

CLMtrackr EmotionRec. InSight SDK Pearson ˚uvchí-kvadrát (sign.) 0,265 0,091 0,442 Tabulka 6.14: Test vztahu mezi úspˇešnostírozpoznání a nošením brýlí

6.4.6 Korekce zraku v podobˇedioptrických brýlí

H0: Korekce zraku prostˇrednictvímdioptrických brýlí neovlivˇnujekvalitu rozpoznání vyjádˇrenýchemocí. Vypoˇcítanéhodnoty v tabulce 6.14 vztah mezi promˇennýmineproka- zují, hypotézu tedy ponechávám.

6.4.7 Vliv míry vyjadˇrováníemocí na kvalitu detekce

H0: Míra vyjadˇrováníemocí nemá vliv na kvalitu jejich detekce. Zde pravdˇepodobnˇe dochází k urˇcitému zkreslení výpoˇctu korelace mezi zmínˇenýmipromˇennými (míra vyjádˇreníemocí a úspˇešnostrozpo- znání), což je ovlivnˇenorealizovaným zp ˚usobemanalýzy. Z celého sezení s úˇcastníkyvybírám pouze nˇekolikvteˇrin,kdy emoci vyjadˇrujíkontinuálnˇea nejlépe, zatímco mé hodnocení jejich projevu se nevztahuje ke krátké zpra- covávané ˇcásti,ale k celkovému pr ˚ubˇehu. Pˇrestose pokusím odhalit, zda se nejlepší hodnoty více emotivních jedinc ˚uod ve svém vyjádˇrenízdržen- livˇejšíchúˇcastník˚uskuteˇcnˇeneliší. Ze všech pˇrípad˚uspontánního vyjádˇrenínastal statisticky signiﬁkantní projev závislosti mezi promˇennýmipouze u analýzy spontánního smutku knihovnou EmotionRecognition (Pearson ˚uvchí-kvadrát uvádí hodnotu 0,007). Pod tabulkou je ovšem umístˇenoupozornˇenítýkající se oˇcekávané ˇcetnosti, jež nebyla naplnˇena.Výsledek testu nezávislosti je tedy neko- rektní. Obdobnˇevychází i analýza zámˇernéhoprojevu, kde EmotionRe- cognition u Pearsonova chí-kvadrátu získává hodnotu signiﬁkance 0,027, ovšem také za souˇcasnéhonesplnˇenípodmínek oˇcekávanéˇcetnosti.V obou metodách se souvztažnost mezi hodnotami neprokázala, nulovou hypo- tézu ponechávám.

50 6. VYHODNOCENÍEXPERIMENTU

CLMtrackr EmotionRec. InSight SDK Pearson ˚uvchí-kvadrát (sign.) 0,362 0,078 0,247 Tabulka 6.15: Test vztahu vlivu poˇcáteˇcnínálady na rozpoznání emocí

6.4.8 Vliv poˇcáteˇcnínálady na rozpoznání emocí

H0: Poˇcáteˇcnínálada nemá vliv na rozpoznání emocí. Z údaj ˚uv tabulce 6.15 je patrné, že poˇcáteˇcnínálada úˇcastník˚unijak pro- kazatelnˇeneovlivnila jejich následný projev pˇredwebkamerou, což hodno- tím velmi pozitivnˇe.Pˇredzapoˇcetímnatáˇceníjsem se snažil s jednotlivci navodit pˇríjemnouatmosféru, d ˚uležitouroli zde pochopitelnˇetaké zastupuje fakt, že všichni respondenti mˇeliv úvodu nejh ˚uˇrenormální náladu, ˇcastˇejiovšem pocit’ovali spíše pozitivitu a uvolnˇení.Stanovenou hypotézu o nezávislosti promˇennýchna základˇevýsledk ˚uanalýzy podržím.

6.5 Porovnání knihoven na základˇevýsledk ˚u

Nejprve zhodnotím testované aplikace jednotlivˇe,poté vzájemnˇeporov- nám jejich výsledky ze statistické analýzy. CLMtrackr si v detekci emocí vedl velmi dobˇre,na prvním místˇese pohybuje ve 3 ze 4 pˇrípad˚u.Pr ˚umˇernáúspˇešnostrozpoznání výrazu vychází 40 %. Možnost pro zlepšení spatˇrujipˇredevšímu algoritmu vyhledávajícím hranice obliˇceje,obˇcasdochází k chybnému pˇriˇrazeníobrys ˚utváˇre. InSight SDK zvítˇezil 2x z pˇeti experimentálních pˇrípad˚u,pr ˚umˇerná úspˇešnostdetekce dosahuje 38,4 %. Knihovna nejh ˚uˇrezvládala oba typy vyjádˇrenísmutku, v ostatních emocích si vedla znaˇcnˇelépe. EmotionRecognition se s pr ˚umˇernoukvalitou urˇceníemoce pohybuje na 26,3 %, vˇetšinouse umístil na druhém, nebo tˇretímmístˇe.Nejlépe detekuje neutralitu. Bˇehemanalýzy videí docházelo pomˇernˇeˇcastok vypsání jednoho typu emoce, jež se témˇeˇrpo celou dobu pr ˚ubˇehunemˇenil.Pˇríˇcinu vidím v metodˇezvolené pro rozhodování o typu vyjádˇrenéhopocitu, za- ložené pouze na pozorování pohybu úst, jež ˇcastonebyla korektnˇerozpo- znána. Ve tˇretíkapitole jako vítˇezeporovnání odhaduji komerˇcníknihovnu In- Sight SDK využívající OpenCV, úspˇechCLMtrackr mˇevelmi pozitivnˇepˇre- kvapil. Osobnˇevnímám obˇeaplikace na srovnatelné úrovni, nebot’ se na- vzájem doplˇnujíve svých pˇrednostechi nedostatcích. V pˇrípadˇehledání bezplatného ˇrešeníje CLMtrackr jistou volbou. Lepší uplatnˇenínachází i v situacích, kdy je ˇcastˇejidetekován smutek.

51 6. VYHODNOCENÍEXPERIMENTU

Nejsou-li ﬁnance ˇrešenyna prvním místˇea vˇetšíd ˚urazje kladen na množ- ství rozpoznaných emocí a kvalitu detekce obliˇceje, doporuˇcuji InSight SDK. U EmotionRecognition by pro širší využití bylo nezbytné provést op- timalizaci rozpoznávacího algoritmu a pˇredevšímji rozšíˇriti o jiné ˇcásti obliˇceje,než pouze ústa.

52 7 Závˇer

V rámci diplomové práce jsem provedl pr ˚uzkumdostupných knihoven pro rozpoznání emocí prostˇrednictvímwebkamery a sestavil z nich seznam kandidát ˚uurˇcenýchk bližší analýze a pˇrípadnéinstalaci. Následnˇejsem zvolil tˇriknihovny, na nichž bylo experimentální porovnání uskuteˇcnˇeno. Získané znalosti problematiky projevu emocí a speciﬁk plánování experimentu jsem využil k návrhu pokusu a deﬁnici promˇennýchodpovídají- cích požadavk ˚umvýsledné statistické analýzy. Experimentu se zúˇcastnilo 10 dobrovolník ˚usplˇnujícíchpˇredemstanovená kritéria, každý pˇredwebka- merou vyjádˇrilˇctyˇritypy emocí. Zpracovaná data mi posloužila k vyhod- nocení dˇrívestanovených hypotéz a závˇereˇcnémuvzájemnému porovnání testovaných aplikací. Za nejnároˇcnˇejšíˇcástmožná neoˇcekávanˇepovažuji experimentální, nebot’ kvalita návrhu experimentu vˇcetnˇevýbˇeru vzorku úˇcastník˚ua správné podchycení všech intervenujících promˇennýchvýraznˇeovlivˇnujevýsledek celé práce. Jinými slovy sebelepší statistická a kvalitativní analýza pochyb- ných vstupních dat produkuje pouze pochybné závˇery. Ideálních podmí- nek by bylo dosaženo v pˇrípadˇe,kdy úˇcastnícinetuší, že jsou natáˇceni a všechny emoce vyjadˇrujízcela pˇrirozenˇe.Zkoumání mnohem vˇetšíhoná- hodnˇevybraného vzorku populace by zajisté také vedlo k pˇresnˇejšímvý- sledk ˚umstatistické analýzy. Zmínˇenévarianty ovšem dalece pˇresahujípod- mínky, jež jsem mˇelk dispozici, a i pˇresurˇcitáomezení brána pˇriplánování v úvahu, považuji celý experiment za zdaˇrilýa pˇrinášejícípožadované vý- sledky. V návaznosti na hodnocení knihoven mˇe pˇrekvapila celkovˇe nižší úspˇešnostaplikací pˇrirozpoznávání emocí, ˇcímžbyl pochopitelnˇezkreslen i vliv sledovaných promˇenných.Rozdíly mezi optimálními a lehce ztíže- nými podmínkami se znaˇcnˇestíraly. Velmi pozitivnˇevnímám možnost vy- užití funkcionality knihoven v rámci vývoje vlastního softwaru – nacházím zde optimální prostˇredípro široké nasazení v praxi. Kamery lze v souˇcasné dobˇespatˇritna ulicích, v budovách a r ˚uznýchzaˇrízeních– pˇrisprávném programovém vybavení lze napˇr.detekovat podezˇreléchování na letišti, volit podle nálady cestujícího hudbu ve výtahu, ˇcijiném dopravním pro- stˇredku,upravit nabídku reklam v oblasti marketingu a služeb a mnoho dalších. Zároveˇnvšak doufám, že nové technologie budou aplikovány v rozumné míˇre,aniž by omezovaly svobodu jednotlivce, ˇcinarušovaly jeho soukromí.

53 Vysvˇetlivky

• AdaBoost (adaptive boosting) – „algoritmus vycházející ze spojení nˇe- kolika klasifikátor ˚use špatnou úspˇešností(slabých klasifikátor ˚u)do jednoho klasifikátoru. Vstupem je vždy trénovací množina a výstu- pem klasifikátor do dvou tˇríd.“1

• Analýza hlavních komponent – metoda vícerozmˇernéanalýzy, redukce poˇctupromˇennýchna relevantní promˇennépopisující variabilitu dat pˇrizachování informaˇcníhoobsahu.2

• Backpropagation algoritmus – využíván k uˇceníneuronových sítí. Vy- hodnocené ˇrešeníse porovnává s oˇcekávaným– zjistí odchylka sítˇe, na jejíž základˇese zpˇetnˇevypoˇcítávánutná zmˇenaváhy neuron ˚u.3

• Histogram – „graﬁcké zobrazení rozložení hodnot.“4

• Korelace – vzájemný vztah mezi veliˇcinami, souˇcasnˇe probíhající zmˇenahodnot dvou náhodných promˇenných.5

• K pr˚umˇery – patˇrímezi nejjednodušší algoritmy nehierarchické shlu- kové analýzy ˇradícíbody v prostoru do shluk ˚u.6

• Mahalanobisova vzdálenost – „obecné mˇeˇrítkovzdálenosti beroucí v úvahu korelaci mezi parametry a je nezávislá na rozsahu hodnot pa- rametr ˚u.Poˇcítávzdálenost mezi objekty v systému souˇradnicjehož

1. ZÁLESKÁ, Kateˇrina. Klasiﬁkace obraz˚upomocí umˇelýchneuronových sítí. Brno, 2011. Baka- láˇrskápráce. 2. MATEJKA,ˇ Pavel. Základy analýzy hlavních komponent a multivariaˇcních re- gresních metod pro spektrální analýzu [online]. [cit. 2016-01-04]. Dostupné z: http://old.vscht.cz/anl/matejka/Leciva-05-multivariace-11.pdf 3. Neuronové sítˇe [online]. [cit. 2016-01-04]. Dostupné z: http://www.root.cz/clanky/biologicke-algoritmy-5-neuronove-site/ 4. Histogram. Pokroˇcilá analýza regrese korelace [online]. [cit. 2016-01-04]. Dostupné z: http://vyuka-excelu.cz/navody/pokrocila-analyza-regrese-korelace/histogram-v- excelu/ 5. Korelace. Slovník cizích slov [online]. [cit. 2016-01-04]. Dostupné z: http://slovnik-cizich- slov.abz.cz/web.php/slovo/korelace 6. K-means clustering algorithm. Data Clustering Algorithms [online]. [cit. 2016-01-04]. Dostupné z: https://sites.google.com/site/dataclusteringalgorithms/k-means-clustering- algorithm

54 7. ZÁVERˇ

osy nemusí být na sebe kolmé. V praxi se používá pro zjištˇenívzdá- lenosti mezi skupinami objekt ˚u.“7

• Mnohavrstvý perceptron (Multi-Layer Perceptron) – aplikace neuronové sítˇe.Má univerzální aproximaˇcníschopnost – v prostoru dokáže vy- tvoˇritjakoukoli nadplochu oddˇelujícíjednotlivé datové tˇrídy. Uˇcíse algoritmem zpˇetnéhošíˇrení(backpropagation).8

• Sémantický diferenciál – „sociálnˇepsychologická a sociologická metoda mˇeˇreníintenzity postoj ˚ubipolární stupnicí podle amerického psychologa Charlese Egertona Osgooda (1916-1991).“9

• Sigmoidalní nelinearita (sigmoida) – logistická kˇrivkatvaru blízkému písmenu S. „V poˇcáteˇcnífázi je její r ˚ustpˇribližnˇeexponenciální, poz- dˇejis rostoucím nasycením se zpomaluje, a nakonec se asymptoticky zastaví.“10

• Slabý žák (weak learner) – klasiﬁkátor metody strojového uˇcení.„M ˚uže být pouze o málo lepší v klasiﬁkaci než kdyby hádal náhodnˇe– pˇres- nost jen o málo lepší než 50% je pouze minimální požadavek.“11

• Váhové souˇcty – metoda založena na výpoˇctutzv. funkce užitku pro každou možnou variantu. Její funkˇcníhodnoty leží v intervalu od 0 do 1, ˇcímje hodnota vyšší, daná varianta je výhodnˇejší.12

7. JARKOVSKÝ, Jiˇrí, LITTNEROVÁ, Simona. Vícerozmˇerné statistické metody: Diskriminaˇcní analýza [online]. [cit. 2016-01-04]. Dostupné z: http://www.iba.muni.cz/esf/res/ﬁle/bimat-prednasky/vicerozmerne-statisticke- metody/VSM-08.pdf 8. KRÍŽEK,ˇ Pavel, ŠUCHA,˚ Pˇremysl. Perceptron 2 [online]. [cit. 2016-01-04]. Dostupné z: http://waltz.felk.cvut.cz/cmp/courses/recognition/zapis_prednasky/zapis_01/6/rpz6.pdf 9. Sémantický diferenciál. Slovník cizích slov [online]. [cit. 2016-01-04]. Dostupné z: http://slovnik-cizich-slov.abz.cz/web.php/slovo/semanticky-diferencial 10. Logistická funkce. Wikipedia: the free encyclopedia [online]. San Fran- cisco (CA): Wikimedia Foundation, 2001- [cit. 2016-01-05]. Dostupné z: https://cs.wikipedia.org/wiki/Logistick%C3%A1_funkce 11. ŽIŽKA, Jan. Návrh skupin klasiﬁkátor˚u pomocí opakovaného vý- bˇeru trénovacích dat [online]. [cit. 2016-01-04]. Dostupné z: https://is.muni.cz/el/1433/podzim2006/PA034/04_boosting.pdf 12. BROŽOVÁ, Helena. Vícekriterální analýza variant [online]. [cit. 2016-01-04]. Dostupné z: http://pef.czu.cz/~BROZOVA/CASESTUDY/vav_pp_41.html

55 PˇrílohaA

Tabulka základních FACS

AU FACS Name Muscular Basis 0 Face 1 Inner Brow Raiser frontalis (pars medialis) 2 Outer Brow Raiser frontalis (pars lateralis) 4 Brow Lowerer depressor glabellae, depressor supercilii, corrugator supercilii 5 Upper Lid Raiser levator palpebrae superioris, superior tarsal muscle 6 Cheek Raiser orbicularis oculi (pars orbitalis) 7 Lid Tightener orbicularis oculi (pars palpebralis) 8 Lips Toward Each Other orbicularis oris 9 Nose Wrinkler levator labii superioris alaeque nasi 10 Upper Lip Raiser levator labii superioris, caput infraorbitalis 11 Nasolabial Deepener zygomaticus minor 12 Lip Corner Puller zygomaticus major 13 Sharp Lip Puller levator anguli oris (also known as caninus) 14 Dimpler buccinator 15 Lip Corner Depressor depressor anguli oris (also known as triangularis) 16 Lower Lip Depressor depressor labii inferioris 17 Chin Raiser mentalis 18 Lip Pucker incisivii labii superioris and incisivii labii inferioris 19 Tongue Show 20 Lip Stretcher risorius w/ platysma 21 Neck Tightener platysma 22 Lip Funneler orbicularis oris 23 Lip Tightener orbicularis oris 24 Lip Pressor orbicularis oris 25 Lips Part depressor labii inferioris, or relax. of mentalis or orbicularis oris 26 Jaw Drop masseter; relaxed temporalis and internal pterygoid 27 Mouth Stretch pterygoids, digastric 28 Lip Suck orbicularis oris 29 Jaw Thrust 30 Jaw Sideways

56 7. ZÁVERˇ

AU FACS Name Muscular Basis 31 Jaw Clencher masseter 32 [Lip] Bite 33 [Cheek] Blow 34 [Cheek] Puff 35 [Cheek] Suck 36 [Tongue] Bulge 37 Lip Wipe 38 Nostril Dilator nasalis (pars alaris) 39 Nostril Compressor nasalis (pars transversa) and depressor septi nasi 41 Glabella Lowerer Separate Strand of AU 4: depressor glabellae (aka procerus) 42 Inner Eyebrow Lowerer Separate Strand of AU 4: depressor supercilii 43 Eyes Closed relaxation of levator palpebrae superioris 44 Eyebrow Gatherer Separate Strand of AU 4: corrugator supercilli 45 Blink relax. of levator palpebrae sup.; contraction of orbicularis oculi 46 Wink orbicularis oculi Tabulka základních FACS, zdroj: [12].

57 PˇrílohaB

Dotazník

Jméno:

1. Vˇek:

2. Pohlaví: Muž Žena

3. a) muž: zcela bez vous ˚u velmi dlouhé vousy 1 2 3 4 5 6 7

b) žena: bez make-upu silnˇenalíˇcená 1 2 3 4 5 6 7

4. Dioptrické brýle: Ano Ne

5. Aktuální nálada: pozitivita a uvolnˇenost stres, napˇetí 1 2 3 4 5 6 7

Doplní tazatel Projevování emocí: témˇeˇrv ˚ubec velmi emotivní 1 2 3 4 5 6 7

58 PˇrílohaC

Krabicové grafy rozložení hodnot úspˇešnostirozpoznání emocí

Spontánní smutek

Obrázek C.1: Spontánní smutek – distribuce hodnot správnosti urˇceníjed- notlivých knihoven. Návod k interpretaci vyobrazených údaj ˚use nachází v sekci 6.3.2. Graf se váže k tabulce 6.1, jednotlivé rozepsání hodnot pro CLMtrackr lze nalézt na obrázku 6.4.

59 7. ZÁVERˇ

Zámˇernýsmutek

Obrázek C.2: Zámˇernýsmutek – distribuce hodnot správnosti urˇceníjed- notlivých knihoven. Váže se k tabulce 6.3.

60 7. ZÁVERˇ

Zámˇernáradost

Obrázek C.3: Zámˇernáradost – distribuce hodnot správnosti urˇceníjednot- livých knihoven. Váže se k tabulce 6.4.

61 7. ZÁVERˇ

Hnˇev

Obrázek C.4: Hnˇev – distribuce hodnot správnosti urˇcení jednotlivých knihoven. Váže se k tabulce 6.6.

62 7. ZÁVERˇ

Neutralita

Obrázek C.5: Neutralita – distribuce hodnot správnosti urˇceníjednotlivých knihoven. Váže se k tabulce 6.5.

63 7. ZÁVERˇ

Pr ˚umˇer4 hodnot úspˇešnosti(oba typy smutku i radosti)

Obrázek C.6: Pr ˚umˇerhodnot úspˇešnosti(oba typy smutku i radosti) – distribuce hodnot správnosti urˇceníjednotlivých knihoven. Váže se k tabulce C.1.

CLMtrackr EmotionRecognition InSight SDK Pr ˚umˇerhodnot 0,40 / 40 % 0,15 / 15 % 0,34 / 34 % Smˇer. odchylka 0,25603 0,24152 0,20655 Tabulka C.1: Pr ˚umˇer4 úspˇešností(oba typy smutku i radosti)

64 Literatura

[1] MICK POWER with assistance from PIERRE PHILIPPOT and UR- SULA HESS. Emotion-focused cognitive therapy. Chichester, West Sussex, UK: John Wiley & Sons, 2010. ISBN 9780470683231.

[2] Home. FaceTales. [online]. 25.02.2011 [cit. 2015-11-27]. Dostupné z: http://www.ipsp.ucl.ac.be/recherche/projets/FaceTales/en/Home.htm

[3] GROSS, James J (ed.). Handbook of emotion regulation. New York: Guil- ford, 2007, xvii, 654 s. ISBN 9781606233542.

[4] STANLEY, J. C. The Inﬂuence of Fisher’s "The Design of Ex- periments" on Educational Research Thirty Years Later. DOI: 10.3102/00028312003003223. ISBN 10.3102/00028312003003223.

[5] RONALD A. FISHER. Design of experiments. 9th ed. S.l.: Macmillan, 1971. ISBN 0028446909.

[6] ŠIŠKOVÁ, Lenka. Hodnocení knihoven pro Eye tracking pomocí web kamery. Brno, 2015. Diplomová práce.

[7] Within-Subjects Designs. Psychology world [online]. 1998 [cit. 2015-12-09]. Dostupné z: https://web.mst.edu/~psyworld/within_subjects.htm

[8] Affective Computing. Mit media lab [online]. Massachusetts institute of technology [cit. 2015-12-17]. Dostupné z: https://www.media.mit.edu/research/groups/affective-computing

[9] KOPECEK,ˇ Ivan. Poˇcítaˇcové zpracování emocí: Af- fective computing [online]. [cit. 2015-12-17]. Dostupné z: http://www.ﬁ.muni.cz/~kopecek/socin7_affective_computing.ppt

[10] HJORTSJÖ, Carl-Herman. Man’s face and mimic language. Lund, Sweden: Studentlitteratur, 1969.

[11] Facial Action Coding System. Paul Ekman Group [online]. 2015 [cit. 2015-12-17]. Dostupné z: http://www.paulekman.com/product- category/facs/

[12] Facial Action Coding System. Project Gutenberg Self- Publishing Press [online]. 2015 [cit. 2015-12-18]. Dostupné z: http://self.gutenberg.org/articles/facial_action_coding_system

65 7. ZÁVERˇ

[13] FACS - Facial Action Coding System. Carnegie Mellon University, School of Computer Science [online]. 2002 [cit. 2015-12-18]. Dostupné z: http://www.cs.cmu.edu/~face/facs.htm

[14] SZELISKI, Richard. Computer Vision: Algorithms and Applications. Lon- don: Springer, 2010, 812 s. Texts in computer science. ISBN 978-1- 84882-934-3.

[15] BRADSKI, Gary R., KAEHLER, Adrian, Learning OpenCV. Sebastopol: O’Reilly, 2008, xvii, 555 s. ISBN 978-0-596-51613-0.

[16] OpenCV: About [online]. Itseez, 2015 [cit. 2015-12-19]. Dostupné z: http://opencv.org/about.html

[17] Fitting faces: An explanation of Clmtrackr [online]. 2015-01-05 [cit. 2015- 12-23]. Dostupné z: http://auduno.com/post/61888277175/ﬁtting- faces

[18] ASCENCIO, Clint, Rene GARCIA, Dory GLAUBER- MAN, Tomas GONZALEZ a Kim HUIJUN. Final report [online]. 2015, 2015-08-26 [cit. 2015-12-23]. Dostupné z: https://github.com/kimhuijun/EmotionRecognition/blob/ master/ﬁnal_report.pdf

[19] VIOLA, Paul a Michael J. JONES. Robust Real-Time Face Detection. International Journal of Computer Vision. Netherlands: Kluwer Academic Publishers, 2004, 57(2): 137–154.