ČESKÉ VYSOKÉ UÈENÍ TECHNICKÉ V PRAZE Fakulta elektrotechnická Katedra teorie obvodù ANALÝZA A ZPRACOVÁNÍ ŘEČOVÝCH A BIOLOGICKÝCH SIGNÁLŮ SBORNÍK PRACÍ 2009 Editoøi sborníku Doc. Ing. Petr Pollák, CSc. Doc. Ing. Roman Èmejla, CSc. Prosinec 2009 ANALÝZA A ZPRACOVÁNÍ ŘEČOVÝCH A BIOLOGICKÝCH SIGNÁLŮ SBORNÍK PRACÍ 2009 Editoøi: Doc. Ing. Petr Pollák, CSc. Doc. Ing. Roman Èmejla, CSc. [email protected] [email protected] Katedra teorie obvodù http://amber.feld.cvut.cz vedoucí: Prof. Ing. Pavel Sovka, CSc. http://noel.feld.cvut.cz/speechlab - Laboratoø zpracování øeèi http://amber.feld.cvut.cz/bio - LaBiS - Laboratoø biologických signálù Foniatrická klinika 1.LF UK a VFN http://fonja.lf1.cuni.cz vedoucí: Doc. MUDr. Olga Dlouhá, CSc. Poděkování: Tato publikace vznikla za podpory grantu GAÈR 102/08/0707 „Rozpoznávání mluvené øeèi v reálných podmínkáchÿ, GAÈR 102/08/H008 „Analýza a modelování biomedicínských a øeèových signálůÿ a výzkumných záměrů MSM 210000012 „Transdisciplinární výzkum v oblasti biomedicínského inženýrstvíÿ a MSM 212300014 „Výzkum v oblasti informačních technologií a komunikacíÿ. Vydalo nakladatelství ÈVUT, Zikova 4, 166 36 Praha 6, v roce 2009. ISBN: 978-80-01-04474-2 Ediční poznámka Předložený sborník je souhrnem prací realizovaných doktorandy katedry teorie obvodù v oblasti číslicového zpracování signálù a aplikačním zaměřením na zpracování biomedi- cínských a øeèových signálù a navazuje na sborníky vydávané od roku 2005. Sborník dává pøehled o jednotlivých výzkumných aktivitách øe¹ených ve skupině zpraco- vání signálù na katedøe teorie obvodù. Prezentované příspěvky jsou shrnující a podrobnější informace o øe¹ených problémech lze nalézt v odkazovaných pramenech. V Praze 23. listopadu 2009 Doc. Ing. Petr Pollák, CSc. Doc. Ing. Roman Èmejla, CSc. editoøi sborníku Pøedmluva Tento díl sborníku prací studentù doktorského studia plynule pokraèuje v tradici katedry teorie obvodù, kdy studenti doktorského studia pravidelně prezentují výsledky své práce pøed svými kolegy i pedagogy na seminářích oznaèovaných jako "Pondělky”. Sborník, který držíte v ruce, obsahuje vybrané prezentace roku 2009 zaměrené na aplikaci metod číslicového zpracování signálù v oblastech zpracování øeèi a biologických signálù. Text proto poskytuje urèitou pøedstavu nejen o práci doktorandù, ale i o zaměření èásti vý- zkumu prováděného na katedøe. Semináøe a èasto kritické diskuse slouží dokorandùm i jejich ¹kolitelùm ke tříbení my¹lenek a nápadù. Přinášejí nové podněty pro zpracování disertačních prací. Vědecká práce na katedøe je podporována nejen institucionálními výzkumnými záměry, ale i úèelově financovanými projekty několika grantových agentur. V¹em poskytovatelùm podpory výzkumu chceme tímto sborníkem poděkovat. Zájemce o témata uvedená ve sborníku rádi přivítáme na na¹ich seminářích. Jejich pro- gram je pod názvem "Pondělky” uveden internetových stránkách http://amber.feld.cvut.cz/bio/ V Praze dne 25.11.2009 Prof. Ing. Pavel Sovka, CSc. vedoucí katedry Obsah Jan Barto¹ek: Prozodie, zjištění a využití základního tónu v rozpoznávání øeèi 1 Marek Bártù: Možnosti využití algoritmù nelineární aproximace pro parametrizaci øeèových signálù 9 Petr Bergl: Parametry zkoumající pravidelnost energie a znělosti øeèového signálu neplynulých promluv 16 Václav Bolom: Zvýrazňování øeèi v osobním automobilu 22 Tomá¹ Boøil: Grangerova kauzalita a EEG 30 Jaromír Doležal: BCI založený na manifestaci pohybové aktivity v EEG II 38 Jan Janda: Studie věkově závislých akustických parametrù v dětské øeèi 44 Robert Krejčí: Optimalizace výpočetně nároèné èásti rozpoznávaèe øeèi se zaměøe- ním na hardwarovou platformu OMAP 50 Ondøej Kuèera: Mechanické oscilace buněk 58 Martina Nejepsova: Multimediální slabikáø 62 Josef Rajnoha: Robustní rozpoznávání spojitých promluv kombinující metody po- tlaèování ¹umu a prùběžnou adaptaci akustických modelù na prostředí 70 Jan Rusz: Hodnocení rytmu v raném neléèeném stádiu Parkinsonovy nemoci 77 Adam Stráník: Návrh frameworku pro zpracování signálù v reálném èase v prostředí .NET 82 Barbora Vokáèová: Stimulace zpracování øeèových signálù u dětí s vývojovou dys- fázií pomocí arteterapeutických technik a strategií 90 Petr Zetocha: Zpřístupnění strukturované databáze dětských promluv 95 Jan Barto¹ek 1 Prozodie, zjiˇstˇen´ıa vyuˇzit´ız´akladn´ıhot´onu v rozpozn´av´an´ıˇreˇci Jan Bartoˇsek Cesk´evysok´euˇcen´ıtechnick´evˇ Praze, Fakulta elektrotechnick´a [email protected] Abstrakt: Pˇr´ıspˇevek pˇrin´aˇs´ıprvotn´ıpˇribl´ıˇzen´ıpr´acena r´amcov´emdisertaˇcn´ım t´ematu”Vyuˇzit´ıprozodie v rozpozn´av´an´ısouvisl´eˇreˇci”.Nejprve je definov´ana prozodie jako informaˇcn´ıdoplnˇekkaˇzd´ehotypu ˇreˇcia d´alejsou pˇredstaveny hlavn´ı prozodick´erysy a funkce ve smyslu lingvistiky (a zejm´enaˇceˇstiny). N´aslednˇeje diskutov´anomoˇzn´evyuˇzit´ıprozodie ve strojov´emrozpozn´av´an´ı souvisl´eˇreˇci.Dalˇs´ıkapitola se zab´yv´ametodami pro detekci z´akladn´ıfrek- vence (f0) ˇreˇcov´ehosign´alu,kter´aje hlavn´ımnositelem intonaˇcn´ıinformace promluvy. Nakonec jsou zm´ınˇeny c´ıle pr´acejak kr´atkodob´eho,tak dlouho- dob´ehocharakteru. 1. Uvod´ Rozpozn´avaˇcesouvisl´eˇreˇcis neomezenou dom´enou(uˇzivatelova promluva m˚uˇzesest´avat ze vˇsech slov dan´ehojazyka) zaloˇzen´ena klasick´ych pˇr´ıstupech (skryt´eMarkovovy modely pro vyhodnocen´ıakustick´epodobnosti s promluvou) dosahuj´ıv dneˇsn´ıdobˇepomysln´eho stropu v ´uspˇeˇsnostirozpozn´an´ı.Tohoto stropu nemus´ıvˇsakb´ytv˚ubec dosaˇzeno,pokud vstupn´ısign´alnedosahuje odpov´ıdaj´ıc´ıch parametr˚u- napˇr.co do pomˇeru´urovn´ısign´alu a ˇsumu. Jednou z moˇznost´ı, jak ale takov´ypomysln´ystrop zv´yˇsit,m˚uˇzeb´ytvyuˇzit´ı pˇr´ıdavn´ych informac´ıv promluvˇe, se kter´ymisouˇcasn´e“standardn´ı“rozpozn´avaˇcenepra- cuj´ı.Takov´ymipˇr´ıdavn´ymiinformacemi mohou b´ytnapˇr´ıkladintonace (ˇcasov´ypr˚ubˇehf0) promluvy ˇcipˇr´ızvuk.Obecnˇese tyto (a nˇekter´edalˇs´ı,jak uvid´ımeposl´eze)jevy oznaˇcuj´ı jako prozodie. C´ılem tohoto pˇr´ıspˇevkuje pˇredstavit ˇcten´aˇriprozodick´erysy a funkce, kter´eby mohly naj´ıtuplatnˇen´ıv re´aln´ych rozpozn´avaˇc´ıch souvisl´eˇreˇci.To by mohlo v´est napˇr´ıkladk inteligenci diktovac´ıhostroje, kter´yby kromˇepˇrepisuˇreˇcn´ıkovy promluvy na text spr´avnˇedoplˇnoval i interpunkˇcn´ıznaˇcky, ke kter´ymby dospˇelz pr˚ubˇehu jeho into- nace. Z´aroveˇnsi tak´edok´aˇzemepˇredstavit ”r´adce”rozpozn´avaˇce,kter´yby pro akusticky velmi podobnˇeznˇej´ıc´ıhypot´ezydok´azalpˇriˇraditkaˇzd´ez nich pravdˇepodobnost existence na z´akladˇeprozodick´einformace, a tak navedl rozpozn´avaˇcke spr´avn´emu v´ysledku. 2. Prozodie Tato kapitola pˇrin´aˇs´ıv prvn´ıˇc´astidefinici slova spolu s vytyˇcen´ımn´azvoslov´ıprozodick´ych rys˚ua funkc´ı.Hlavn´ımiprozodick´ymifunkcemi se zab´yv´adruh´aˇc´asta moˇzn´evyuˇzit´ı prozodie v re´aln´ych ˇreˇcov´ych technologi´ıch je diskutov´anov ˇc´astitˇret´ı. 2 Jan Barto¹ek 2.1. Co je to prozodie Slovo prozodie nese v souˇcasn´edobˇedva r˚uzn´e,avˇsakne aˇztak nesouvisl´ev´yznamy. Prvn´ım v´yznamemje prozodie jako nauka o rytmiˇcnostiˇreˇcia skl´ad´an´ı verˇs˚u.Touto umˇeleckou oblast´ıse jiˇzd´alezab´yvat nebudeme, za to se o to v´ıcepozastav´ıme u prozodie jako obecn´ehov´yrazupro informaˇcn´ıdoplnˇekkaˇzd´ehotypu ˇreˇci.Svou prozodickou in- formaci opravdu nese kaˇzd´aˇreˇc,tedy napˇr´ıkladi ˇreˇcznakov´a,kdy je prozodie vyj´adˇrena mohutnost´ıgestikulace (vlastn´ıdefinovan´agesta jsou jen jazykem, kter´emu kaˇzd´yz gesti- kuluj´ıc´ıch dod´apomoc´ıprosodie sv˚ujosobit´ycharakter). N´asovˇsembude zaj´ımatob- last lingvistiky, kde prozodie popisuje fonologick´epˇr´ıznaky jazyka, kter´ese uplatˇnuj´ı ´urovni vyˇsˇs´ıneˇzjednotliv´yfon´em(hl´aska, segment) a souhrnnˇese hovoˇr´ıo tzv. ”supraseg- ment´aln´ıch jevech” (rysech prozodie). Z´aroveˇnje tˇreba rozliˇsovat mezi funkcemi prozodie (co zp˚usobuje,k ˇcemu je dobr´a)a prozodick´ymiformami (rysy - co ji tvoˇr´ı). Funkc´ıprozodie je tedy d´avat posluchaˇciinformace, kter´enejsou obsaˇzeny v pouh´ekom- binaci jazykov´ych segment˚u.Prozodie tak m˚uˇzem˚uˇzeslouˇzitk: vyj´adˇren´ıpostoje a moment´aln´ıhoemotivn´ıhorozpoloˇzen´ımluvˇc´ıho • urˇcen´ı,jestli je promluva ozn´amen´ı,ot´azka ˇcipˇr´ıkaz • zd˚uraznˇen´ıˇc´astipromluvy nebo v´yznamov´ykontrast • urˇcen´ı,zda-li je mluvˇc´ıironick´yˇcisarkastick´y • Dvˇeobecnˇedefinovan´efunkce prozodie jsou ”chunking” (nepˇrekl´ad´ano) a pˇr´ızvuk(focus). Obˇetyto prozodick´efunkce budou podrobnˇejirozvedeny d´ale. Prozodick´eformy (rysy, elementy) jsou naopak stavebn´ımi kameny prozodie a jak jiˇz bylo uvedeno v´yˇse,souhrnnˇese hovoˇr´ıo tzv. ”suprasegment´aln´ıch jevech” odvozen´ych z akustick´ych charakteristik promluvy. Jedn´ase o tyto prvky: intonace (melodie) - v´yˇska z´akladn´ıhot´onu (f0, pitch) • fr´azov´an´ı,rytmus, mluvn´ıtempo • intenzita, hlasitost (ˇrevvs. ˇsepot, zvyˇsuj´ıc´ıse hlasitost, ...) • d˚uraz,pˇr´ızvuk(z anglick´eho stress) • Terminologie je v tomto pˇr´ıpadˇepomˇernˇenejednotn´aa to i v anglick´emjazyce. Slova d˚uraz a pˇr´ızvuk v ˇceˇstinˇev´yznamovˇespl´yvaj´ı,avˇsakv anglicky psan´eliteratuˇrejsou ˇcasto odliˇsov´any “stress” a “focus”. Pˇr´ızvukjako prozodick´yrys zde spl´yv´as funkc´ızd˚uraznˇen´ı ˇc´astipromluvy, je totiˇzbudov´anna komplexu prozodick´ych vlastnost´ıˇreˇcia realizov´an souˇcasnˇejak pomoc´ı zmˇendynamiky (tento jev oznaˇcmejako d˚urazov´ypˇr´ızvuk), tak v´yˇskyhlasu (intonaˇcn´ı pˇr´ızvuk). Cetnostˇ pouˇz´ıv´an´ı obou typ˚upˇr´ızvuk˚use v r˚uzn´ych jazyc´ıch liˇs´ı.Ani jeden z nich nem´anapˇr.Kambodˇzˇstina,u vˇetˇsiny jazyk˚upˇrevl´ad´apˇr´ızvuk d˚urazov´y(plat´ıi pro ˇceˇstinu). Kromˇehlavn´ıhopˇr´ızvukuobvykle existuje