Shaima Abdelmageed Wrist-based Phonocardiogram Diagnosis Leveraging Machine Learning aaa ACTA WASAENSIA 416 ACADEMIC DISSERTATION To be presented, with the permission of the Board of the School of Technology and Innovations of the University of Vaasa, for public examination in Auditorium Kurtén (C203) on the 2nd of May, 2019, at noon. Reviewers Professor Tarik Taleb Aalto University School of Electrical Engineering Department of Communications and Networking P.O.BOX 11000 FI-00076 AALTO Finland Docent Teemu Myllylä University of Oulu Electronics and Communications Engineering P.O.BOX 8000 FI-90014 University of Oulu Finland III Julkaisija Julkaisupäivämäärä Vaasan yliopisto Huhtikuu 2019 Tekijä(t) Julkaisun tyyppi Shaima Tajalsir Abdelmageed Väitöskirja Abdel Rahman Orcid ID Julkaisusarjan nimi, osan numero Acta Wasaensia, 416 Yhteystiedot ISBN Vaasan yliopisto 978-952-476-850-4 (painettu) Teknologian ja 978-952-476-851-1 (verkkojulkaisu) innovaatiojohtamisen yksikkö URN:ISBN:978-952-476-851-1 ISSN PL 700 0355-2667 (Acta Wasaensia 416, painettu) FI-65101 VAASA 2323-9123 (Acta Wasaensia 416, verkkoaineisto) Sivumäärä Kieli 134 englanti Julkaisun nimike Rannepohjaisen fonokardiogrammin analysointi koneoppimista hyödyntäminen Tiivistelmä Teknologian valtavan kehittymisen ja nopean elämänrytmin myötä välittömästi saatu tieto on noussut jokapäiväiseksi välttämättömyydeksi, erityisesti hätätapauksissa, joissa jokainen säästetty minuutti on tärkeää ihmishenkien pelastamiseksi. Mobiiliterveys, eli mHealth, on yleisesti valjastettu käyttöön nopeaksi diagnoosimenetelmäksi mobiililaitteiden avulla. Käyttö on kuitenkin ollut haastavaa korkean datan laatuvaatimuksen ja suurten tiedonkäsittelyvaatimuksien, nopean laskentatehon ja sekä suuren virrankulutuksen vuoksi. Tämän tutkimuksen tavoitteena oli diagnosoida sydänsairauksia fonokardiogrammianalyysin (PCG) perusteella käyttämällä koneoppimistekniikoita niin, että käytettävä laskentateho rajoitetaan vastaamaan mobiililaitteiden kapasiteettia. PCG-diagnoosi tehtiin käyttäen kahta tekniikkaa 1. Parametrinen estimointi käyttäen moniulotteista luokitusta, erityisesti signaalien erotteluanalyysin avulla. Tätä asiaa tutkittiin syvällisesti käyttäen erilaisia tilastotieteellisesti kuvailevia piirteitä. Piirteiden irrotus suoritettiin käyttäen Wavelet- muunnosta ja suodatinpankkia. 2. Keinotekoisia neuroverkkoja ja erityisesti hahmontunnistusta. Tässä menetelmässä käytetään myös PCG-signaalin hajoitusta ja Wavelet-muunnos -suodatinpankkia. Tulokset osoittivat, että PCG 19dB:n signaali-kohina-suhteella voi johtaa 97,33% onnistuneeseen diagnoosiin käytettäessä ensimmäistä tekniikkaa. Signaalin hajottaminen neljään alikaistaan suoritettiin käyttämällä toisen asteen suodatinpankkia. Jokainen alikaista kuvattiin käyttäen kahta piirrettä: signaalin keskiarvoa ja kovarianssia, näin saatiin yhteensä kahdeksan ominaisuutta kuvaamaan noin yhden minuutin näytettä PCG- signaalista. Lisäksi tutkittiin ja verrattiin eriasteisia suodattimia ja piirteitä. Toista tekniikkaa käyttäen diagnoosi johti 100% onnistuneeseen luokitteluun 83,3% luotettavuustasolla. Tuloksia käsitellään ja pohditaan, sekä tehdään niistä johtopäätöksiä. Lopuksi ehdotetaan ja suositellaan käytettyihin menetelmiin uusia parannuksia jatkotutkimuskohteiksi. Asiasanat Analyysi, luokittelu, tiedon laatu, taudinmääritys, eTerveys, suodatinpankki, mobiiliterveys, neuroverkot, fonokardiogrammi, signaalikohinasuhde, Wavelet- muunnos V Publisher Date of publication Vaasan yliopisto April 2019 Author(s) Type of publication Shaima Tajalsir Abdelmageed Abdel Doctoral thesis Rahman Orcid ID Name and number of series Acta Wasaensia, 416 Contact information ISBN University of Vaasa 978-952-476-850-4 (print) Faculty 978-952-476-851-1 (online) Department or subject URN:ISBN:978-952-476-851-1 P.O. Box 700 ISSN FI-65101 Vaasa 0355-2667 (Acta Wasaensia 416, print) Finland 2323-9123 (Acta Wasaensia 416, online) Number of pages Language 134 English Title of publication Wrist-based Phonocardiogram Diagnosis Leveraging Machine Learning Abstract With the tremendous growth of technology and the fast pace of life, the need for instant information has become an everyday necessity, more so in emergency cases when every minute counts towards saving lives. mHealth has been the adopted approach for quick diagnosis using mobile devices. However, it has been challenging due to the required high quality of data, high computation load, and high-power consumption. The aim of this research is to diagnose the heart condition based on phonocardiogram (PCG) analysis using Machine Learning techniques assuming limited processing power, in order to be encapsulated later in a mobile device. The diagnosis of PCG is performed using two techniques; 1. parametric estimation with multivariate classification, particularly discriminant function. Which will be explored at length using different number of descriptive features. The feature extraction will be performed using Wavelet Transform (Filter Bank). 2. Artificial Neural Networks, and specifically Pattern Recognition. This will also use decomposed version of PCG using Wavelet Transform (Filter Bank). The results showed 97.33% successful diagnosis using the first technique using PCG with a 19 dB Signal-to-Noise-Ratio. When the signal was decomposed into four sub- bands using a Filter Bank of the second order. Each sub-band was described using two features; the signal’s mean and covariance. Additionally, different Filter Bank orders and number of features are explored and compared. Using the second technique the diagnosis resulted in a 100% successful classification with 83.3% trust level. The results are assessed, and new improvements are recommended and discussed as part of future work. Keywords Analysis, classification, Data quality, diagnosis, eHealth, Filter Banks, mHealth, Neural Networks, PCG, SNR, Wavelet Transform VII ACKNOWLEDGEMENT “Desire is the key to motivation, but it's determination and commitment to an unrelenting pursuit of your goal - a commitment to excellence - that will enable you to attain the success you seek.” - Mario Andretti I started this journey in 2012, the same year that I finished my master’s degree and started working for Lumi Mobile (now known as Auga Solutions.). Despite my enthusiasm for this research that’s very dear to me, I had to prioritise work. Not just for the obvious reasons but also because I passionately liked my job. This continued for two years; leading the development team of one of the great products at the company with no progress on the research front! That’s when I had to stop and reprioritise! I, then, lowered my working hours and picked up research work at the university, all to come back full force to my beloved research… and it almost worked! Only to be hindered again by my promotion to become the product manager of that same product I liked so much. It was sad, because my success at work seemed to push my PhD dream farther away. Life became a race between work and school, and the tunnel seemed to have no end... Until I made it! I found the balance and made it all fit together. And what is an extra year or two when you get to do it all at once! This was not easy; it wasn’t always “peaches and cream” and although I claim to be a super multitasker; this was indeed a true test, especially in the last few months. None of it would’ve been possible if it wasn’t for the awesome people in my life… My very understanding boss, Marcus Wikars, who didn’t only allow me to lower my hours, but he kept me challenged and inspired. Thank you for your trust, Ace! My friend, Reino Virrankoski, who hired me as a researcher at the University of Vasa and gave me the option to do more. Kept me focused on the research and the area of eHealth with the project “Nordic Telemedicine Center”. Thank you for NTC, Reino! My brilliant mentor, Prof. Mohammed Elmusrati, who has been with me every step of the way. For every productive discussion, all the tips and the constant guidance, I, sincerely, thank you! My dear father, my loving mother, and my very supportive sister and brother, I thank you with all my heart. It’s only possible because you believe in me. Vasa, Oct. 1st, 2018 IX Contents ACKNOWLEDGEMENT ........................................................................... VII 1 INTRODUCTION ................................................................................ 1 1.1 Motivation ............................................................................... 2 1.2 Objectives and contributions ................................................... 3 1.3 Methods .................................................................................. 5 1.4 Why focus on heart condition? ................................................. 8 1.5 Thesis structure ...................................................................... 9 2 LITERATURE REVIEW ........................................................................ 11 2.1 About eHealth and mHealth .................................................. 11 2.2 History of eHealth/mHealth ................................................... 12 2.3 mHealth for emergency healthcare ........................................ 13 2.4 Problems with current emergency solutions .......................... 17 2.5 Studies About Heart Conditions ............................................ 18 3 ARTIFICIAL NEURAL NETWORKS ....................................................... 27 3.1 Network Architecture ............................................................ 27 3.1.1 Single-Layer