Mobile Alert: Combining Human Motion Detection and Voice Analysis Telma Cristóvão de Oliveira Thesis to obtain the Master of Science Degree in Electrical and Computer Engineering Supervisor: Prof. Paulo Lobato Correia Co-Supervisor: Prof. Isabel Maria Martins Trancoso Examination Committee Chairperson: Prof. José Eduardo Sanguino Supervisor: Prof. Paulo Lobato Correia Co-Supervisor: Prof. Isabel Maria Martins Trancoso Member of Committee: Prof. José Miguel de Oliveira Monteiro Sales Dias Member of Committee: Prof. Daniel Jorge Viegas Gonçalves April 2015 ii Aos meus pais. iii iv Acknowledgements Acknowledgements Gostaria de agradecer o apoio e amor incondicional dos meus pais que sempre acreditaram em mim e sempre me ajudaram em tudo o que estava ao seu alcance. Ao meu irmão pela amizade. Ao Tiago Leite, que esteve sempre presente e sempre me ajudou a superar as diversas dificuldades ao longo da minha vida académica e não só. Obrigada por tudo. Ao professor Rui Crespo, que mais que um tutor foi um grande amigo que me ajudou a ser mais confiante e a superar muitas barreiras psicológicas, que durante muito tempo impediram a minha progressão no curso. Aos meus amigos Ana Rita Coelho, João Gonçalves Pereira, Marta Quintão, Miguel Almeida, Teresa Lopes e Ivo Anjo, que em momentos distintos deste longo percurso estiveram a meu lado e me deram força para continuar. Ao Filipe Tente, Cláudia Mendes, Filipe Teixeira e Gonçalo Silva obrigada pelas inúmeras gargalhadas e boa disposição que tornou tudo mais fácil! Aos meus amigos da Confraria de Amigos do NEEC (Núcleo de Estudantes de Electrotecnia e Computadores do IST) que me receberam de braços abertos em 2010 e que me continuam a apoiar 5 anos depois! Aos colegas CSS MACH FY15 da Microsoft Portugal que me deram uma enorme ajuda na colheita de samples de audio para que pudesse trabalhar. Aos professores Paulo Lobato Correia e Isabel Trancoso pela paciência e pelo apoio ao longo deste trabalho. Obrigada a todos. v vi Abstract Abstract In the developed countries societies are getting older. Due to better health care and better overall conditions the average life time of an individual tends to increase. The fraction of elderly population also tends to increase. These societies need to adapt to this reality by providing elder citizens ways to assure a certain quality of life and that can extend their autonomy. Taking into account the huge growth of the smartphones’ market, chances are that most of the people who already have a mobile phone will have a smartphone in the future if they don’t own one already. This project aims to take advantage of what is already present in everyday life like a smartphone, and exploit the multiple built- in sensors to try to create a mobile monitoring system. This study aims to assess the possibility of having a monitoring system that detects both fall and screams in a distress situation for an elderly user. This study also aims to put into perspective how would such system work. Keywords Monitoring system, elderly, scream detection, fall detection vii Resumo Resumo As sociedades dos países desenvolvidos estão a envelhecer. Devido a melhores cuidados de saúde e melhores condições em geral, o tempo médio de vida dos indivíduos está a aumentar. A fracção idosa da população está também a aumentar. Estas sociedades têm que se adaptar a esta realidade e criar meio de garantir aos seus idosos uma certa qualidade de vida e um prolongamento da sua autonomia. Levando em consideração o enorme crescimento do mercado dos smartphones, quem tem um telemóvel hoje em dia possivelmente é um smartphone. Quem ainda não tem um smartphone é possível que no futuro venha a ter. Este projecto pretende utilizar o que já está presente no dia-a-dia das sociedades, o smartphone, e aproveitar os múltiplos sensores presentes nestes aparelhos para criar um sistema de monitorização. Este estudo tem por objectivo avaliar a possibilidade de se ter um sistema de monitorização que detecte quedas e gritos, procurando facilitar a assitência aos cidadãos idosos em situações de risco. Este estudo pretende exemplificar como poderá funcionar este tipo de sistema. Palavras-chave Sistema de monitorização, idosos, detecção de gritos, detecção de quedas viii Table of Contents Table of Contents Acknowledgements ............................................................................... v Abstract ................................................................................................ vii Resumo .............................................................................................. viii Table of Contents .................................................................................. ix List of Figures ....................................................................................... xi List of Tables ........................................................................................ xii 1 Introduction ................................................................................ 1 1.1 Overview................................................................................................. 2 1.2 Motivation ............................................................................................... 3 1.3 Goals ...................................................................................................... 3 1.4 Contributions .......................................................................................... 4 1.5 Structure ................................................................................................. 4 2 State of the Art ........................................................................... 6 2.1 Current Commercial Solutions ................................................................ 7 2.1.1 Emergency Monitoring as a Service .................................................................... 7 2.1.2 Video Monitoring .................................................................................................. 8 2.1.3 GPS Location Monitoring ..................................................................................... 9 2.1.4 Smartphone Applications as Monitoring Systems ............................................. 10 2.2 Fall Detection Techniques .................................................................... 12 2.2.1 Low-Complexity Fall Detection Algorithm .......................................................... 13 2.3 Voice Detection Techniques ................................................................. 15 2.3.1 Speech Production and Perception ................................................................... 15 2.3.2 Voice Activity Detection – Short-Time Energy-Based ....................................... 16 2.3.3 Feature Extraction and Classification ................................................................ 17 2.3.4 Pitch Detection................................................................................................... 22 3 Proposed System ..................................................................... 24 3.1 Scope ................................................................................................... 25 ix 3.2 Scenarios and Target Users ................................................................. 25 3.3 Fall Detection ........................................................................................ 27 3.4 Scream Detection Relying on Pitch Analysis ........................................ 28 4. Implementation and Discussion ................................................ 31 4.1. Implementation and Testing ................................................................. 32 4.2. Scream Detection Approaches ............................................................. 32 4.2.1 Voice Activity Detection ..................................................................................... 33 4.2.2 MFCC and GMM Approach ............................................................................... 34 4.2.3 Pitch Analysis Approach .................................................................................... 34 4.3. Fall Detection Implementation .............................................................. 35 4.3.1 Testing ............................................................................................................... 36 4.4. Conclusions .......................................................................................... 38 5. Future Work ............................................................................. 39 5.1. Where to Improve ................................................................................. 40 5.2. Future Applications ............................................................................... 40 References.......................................................................................... 42 x List of Figures List of Figures Figure 1 - Projection for the growth of the population over 65 years-old in USA (adapted from [1]) ...................................................................................................................... 2 Figure 2 - Projection for the growth of the population over 65 years-old in Europe (adapted from [2]) ...................................................................................................................... 2 Figure 3 - Projection for the growth of the population over 65 years-old in Japan (adapted from [3]) ...................................................................................................................... 3 Figure