Examensarbete
Total Page：16
File Type：pdf, Size：1020Kb
EXAMENSARBETE Bildtolkningstjänst för synskadade Hur mobiltelefonteknologi kan användas för att hjälpa synskadade personer att få information om sådant de inte kan se. David Renström 2016 Högskoleingenjörsexamen Datateknik Luleå tekniska universitet Institutionen för system- och rymdteknik Sammanfattning Detta projekt syftade till att undersöka möjligheterna till att utveckla en lättanvänd mobilbaserad bildtolkningstjänst som går ut på att Internet-uppkopplade dator- eller mobiltelefonanvändare beskriver vad som syns på bilder som skickas från synskadade brukares mobiltelefoner. De tilltänkta användarna av denna tjänst är personer med varierande grad av synskada, alltifrån helt blinda till personer med vissa synrester. Användningsområdena kan vara alltifrån att få veta vilken smak det är på yoghurten i kylen och hur länge potatisgratängen ska tillagas i ugnen till att ta reda på vilken färg det är på en tröja och vad tvättmaskinen är inställd på. I denna rapport utreds vilka problem som synskadade stöter på i vardagen som denna typ av tjänst skulle kunna lösa. Olika tekniker och metoder vad gäller bildöverföring samt kommunikation mellan tolken och den synskadade brukaren jämförs. Framtagandet av en prototyp till klient för Symbian-mobiltelefoner samt utfallet efter testningen av denna tillsammans med utvalda brukare utvärderas också i detalj. Abstract This project aimed to examine the possibilities of developing an easy-to-use mobile-based image description service. The idea is that users who are connected to the Internet using their computers or mobile phones describe what can be seen on pictures sent to them from the mobile phones of visually impaired users. The proposed users of this service are persons with varying degree of visual impairment, everything from completely blind people to those who have some sight left. The field of application can be everything from determining the taste of the yoghurt in the fridge and for how long the potato gratin should be cooked in the oven, to finding out the colour of a sweater and what programme the dishwasher is set to. In this report, the problems that visually impaired encounter in everyday life and which of these issues this type of service could solve, are examined. Different techniques and methods regarding transferring images and how the communication between the describer and the visually impaired user should work are compared. The development of a client prototype for Symbian mobile phones and the results after testing this application together with selected users are evaluated as well in detail. Innehållsförteckning Tack ............................................................................................................................................ 1 1. Introduktion ............................................................................................................................ 2 2. Bakgrund ................................................................................................................................ 2 3. Kommunikation ...................................................................................................................... 4 3.1. MMS och SMS ................................................................................................................ 4 3.2. Internet ............................................................................................................................ 5 3.2.1. Kommunikationsprotokoll ....................................................................................... 5 4. Bildöverföring ........................................................................................................................ 6 4.1. Out of Band Data (OOB) ................................................................................................ 8 4.2. File Transfer .................................................................................................................... 8 4.2.1. In-Band Bytestreams (IBB) ...................................................................................... 9 4.2.2. SOCKS5 Bytestreams .............................................................................................. 9 4.3. WebDAV File Transfers ............................................................................................... 10 4.4. Förslag till metod för bildöverföring ............................................................................. 10 5. Operativsystem ..................................................................................................................... 11 5.1. Symbian OS ................................................................................................................... 11 5.2. Windows Mobile ........................................................................................................... 12 5.3. Java 2 Micro Edition ..................................................................................................... 12 5.3.1. Java-komponenter .................................................................................................. 14 5.4. Val av operativsystem ................................................................................................... 15 6. Klient .................................................................................................................................... 15 7. Prototyp ................................................................................................................................ 16 7.1. Klienten ......................................................................................................................... 16 7.2. Servern .......................................................................................................................... 17 7.3. Problem ......................................................................................................................... 18 7.4. Utvärdering .................................................................................................................... 18 8. Slutsatser och diskussion ...................................................................................................... 19 8.1. Allmänna reflektioner ................................................................................................... 19 8.2. Alternativa plattformar .................................................................................................. 19 8.3. Vidareutveckling ........................................................................................................... 20 8.4. Projektets genomförande ............................................................................................... 20 Appendix A: Mobiltelefoner som stöds av skärmläsningsprogrammen Mobile Speak och Talks ................................................................................................... 22 Appendix B: Exempel på enkelt C++-program för Symbian S60 2nd Edition ........................ 30 Appendix C: Exempel på enkelt J2ME-program ..................................................................... 35 Appendix D: Kompilering av J2ME-applikationer från kommandoraden ............................... 37 Appendix E: Referenser ........................................................................................................... 41 Tack Jag vill först och främst tacka min handledare Joakim Syk på Polar Print i Luleå för ett gott samarbete. Jag vill även tacka Patrik Johansson på Polar Print i Umeå. Slutligen vill jag också rikta ett tack till Örjan Tjernström på Luleå Tekniska Universitets institution i Skellefteå som utgjort ett värdefullt bollplank. 1 1. Introduktion Detta projekt genomfördes i huvudsak under tidsperioden 2005 – 2007 och syftade till att undersöka förutsättningarna för och, om möjligt, utveckla en prototyp till en bildtolkningstjänst för synskadade mobiltelefonanvändare. Tanken var att man som synskadad eller helt blind skulle kunna skicka bilder eller filmer som man fångat med hjälp av kameran i sin mobiltelefon till en tolkningscentral. Tolkningscentralen skulle i sin tur kunna bestå av ett antal frivilliga seende personer, t.ex. vänner eller släktingar till den synskadade, som kunde befinna sig var som helst och antingen sitta vid sina datorer eller vara uppkopplade med hjälp av andra kommunikationsenheter, t.ex. handdatorer [1] eller mobiltelefoner. Den person som valde att ta på sig tolkningsuppdraget skulle sedan få en bild eller ett videoklipp sänt till sig och skicka tillbaka en beskrivning i text av vad bilden föreställde. Man skulle som användare själv kunna välja om man ville ge tolkningsuppdraget till någon i sin grupp av närstående eller till vem som helst i hela tolkcentralens system. Denna tjänst skulle kunna vara till nytta om man som synskadad t.ex. vill veta bäst-före-datumet på ett mjölkpaket, vad ett visst fotografi föreställer, vad tvättmaskinen är inställd på eller vad det står på ett papper med handskriven text som skannerns bildtolkningsprogram inte klarar av att tolka. Det kan också handla om busstidtabeller i busskurer eller vägskyltar. Det kan även vara så att man gått vilse och helt enkelt behöver hjälp med att ta reda på var man befinner sig. Projektägare har varit hjälpmedelsföretaget Polar Print Försäljning AB [2] som är baserat i Luleå. Hjälpmedelsinstitutet [3] bidrog med 200 000 kr i utvecklingsbidrag för att ta fram en prototyp till denna tjänst. 2. Bakgrund Som gravt synskadad eller helt blind mobiltelefonanvändare har man