Afasie Gespreksboek, Van Papier Naar App Er Is Sprake Van Afasie Als Ten Gevolge Van Hersenletsel Problemen Ontstaan in Het Gebruik Van Taal

Total Page:16

File Type:pdf, Size:1020Kb

Afasie Gespreksboek, Van Papier Naar App Er Is Sprake Van Afasie Als Ten Gevolge Van Hersenletsel Problemen Ontstaan in Het Gebruik Van Taal Language in Interaction Consortium De menselijke taal is één van de meeste complexe cognitieve De onderzoeksresultaten vanuit Language in Interaction functies die we kennen, en tegelijkertijd de basis van onze worden geïmplementeerd als maatschappelijk relevante uniek menselijke cultuur en sociale omgang. Het NWO toepassingen in gebieden als educatie en gezondheid. Dit Zwaartekrachtprogramma Language in Interaction heeft als doen we door het verspreiden van wetenschappelijke kennis doel zowel de variatie in talen en taalkundige vaardigheden naar een breder publiek, het ontwerpen van toepassingen als de overeenkomsten te verklaren. Hoe kan vanuit een (zoals apps, serious games, of een therapie) of het gratis biologische basis die voor alle mensen gelijk lijkt te zijn, beschikbaar stellen van software. Andere mogelijkheden zijn zo’n breed palet aan culturele verschillen ontstaan? het valideren van wetenschappelijke kennis voor de klinische praktijk, of het coachen van onderzoekers bij het opzetten Hiertoe onderzoekt het programma de menselijke taal over van een start-up waarin innovatieve producten worden het gehele spectrum vanaf het niveau van de genen tot en ontwikkeld op basis van het onderzoek. met sociale interacties tussen gesprekspartners. Voorbeelden van mogelijk onderzoek zijn genetische verschillen, taal in MEER INFORMATIE het brein, evolutie van taal, meertaligheid, vogelzang, de rol www.languageininteraction.nl van wereldkennis, en nonverbaal gedrag. Hierbij wordt ook www.languageininteraction.nl/utilization.html gekeken naar het samenspel van de taalkundige vaardigheden met andere cognitieve systemen, zoals geheugen, actie en Language in Interaction Consortium cognitieve controle. T: 024 3666272 | E: [email protected] Postbus 9101 | 6500 HB Nijmegen www.languageininteraction.nl INHOUD Algemeen VOORWOORD Voorwoord 3 Voor u ligt een nieuwe DIXIT vol met prachtige voorbeelden van de Colofon 3 toepassing van taal- en spraaktechnologie in apps. En daarmee geeft dit Inleiding ‘What's an App’ 4 een uitstekend overzicht van de laatste stand der techniek op dit gebied. Directory 47 Hoewel... er zijn natuurlijk belangrijke ontwikkelingen en spelers op dit Apps gebied die schitteren door afwezigheid. Dit betreft dan met name spelers Woordwolk 6 als Google en Apple. Spelers die als geen ander bezig zijn met een stille Woordlens 8 revolutie in hoe wij met onze apparaten en mobieltjes communiceren en Afasie Gespreksboek 10 interacteren. “Stille revolutie?”, zult u zeggen? Ik bedoel dan stil in de zin Homey 13 van zonder enige marketing en PR-inspanning. Google voegt geleidelijk Anne 15 meer en meer TST toe en gaat simpelweg uit van “Als het gebruikt wordt, KinOath Kinship Archiver 24 dan voegt het waarde toe”. Neem Google Maps als aardig voorbeeld. Ik Text2Picto 26 dacht al jaren: “Mooi dat ik de route voorgelezen krijg.... Maar het zou cPlays 29 toch mooi zijn als ik de route niet meer hoef in te tikken”. En hopla, ik zie Wizenoze 32 een week of wat geleden plotseling een microfoontje op de zoekbalk en SwiftKey 34 jazeker, de spraakherkenning werkt nog behoorlijk goed ook! Prima Yoleo 37 gebruikerservaring denk ik dan. Echter! Laat nu uit zeer recent onderzoek Newsbeat 39 De Grondwet 41 blijken dat de interactie met dit soort apps en devices evenveel aandacht Onze Taal op zak 43 van de bestuurder vraagt als het schrijven van een promotieverslag…! In het betreffende onderzoek parkeerden 2 van de 160 proefpersonen Overzichtsartikelen tijdens het onderzoek hun auto in de achterkant van hun voorligger!! Toch 10 slimme taalapps voor onderweg 17 nog niet de optimale gebruikservaring? Nederlandse spraakherkenning en Android 19 Dit geeft maar aan: toepassing van TST-technologie staat en valt (en botst Applab: van wetenschappelijk blijkbaar) met een naadloze integratie met en afstemming op de onderzoek naar praktijkevaluatie 21 gebruikerservaring. En daarvoor heb je toepassingen nodig die Dromen van een App die je oren domeinspecifiek, toepassingsspecifiek en afgestemd op het opent voor nieuwe talen 30 gebruikerspubliek zijn. Wat is uw favoriete TST-app? 36 Laat ik nog een voorbeeld geven. Ik was onlangs op bezoek bij Google en mocht de Glass uitproberen. Na wat spielerei stelde ik Glass een wat serieuzere vraag: “Google! Where can I find pizza in Dublin?” Mijn vraag werd feilloos herkend. En ik kreeg keurig een kaartje van Dublin in mijn rechteroog met de bekende rode stippen. Echter, wat ik ook probeerde, ik kon geen nadere info over de bolletjes vinden, noch door zoomen noch door klikken noch door te praten als Brugman. Moraal van het verhaal: voor een goede gebruikerservaring is het vinden van de juiste balans in technologie, toepassing en gebruiker essentieel. Mooi om door deze ‘bril’(!) de verhalen in deze DIXIT eens te lezen....? Staffan Meij, voorzitter stichting NOTaS DIXIT: Tijdschrift over toegepaste taal- en spraaktechnologie – 11e jaargang, editie (h)Appy met TST. DIXIT is een uitgave van Stichting NOTaS, Postbus 31070, 6503 CB Nijmegen. Tel. 024-352 88 88 – E-mail [email protected] – www.notas.nl Redactieadres: Stichting NOTaS, Postbus 31070, 6503 CB Nijmegen Redactie: Arjan van Hessen: [email protected], Henk van den Heuvel: [email protected], Remco van Veenendaal: [email protected], Suzan Verberne: [email protected], Anne Wijnen: [email protected], Marieke den Os: [email protected] Hoofdredactie themanummer: Peter Desain: [email protected] Advertenties: Stichting NOTaS – Anne Wijnen: [email protected], 024-352 88 88 Abonnementen: Voor een gratis abonnement kunt u zich wenden tot een van de NOTaS-deelnemers Druk: Leonard bv Verantwoording: DIXIT is een uitgave van Stichting NOTaS. Overname van de artikelen is alleen toegestaan met bronvermelding en na toestemming van Stichting NOTaS. Stichting NOTaS en de bij deze uitgave betrokken redactie en medewerkers aanvaarden geen aansprakelijkheid voor mogelijke gevolgen die zouden kunnen voortvloeien uit het gebruik van de in deze uitgave opgenomen informatie. What's an App? Deze DIXIT gaat over toepassingen van taal- en spraaktechnologie in mobiele apps: applicaties op mobiele apparaten. Misschien roept dat vragen op. Is daar nu zo veel specifieks over te zeggen dat er een heel issue mee te vullen is? Zijn apps zo essentieel anders dan een stukje software zoals we dat al decennia kennen en waar taal- en spraaktechnologie stapje voor stapje een rol in is gaan spelen? Hype? zogenoemde speelgoeddomeinen, Aan de ene kant is het antwoord: Nee. Een blijken nu op web-schaal ingezet te berekening is een berekening, zoals we sinds kunnen worden. Church weten: een ander apparaat kan een algoritme hoogstens wat sneller uitvoeren maar Geen gebruiksaanwijzing kan nooit essentieel andere mogelijkheden Voor de gebruiker blijft vaak verborgen wat er hebben. En sommige zaken blijven allemaal gebeurt aan berekeningen en zijn apps onberekenbaar, hoe groot en snel de computer simpel te gebruiken. Het adagio van Apple - één ook is. Dus zouden we maar beter geen app; één functie - wordt niet strikt opgevolgd, aandacht moeten besteden aan alle hypes over toch lijkt het gebruik van een specifieke app al apps en verder doorwerken aan essentiële veel meer op het hanteren van een specifiek doorbraken in taaltechnologie. gebruiksvoorwerp. Het heeft zijn eigen manier van bediening die door het ontwerp zelf als het Extra sensoren ware wordt uitgelokt. Een app met een Aan de andere kant is het verheugende gebruiksaanwijzing draagt eigenlijk al zijn antwoord: Ja. Er is een aantal aspecten waarin doodvonnis bij zich. apps toch echt anders zijn. Op mobiele apparaten heeft software bijvoorbeeld de Beschikbaarheid toegang tot veel extra sensoren. Het apparaat Ook voor de softwareontwikkelaar zijn zaken weet waar het is, hoe het georiënteerd is in de makkelijker geworden nu hele ruimte, wat er te zien en horen is, hoe het ontwikkelplatforms met goede aangeraakt wordt. En aangevuld met een programmabibliotheken en simulatoren polsbandje weet het zelfs wat de hartslag van voorhanden zijn. De makkelijke distributie is de gebruiker is. Dat geeft software veel extra nieuw; een ontwikkelaar kan een app uploaden mogelijkheden om zich aan de wereld aan te naar een Store en zo simpelweg een passen, een mogelijkheid die desktopsoftware wereldwijde distributie in gang zetten en ontbeert. Ook de connectiviteit is veel groter, betalingen ontvangen. Net zoals de overal en altijd zijn onze telefoons en tablets muziekindustrie in zekere zin is verbonden met internet. We staan in contact gedemocratiseerd, doordat iedereen met mensen nabij of veraf die wat van ons studiosoftware kan gebruiken en muziek kan willen en met objecten die bestuurbaar zijn of aanbieden, zo hebben ook grote zich kunnen melden. Samen vormen ze ‘the softwarehuizen niet langer de macht om het internet of things’. gebruik van hun specifieke oplossingen af te dwingen. En dit alles met grote rekenkracht aan Internet boord (of met simpele verbindingen met een Vaak zijn toepassingen ook afhankelijk van een server die nog meer rekenkracht heeft); het is massaal gebruik waarin veel informatie wordt een droom-situatie die enkele tientallen jaren gedeeld. Complexe technieken uit de geleden voor taaltechnologen niet te voorzien kunstmatige intelligentie, die voorheen slechts was. een kleine rol speelden in demonstraties op Dus ja, apps hebben zoveel eigen aspecten dat mobieltje, en hoe een grote displaytafel we er makkelijk de DIXIT die voor u ligt mee kinderen met taal- en spraakbeperkingen kan konden vullen. Veel van bovengenoemde helpen toch samen te interacteren. aspecten komen aan bod. Bijvoorbeeld hoe taaltechnologie kan worden ingezet bij het Actueel verwerken van opschriften op borden in een We hopen dat het een inspirerende editie is land waar je de taal niet van kent. Of hoe een geworden. Lees hem snel, zou ik aanraden, app je kan ondersteunen, als je zelfs de voordat de spannende en altijd onverwachte woorden van je eigen taal niet meer kent. Hoe ontwikkelingen deze artikelen alweer er onderwijs ontstaat in dit nieuwe vakgebied. achterhalen. Welke apps met TST aan boord er al zijn - en over welke apps voor het snel aanleren van een Namens de redactie tweede taal er al wordt gedroomd.
Recommended publications
  • AVG Android App Performance and Trend Report H1 2016
    AndroidTM App Performance & Trend Report H1 2016 By AVG® Technologies Table of Contents Executive Summary .....................................................................................2-3 A Insights and Analysis ..................................................................................4-8 B Key Findings .....................................................................................................9 Top 50 Installed Apps .................................................................................... 9-10 World’s Greediest Mobile Apps .......................................................................11-12 Top Ten Battery Drainers ...............................................................................13-14 Top Ten Storage Hogs ..................................................................................15-16 Click Top Ten Data Trafc Hogs ..............................................................................17-18 here Mobile Gaming - What Gamers Should Know ........................................................ 19 C Addressing the Issues ...................................................................................20 Contact Information ...............................................................................21 D Appendices: App Resource Consumption Analysis ...................................22 United States ....................................................................................23-25 United Kingdom .................................................................................26-28
    [Show full text]
  • Suruhanjaya Komunikasi Dan Multimedia Malaysia
    APPENDIX 1 SURUHANJAYA KOMUNIKASI DAN MULTIMEDIA MALAYSIA (MALAYSIAN COMMUNICATIONS AND MULTIMEDIA COMMISSION) REQUEST FOR QUOTATION Development of two mobile applications:- 1. Money Reader for Ringgit Malaysia Currency Notes 2. Google Text-to-Speech Talkback in Bahasa Malaysia Date: 29 April 2016 REQUEST FOR PROPOSAL – DIGITAL LIFESTYLE MALAYSIA 2016 Table of Contents BACKGROUND ......................................................................................................................... 3 About Digital Lifestyle Malaysia ......................................................................................................... 3 Project Summary ................................................................................................................................. 3 MOBILE APPS SPECIFICATIONS ......................................................................................... 4 Money Reader for Ringgit Malaysia Currency Notes .......................................................................... 4 Google Text-to-Speech Talkback in Bahasa Malaysia ......................................................................... 4 SCOPE OF THE PROPOSAL .................................................................................................. 5 TERMS AND CONDITIONS ..................................................................................................... 5 2 REQUEST FOR PROPOSAL – DIGITAL LIFESTYLE MALAYSIA 2016 BACKGROUND About Digital Lifestyle Malaysia 1. The Malaysian Communications and Multimedia
    [Show full text]
  • Princeton Alumni Weekly
    00paw0206_cover3NOBOX_00paw0707_Cov74 1/22/13 12:26 PM Page 1 Arts district approved Princeton Blairstown soon to be on its own Alumni College access for Weekly low-income students LIVES LIVED AND LOST: An appreciation ! Nicholas deB. Katzenbach ’43 February 6, 2013 • paw.princeton.edu During the month of February all members save big time on everyone’s favorite: t-shirts! Champion and College Kids brand crewneck tees are marked to $11.99! All League brand tees and Champion brand v-neck tees are reduced to $17.99! Stock up for the spring time, deals like this won’t last! SELECT T-SHIRTS FOR MEMBERS ONLY $11.99 - $17.99 3KRWR3ULQFHWRQ8QLYHUVLW\2I¿FHRI&RPPXQLFDWLRQV 36 UNIVERSITY PLACE CHECK US 116 NASSAU STREET OUT ON 800.624.4236 FACEBOOK! WWW.PUSTORE.COM February 2013 PAW Ad.indd 3 1/7/2013 4:16:20 PM 01paw0206_TOCrev1_01paw0512_TOC 1/22/13 11:36 AM Page 1 Franklin A. Dorman ’48, page 24 Princeton Alumni Weekly An editorially independent magazine by alumni for alumni since 1900 FEBRUARY 6, 2013 VOLUME 113 NUMBER 7 President’s Page 2 Inbox 5 From the Editor 6 Perspective 11 Unwelcome advances: A woman’s COURTESY life in the city JENNIFER By Chloe S. Angyal ’09 JONES Campus Notebook 12 Arts district wins approval • Committee to study college access for low-income Lives lived and lost: An appreciation 24 students • Faculty divestment petition PAW remembers alumni whose lives ended in 2012, including: • Cost of journals soars • For Mid east, a “2.5-state solution” • Blairs town, Charles Rosen ’48 *51 • Klaus Goldschlag *49 • University to cut ties • IDEAS: Rise of the troubled euro • Platinum out, iron Nicholas deB.
    [Show full text]
  • Model-Driven Development for Accessible Mobile Apps on Android
    Submitted by Dipl.-Ing. Elmar Krainz Submitted at Institut Integriert Studieren Supervisor and First Examiner a.Univ.-Prof. Dr. Klaus Miesenberger Second Examiner Model-Driven Develop- Prof. Dr. Roberto Manduchi ment for Accessible Mo- May 2018 bile Apps on Android Doctoral Thesis to obtain the academic degree of Doktor der technischen Wissenschaften in the Doctoral Program Technische Wissenschaften JOHANNES KEPLER UNIVERSITY LINZ Altenbergerstraße 69 4040 Linz, Österreich www.jku.at DVR 0093696 Sworn Declaration I hereby declare under oath that the submitted Doctoral Thesis has been written solely by me without any third-party assistance, information other than provided sources or aids have not been used and those used have been fully documented. Sources for literal, paraphrased and cited quotes have been accurately credited. The submitted document here present is identical to the electronically submitted text document. Linz, May 2018 Dipl.-Ing. Elmar Krainz, bakk. techn. Abstract The market for apps and mobile software is on the rise and this goes hand in hand with the number of apps in the stores, which has recently hit 3 million available apps (see https://www:statista:com/statistics/266210/). Due to this development, the natural user interaction of smartphones plays a crucial role. People with disabilities benefit from the increasing digital technology in general, but only if it is accessible. However, apps are often not accessible for people with disabilities since touch screens and visual representation very often overlook their needs. According to the UN Convention on the Rights of Persons with Disabilities around 650 million people of the world’s population are handicapped.
    [Show full text]
  • Unblind Your Apps: Predicting Natural-Language Labels for Mobile GUI Components by Deep Learning
    Unblind Your Apps: Predicting Natural-Language Labels for Mobile GUI Components by Deep Learning Jieshan Chen Chunyang Chen∗ Zhenchang Xing† [email protected] [email protected] [email protected] Australian National University Monash University Australian National University Australia Australia Australia Xiwei Xu Liming Zhu†‡ Guoqiang Li∗ [email protected] [email protected] [email protected] Data61, CSIRO Australian National University Shanghai Jiao Tong University Australia Australia China Jinshui Wang∗ [email protected] Fujian University of Technology China ABSTRACT our model can make accurate predictions and the generated labels According to the World Health Organization(WHO), it is estimated are of higher quality than that from real Android developers. that approximately 1.3 billion people live with some forms of vision impairment globally, of whom 36 million are blind. Due to their CCS CONCEPTS disability, engaging these minority into the society is a challenging • Human-centered computing → Accessibility systems and problem. The recent rise of smart mobile phones provides a new tools; Empirical studies in accessibility; • Software and its engi- solution by enabling blind users’ convenient access to the infor- neering → Software usability. mation and service for understanding the world. Users with vision KEYWORDS impairment can adopt the screen reader embedded in the mobile Accessibility, neural networks, user interface, image-based buttons, operating systems to read the content of each screen within the content description app, and use gestures to interact with the phone. However, the prerequisite of using screen readers is that developers have to add ACM Reference Format: natural-language labels to the image-based components when they Jieshan Chen, Chunyang Chen, Zhenchang Xing, Xiwei Xu, Liming Zhu, are developing the app.
    [Show full text]
  • How Android's UI Security Is Undermined by Accessibility
    How Android’s UI Security is Undermined by Accessibility Anatoli Kalysch Davide Bove Tilo Müller Friedrich-Alexander-Universität Friedrich-Alexander-Universität Friedrich-Alexander-Universität Erlangen-Nürnberg (FAU) Erlangen-Nürnberg (FAU) Erlangen-Nürnberg (FAU) [email protected] [email protected] [email protected] ABSTRACT 1 INTRODUCTION Android’s accessibility API was designed to assist users with dis- Android’s system level security operates upon a sandboxing con- abilities, or preoccupied users unable to interact with a device, e.g., cept that strongly separates apps. Apps are given an unique user id while driving a car. Nowadays, many Android apps rely on the (UID), thereby shielding both an app’s running process as well as its accessibility API for other purposes, including password managers resources from other apps. Android’s inter-process communication but also malware. From a security perspective, the accessibility (IPC) is protected by the kernel driver “Binder”, which enforces a API is precarious as it undermines an otherwise strong principle of permission-based access model. Apps can request particular permis- sandboxing in Android that separates apps. By means of an acces- sions and only if granted they are allowed access to the respective sibility service, apps can interact with the UI elements of another resources through well defined interfaces [8]. app, including reading from its screen and writing to its text fields. Contrary to that, users can interact with apps seamlessly through As a consequence, design shortcomings in the accessibility API and a unified UI. And while strong security mechanisms were putinto other UI features such as overlays have grave security implications.
    [Show full text]
  • Darkreader: Bridging the Gap Between Perception and Reality Of
    DarkReader: Bridging the Gap Between Perception and Reality of Power Consumption in Smartphones for Blind Users Jian Xu∗ Syed Masum Billah* Roy Shilkrot Stony Brook University Stony Brook University Stony Brook University Stony Brook, USA Stony Brook, USA Stony Brook, USA [email protected] [email protected] [email protected] Aruna Balasubramanian Stony Brook University Stony Brook, USA [email protected] ABSTRACT This paper presents a user study with 10 blind participants to understand their perception of power consumption in smart- phones. We found that a widely used power saving mechanism for smartphones–pressing the power button to put the smart- phone to sleep–has a serious usability issue for blind screen reader users. Among other findings, our study also unearthed several usage patterns and misconceptions of blind users that contribute to excessive battery drainage. Informed by the first user study, this paper proposes DarkReader, a screen reader developed in Android that bridges users’ perception of power consumption to reality. DarkReader darkens the screen by truly turning it off, but allows users to interact with their smart- phones. A second user study with 10 blind participants shows that participants perceived no difference in completion times in performing routine tasks using DarkReader and default screen reader. Yet DarkReader saves 24% to 52% power depending Figure 1. A blind user is interacting with his smartphone using a (A) on tasks and screen brightness. standard screen reader (e.g., TalkBack in Android), and (B) DarkReader. Unlike TalkBack, DarkReader keeps the screen off to save power. Author Keywords Vision impairment, blind; screen readers, TalkBack, Android, iOS; low-power, battery, screen, brightness; privacy, curtain INTRODUCTION mode, shoulder-surfing.
    [Show full text]
  • New Features and Accessibility Training CMS Training New Features
    New Features and Accessibility Training CMS Training New Features • Departmental Calendar-each subsite will have their own calendar of events similar to the calendar on CCNY’s Homepage • Access to Departmental Calendar • AAend training • Request access from The Office of Communicaons and MarkeFng • Events can appear either on the CCNY’s calendar, a specific subsite calendar, or both. Departmental Calendar • Calendars to Appear-check one of the two opFons or both • Main CCNY Calendar of Events- appears on CCNY’s calendar • Departmental Calendar- appears on a specific department calendar • Department- assign event to departmental group • Please note the calendar is for external events and not for any internal events such as weekly staff mee8ngs. Accessibility for the web • Web Accessibility- people with disabiliFes can perceive, understand, navigate, and interact with the web • 1 in 5 Americans self-idenFfy having some type of disability • Approximately 12 million Americans experience blindness or vision loss • Why is Web Accessibility Important ? • It provides equal access and equal opportunity for everyone to use the web. • Users with who navigate the web can possess: • Visual, Motor/mobility, Auditory, and/or CogniFve DisabiliFes Accessibility for the web • Screen reader soWware reads out all the content on a website • PC- download free soWware NVDA, works best with Firefox hAp://www.nvaccess.org/download/ • MAC- can be found under “System Preferences” -> “Accessibility” • Android- Google Talkback ( hAps://play.google.com/store/apps/details?
    [Show full text]
  • Dokumentacija O Nabavi Otvoreni Postupak
    DOKUMENTACIJA O NABAVI OTVORENI POSTUPAK JAVNE NABAVE PREDMET NABAVE: NABAVA IZGRADNJE I ODRŽAVANJA INFORMACIJSKOG SUSTAVA ZA ANALITIKU UČENJA I RUDARENJE OBRAZOVNIH PODATAKA I OBRAZOVANJA DIJELA KORISNIKA ev. broj: 26-17-VV-OP Zagreb, prosinac 2017. Sadržaj: 1. OPĆI PODACI ............................................................................................................. 4 1.1. Podaci o naručitelju ............................................................................................... 4 1.2. Komunikacija i razmjena informacija između naručitelja i gospodarskih subjekata . 4 1.3. Popis gospodarskih subjekata s kojima je naručitelj u sukobu interesa ................... 4 1.4. Podaci o postupku nabave ..................................................................................... 5 2. PODACI O PREDMETU NABAVE .................................................................................. 6 2.1. Opis predmeta nabave ........................................................................................... 6 2.2. Količina predmeta nabave ..................................................................................... 6 2.3. Tehničke specifikacije i troškovnik ......................................................................... 6 2.4. Mjesto izvršenja ugovora ....................................................................................... 6 2.5. Rok početka i završetka izvršenja ugovora .............................................................. 6 2.6. Opcije i moguća obnavljanja ugovora ....................................................................
    [Show full text]
  • Arxiv:2104.11271V1 [Cs.HC] 22 Apr 2021 Currently, Many People Regard Smartphones As an Extension of Their Bodies
    ASYSTEMATIC SURVEY ON ANDROID API USAGE FOR DATA-DRIVEN ANALYTICS WITH SMARTPHONES APREPRINT Hansoo Lee Joonyoung Park Uichin Lee∗ School of Computing Graduate School of Knowledge Service Engineering School of Computing KAIST KAIST KAIST Daejeon, Republic of Korea Daejeon, Republic of Korea Daejeon, Republic of Korea [email protected] [email protected] [email protected] April 26, 2021 ABSTRACT Recently, there has been an increase in industrial and academic research on data-driven analytics with smartphones based on the collection of app usage patterns and surrounding context data. The Android mobile operating system utilizes Usage Statistics API (US API) and Accessibility Service API (AS API) as representative APIs to passively collect app usage data. These APIs are used for various research purposes as they can collect app usage patterns (e.g., app status, usage time, app name, user interaction state, and smartphone use state) and fine-grained data (e.g., user interface elements & hierarchy and user interaction type & target & time) of each application. In addition, other sensing APIs help to collect the user’s surroundings context (location, network, ambient environment) and device state data, along with AS/US API. In this review, we provide insights on the types of mobile usage and sensor data that can be collected for each research purpose by considering Android built-in APIs and sensors (AS/US API, and other sensing APIs). Moreover, we classify the research purposes of the surveyed papers into four categories and 17 sub-categories, and create a hierarchical structure for data classification, comprising three layers. We present the important trends in the usage of Android’s built-in APIs and sensors, including AS/US API, the types of data collected using the presented APIs, and discuss the utilization of mobile usage and sensor data in future research.
    [Show full text]
  • NU2S User Manual
    User Manual 1 Contents Welcome to the NUU Mobile NU2S! 4 Installing the SIM Card and Powering Up 5 Controls & Using The Touchscreen 5 Those Three Buttons 7 Common Onscreen Buttons 8 How Do I...? 9 Initial Configuration 9 Find An App, Move Apps, Add Widgets 11 Power On/Off, Wake Up, Unlock, Go To Sleep 14 Make A Phone Call 15 Browse The Web 16 Send Text Messages 17 Take Pictures 18 Notifications 20 FM Radio 21 Clock 22 Gallery & Photos 23 Contacts 25 Bluetooth 26 HotKnot 27 Music 28 The Settings Menu 29 USB Connections 34 2 NU2S Overview Notification LED Recent 3 Welcome to the NUU Mobile NU2S! Thank you for purchasing a NUU smartphone! We’re proud to have you as a customer and we think you’ll get a lot of enjoyment and usefulness out of our smartphone. Your NUU Mobile NU2S is a carrier-unlocked Android™ smartphone. Like all smartphones, you can use it to call, e-mail, video chat, text, use apps, and that’s just for starters. Since your phone is carrier-unlocked, you can use it with any compatible carrier. Before you get started using your NU2S, please keep in mind the following safety tips. First of all, do not text and drive! It is unsafe as well as against the law. Emergency Calls: To make an emergency call when the phone is locked with a passcode, press the Power button and tap “Emergency call”. Then dial the emergency number and press the phone-shaped button below the keypad. If the NU2S isn’t secured with a passcode or PIN when powered on, slide the phone icon to the right and dial from there.
    [Show full text]
  • Darkreader: Bridging the Gap Between Perception and Reality Of
    DarkReader: Bridging the Gap Between Perception and Reality of Power Consumption in Smartphones for Blind Users Jian Xu∗ Syed Masum Billah* Roy Shilkrot Stony Brook University Stony Brook University Stony Brook University Stony Brook, USA Stony Brook, USA Stony Brook, USA [email protected] [email protected] [email protected] Aruna Balasubramanian Stony Brook University Stony Brook, USA [email protected] ABSTRACT This paper presents a user study with 10 blind participants to understand their perception of power consumption in smart- phones. We found that a widely used power saving mechanism for smartphones–pressing the power button to put the smart- phone to sleep–has a serious usability issue for blind screen reader users. Among other fndings, our study also unearthed several usage patterns and misconceptions of blind users that contribute to excessive battery drainage. Informed by the frst user study, this paper proposes DarkReader, a screen reader developed in Android that bridges users’ perception of power consumption to reality. DarkReader darkens the screen by truly turning it off, but allows users to interact with their smart- phones. A second user study with 10 blind participants shows that participants perceived no difference in completion times in performing routine tasks using DarkReader and default screen reader. Yet DarkReader saves 24% to 52% power depending Figure 1. A blind user is interacting with his smartphone using a (A) on tasks and screen brightness. standard screen reader (e.g., TalkBack in Android), and (B) DarkReader. Unlike TalkBack, DarkReader keeps the screen off to save power. Author Keywords Vision impairment, blind; screen readers, TalkBack, Android, iOS; low-power, battery, screen, brightness; privacy, curtain INTRODUCTION mode, shoulder-surfng.
    [Show full text]