Interactive Tactile Representations to Support Document Accessibility for People with Visual Impairments
Total Page:16
File Type:pdf, Size:1020Kb
INTERACTIVE TACTILE REPRESENTATIONS TO SUPPORT DOCUMENT ACCESSIBILITY FOR PEOPLE WITH VISUAL IMPAIRMENTS Von der Fakultät für Informatik, Elektrotechnik und Informationstechnik der Universität Stuttgart zur Erlangung der Würde eines Doktors der Naturwissenschaften (Dr. rer. nat.) genehmigte Abhandlung vorgelegt von MAURO ANTONIO ÁVILA SOTO aus Panama-Stadt Hauptberichter: Prof. Dr. Albrecht Schmidt Mitberichter: Prof. Dr. Tiago Guerreiro Tag der mündlichen Prüfung: 28. September 2020 Institut für Visualisierung und Interaktive Systeme der Universität Stuttgart 2020 to Valentina iv Abstract v ABSTRACT Since the early beginnings of writing, humans have exploited text layout and format as primary means to facilitate reading access to a document. In con- trast, it is the norm for visually impaired people to be provided with little to no information about the spatial layout of documents. Braille text, sonification, and Text-To-Speech (TTS) can provide access to digital documents, albeit in a linearized form. This means that structural information, namely a bird’s-eye view, is mostly absent. For linear reading, this is a minor inconvenience that users can work around. However, spatial structures can be expected to strongly contribute to activities besides linear reading, such as document skimming, revising for a test, memorizing, understanding concepts, and comparing texts. This lack of layout cues and structural information can provoke distinct types of reading hindrances. A reader with visual impairment may start reading multiple sidebar paragraphs before starting to read the main text without noticing, which is not optimal for reading a textbook. If readers want to revise a paragraph or access a certain element of the document, they must to go through each element on the page before reaching the targeted paragraph, due screen readers iterate through each paragraph linearly. This can be very frustrating and exhausting, especially in cases where it is required multiple times during a long study session. To identify different elements of a document through a screen reader is also challenging. For example the user would not be able to distinguish between the main text and a sidebar paragraph. In the present dissertation, we portray in detail the research process where we investigated the access of digital textual contents by readers with visual impair- ments. Further, we define strength and flaws of this content pursuit process. Then, we aim to provide answers and solutions related to the design and usability of touch and auditory modalities to supply access to digital textual content to readers with visual impairments. We describe the observations and conclusions related to point out different features and characteristics of the reading process based on auditory screen readers for readers with visual impairments. We studied existing skim-reading strategies in sighted and visually impaired individuals, we identified key features of visual documents that allow sighted users to adopt a highly flexible and goal-oriented approach to skim-reading, elements which are mostly lost when documents are accessed in auditory form, as is commonly the case for readers with visual impairments. vi Abstract Through three different design stages, we envisioned, designed, and developed Tactile sheets, a system which conveys information about visual layout of digital textual documents. This system is based on differentiated tactile elements laid out on the surface of overlays; these overlays are placed on a touchscreen tablet, creating a tactile interface which enables the users to navigate through a document, recognize its layout, acquire implicit information related to the position and classification of different document elements like titles, paragraphs, tables or highlighted text, and access its content through auditory feedback. As a system’s design iteration, we have introduced an automatic identification method which allows the user to update the digital content in relation to a concrete tactile overlay placed on the touchscreen device. This improved the usability of tactile overlays and granted an innovative level of interactivity and fluidity to the tactile pages interface system. This solution was assessed conducting a set of studies with visually impaired participants who were requested to perform different tasks with our system and with auditory screen readers. The approach received positive quantitative and qualitative assessments and was preferred by most participants over the screen readers. Our experimental setting demonstrated the feasibility of a multimodal interface dedicated for visually impaired users, with modalities based on the tactile and auditory channels. We also demonstrated that this interface can convey a concrete flow of information to the users and those users can interact with that information within the context of this interface. The possibility to generate a refreshable interface based on a mean initially conceived as a fixed setting like tactile card- board overlays was proved. This feature has been obtained utilizing affordable resources and through an easily replicable method. Thus, we consider that the automatic identified tactile overlays approach is a promising method for touch screens accessibility that improves their usability and gives the users more control over the touch screen and provides more content on the layout structure and element types of a text document. Zusammenfassung vii ZUSAMMENFASSUNG Seit den frühen Anfängen des Schreibens nutzen Menschen Textlayout und - format als primäres Mittel, um den Lesezugriff auf ein Dokument zu erleichtern. Im Gegensatz dazu werden sehbehinderten Menschen in der Regel wenig bis gar keine Informationen über die räumliche Anordnung von Dokumenten zur Verfü- gung gestellt. Braille-Text, Sonifikation und Text-To-Speech (TTS) können den Zugang zu digitalen Dokumenten ermöglichen, wenn auch in linearisierter Form. Das bedeutet, dass strukturelle Informationen, und damit die Vogelperspektive, meist fehlen. Für das lineare Lesen ist dies eine kleine Unbequemlichkeit, mit der Leser und Leserinnen umgehen können. Man kann jedoch davon ausgegangen, dass räumliche Strukturen neben dem linearen Lesen sehr wichtig sind für Ak- tivitäten wie z. B. das überfliegen von Dokumenten, das Wiederholen für einen Test, das Auswendiglernen, das Verstehen von Konzepten und den Vergleich von Texten. Dieser Mangel an Layout-Hinweisen und strukturellen Informationen kann ver- schiedene Leseaktivitäten erschweren. Es kann sein, dass ein Leser mit einer Sehbehinderung, ohne es zu bemerken, zunächst einige am Seitenrand platzierte Absätze liest, bevor er mit dem Lesen des Haupttextes beginnt. Für das Lesen eines Lehrbuchs ist dies nicht optimal. Wenn Leser einen Absatz überarbeiten oder auf ein bestimmtes Element des Dokuments zugreifen wollen, müssen sie jedes Element auf der Seite durchgehen, bis sie den gewünschten Absatz er- reichen, da die entsprechenden Screenreader jeden Absatz linear durchlaufen. Dies kann sehr frustrierend und anstrengend sein, besonders wenn es während einer langen Sitzung mehrmals erforderlich sein sollte. Auch die Identifizierung verschiedener Dokumentelemente durch einen Screenreader ist eine Herausforde- rung. Zum Beispiel können Benutzer nicht zwischen dem Haupttext und einem Seitenrand-Absatz unterscheiden. In der vorliegenden Dissertation stellen wir im Detail den Forschungsprozess dar, bei dem wir den Zugang von Lesern mit Sehbehinderungen zu digitalen Textinhalten untersucht haben. Ferner definieren wir Stärken und Schwächen dieses Prozesses der Inhaltszuordnung. Dann fokussieren wir auf Antworten und Lösungen bezüglich der Gestaltung und Nutzbarkeit von taktilen und auditiven Modalitäten zu finden, um Lesern mit Sehbehinderungen Zugang zu digitalen Textinhalten zu ermöglichen. Wir beschreiben die Beobachtungen und Schlussfolgerungen im Zusammenhang mit dem Aufzeigen verschiedener Merkmale und Charakteristika des Leseprozes- viii Zusammenfassung ses auf der Grundlage auditiver Bildschirmlesegeräte für Leser mit Sehbehinde- rungen. Wir untersuchten bestehende Skim-Reading-Strategien bei sehenden und sehbehinderten Personen und identifizierten Schlüsselmerkmale von visuellen Dokumenten, die es sehenden Benutzern ermöglichen, einen sehr flexiblen und zielorientierten Ansatz für das Skim-Reading zu wählen. Diese Elemente gehen beim Zugriff auf Dokumente in auditiver Form meist verloren, wie es bei Lesern mit Sehbehinderungen üblicherweise der Fall ist. In drei verschiedenen Entwurfsphasen haben wir Tactile Sheets, ein System, das Informationen über das visuelle Layout digitaler Textdokumente vermittelt, kon- zipiert, gestaltet und entwickelt. Dieses System basiert auf verschiedenen taktilen Elementen, die auf der Oberfläche von Overlays angeordnet sind; diese Overlays werden auf einem Touchscreen-Tablett platziert, wodurch eine taktile Schnitt- stelle geschaffen wird, die es den Benutzern ermöglicht, durch ein Dokument zu navigieren, dessen Layout zu erkennen, implizite Informationen in Bezug auf die Position und Klassifizierung verschiedener Dokumentelemente wie Titel, Absätze, Tabellen oder hervorgehobenen Text zu erfassen und durch akustisches Feedback auf den Inhalt zuzugreifen. Als Design-Iteration des Systems haben wir eine automatische Identifikationsmethode eingeführt, die es dem Benutzer ermöglicht, den digitalen Inhalt in Bezug auf ein konkretes taktiles Overlay auf dem Touchscreen-Gerät zu aktualisieren. Dies verbesserte die Nutzbarkeit der taktilen Overlays und verlieh