Factors influencing the usability of collision alerting systems in gliding Einflussfaktoren auf die Gebrauchstauglichkeit von Kollisionswarnsystemen im Segelflug Dipl.-Ing. Christoph Georg Santel Dissertation D17 Darmstadt 2016 Fachbereich Maschinenbau Institut für Flugsysteme und Regelungs- technik Factors influencing the usability of collision alerting systems in gliding Einflussfaktoren auf die Gebrauchstauglichkeit von Kollisionswarnsystemen im Segelflug Vom Fachbereich Maschinenbau an der Technischen Universität Darmstadt zur Erlangung des Grades eines Doktor-Ingenieurs (Dr.-Ing.) genehmigte Dissertation vorgelegt von Dipl.-Ing. Christoph Georg Santel aus Köln Berichterstatter: Prof. Dr.-Ing. Uwe Klingauf Mitberichterstatter: Prof. Dr. phil. Joachim Vogt Tag der Einreichung: 26. November 2015 Tag der mündlichen Prüfung: 02. Februar 2016 Darmstadt 2016 D 17 Bitte zitieren Sie dieses Dokument als: URN: urn:nbn:de:tuda-tuprints-51707 URL: http://tuprints.ulb.tu-darmstadt.de/5170 Dieses Dokument wird bereitgestellt von tuprints, E-Publishing-Service der TU Darmstadt http://tuprints.ulb.tu-darmstadt.de [email protected] Die Veröffentlichung steht unter folgender Creative Commons Lizenz: Namensnennung – Nicht kommerziell – Keine Bearbeitung 3.0 Deutschland http://creativecommons.org/licenses/by-nc-nd/3.0/de/ Abstract The dissertation at hand identifies and analyzes how well glider pilots use low-cost collision alerting systems. While being generally recognized as a commendable tool for helping glider pilots see and avoid other traffic, these systems have been cited as possible contributing factors in several accidents. In literature, no in-depth research on how glider pilots may interpret or misinterpret their indications was found. At the beginning of this dissertation, a market study of human-machine inter- faces for low-cost collision alerting systems is presented. During the study, different human-machine interfaces are taxonomized. The low-complexity and radar-style displays were found to be popular display formats. Also it was discovered that a perspective presentation of traffic has been evaluated for military applications, but not for a gliding context. Thus, a perspective presentation of traffic is proposed. The prototype of a perspective display format for gliding is developed by relying on a user-centered design process. Then, the design features of the low-complexity, radar-style and perspective displays are compared. This results in several hypothe- ses comparing the usability of the three display formats being postulated. In order to experimentally evaluate these hypotheses, 137 glider pilots partake in a laboratory experiment. They are presented with traffic information on one of the three display formats installed in a flight simulator. The participants then indicate where they suspect the traffic to be located in the outside world while be- ing exposed to different flight conditions. Performance and subjective satisfaction measurements are recorded during the experiment. Inferential statistics are used to evaluate the experimental data. The perspec- tive display format results in the most precise estimates of where traffic is located. Generally, errors in estimating traffic position increase as the participants’ own- ship deviates from straight and level flight. Reaction time does not vary notably between display formats or different flight conditions. Subjective learnability and usability ratings favor the perspective display format over the two other formats analyzed. Overall, the perspective display format exhibits optimized usability in all dimensions when compared to the other two formats. During the usability analysis, circumstantial evidence arises which suggests that not all participants might interpret the data shown on their display similarly. A probable cause for this may be different knowledge deficits which are experienced between participants. These deficits may result in participants mentally modeling i the collision alerting system incorrectly, thus leading to incorrect coordinate sys- tems for interpreting the traffic information. A method for identifying these mental models is developed. The ensuing analysis reveals that most participants using low- complexity or radar-style display formats incorrectly interpret traffic information in an ownship-fixed fashion. Contrary, most participants working with the perspec- tive display format perform at least some of the required rotations of their personal coordinate systems. The concept of different mental models based on different personal coordinate systems shows potential as an analysis tool for future display designs. From these findings multiple recommendations are deduced. They are directed at different stakeholders in the gliding community, including glider pilots, aircraft owners and operators, regulatory authorities, glider manufacturers, flight schools, competition rule makers and organizers, as well as designers of collision alerting systems and associated human-machine interfaces. Closing this dissertation, the potential for future human factors research in the gliding community is highlighted. ii Abstract Kurzfassung Die vorliegende Dissertation identifiziert und analysiert wie Segelflugpiloten kostengünstige Kollisionswarnsysteme nutzen. Allgemein werden diese Systeme als hilfreiche Werkzeuge wahrgenommen, welche den Piloten bei seiner Aufgabe, Fremdverkehr zu umfliegen, unterstützen. Gelegentlich werden sie auch als po- tentiell beitragende Faktoren bei Unfällen genannt. In der Literatur lassen sich jedoch nur spärliche Forschungsergebnisse finden, wie zutreffend Segelflugpiloten die Anzeigen dieser Systeme interpretieren. Den Beginn der Arbeit bildet eine Marktstudie zu Mensch-Maschine-Schnittstellen für kostengünstige Kollisionswarnsysteme. Dabei werden die Mensch-Maschine- Schnittstellen kategorisiert. Der Studie zur Folge sind die Anzeige geringer Kom- plexität sowie die radarartige Anzeige beliebte Anzeigeformate. Ebenfalls wurde ermittelt, dass eine perspektivische Verkehrsdarstellung bis jetzt nur für mili- tärische Anwendungen untersucht wurde, nicht aber für den Segelflug. Daher wird eine segelflugtaugliche perspektivische Verkehrsdarstellung vorgeschlagen. Dessen Prototyp wird mittels eines nutzerzentrierten Entwurfsprozesses entwick- elt. Anschließend werden die Eigenschaften der Anzeige geringer Komplexität, der radarartigen Anzeige und der perspektivischen Anzeige verglichen. Der Vergleich führt zu mehreren Hypothesen bezüglich der Gebrauchstauglichkeit. Um diese zu prüfen wird eine Laborstudie durchgeführt, an welcher 137 Segelflug- piloten teilnehmen. Jeder Teilnehmer wird in einem Flugsimulator mit Verkehrs- informationen auf einem der drei Anzeigeformate konfrontiert. Während ver- schiedene Flugzustände durchlaufen werden, geben die Teilnehmer an, wo in der Außenwelt sie den Verkehr vermuten. Messwerte zur Performanz der Probanden und objektivierte Angaben zur subjektiven Zufriedenheit werden während des Ver- suchs aufgezeichnet. Anschließend werden die experimentell erhobenen Daten inferenzstatistisch aus- gewertet. Die Schätzungen der Verkehrsposition sind mit der perspektivischen Anzeige am präzisesten. Die Positionsschätzung wird fehlerbehafteter, sobald das eigene Luftfahrzeug der Probanden vom horizontalen Geradeausflug abweicht. Bei der Reaktionszeit gibt es keinen nennenswerten Unterschied zwischen den Anzeigeformaten oder diversen Flugzuständen. Zusätzlich wird die perspektivische Anzeige von den Probanden als einfacher erlernbar und besser gebrauchstauglich eingeschätzt. Insgesamt zeichnet sich die perspektivische Anzeige gegenüber den iii anderen beiden Formaten durch eine optimierte Gebrauchstauglichkeit in allen Di- mensionen aus. Während der Gebrauchstauglichkeitsanalyse drängt sich der Verdacht auf, dass nicht alle Probanden dasselbe Anzeigeformat gleich interpretieren. Als mögliche Ursache hierfür kommen Wissensdefizite der Probanden in Frage. Diese Wissens- defizite können dazu führen, dass Probanden falsche mentale Modelle der Ko- llisionswarnsysteme entwickeln. Dies wiederum hätte zur Folge, dass sie inko- rrekte persönliche Koordinatensysteme zur Interpretation der Verkehrsinforma- tionen nutzen. Es wird eine Methode entwickelt mit der die unterschiedlichen mentalen Modelle identifiziert werden können. Hierbei zeigt sich, dass die meisten Probanden, welche die Anzeige geringer Komplexität oder die radarartige Anzeige nutzen, die Verkehrsinformationen in einem flugzeugfesten Koordinatensystem in- terpretieren. Für den Fall der perspektivischen Anzeige führen die meisten Proban- den mindestens eine der notwendigen Rotationen ihres persönlichen Koordinaten- systems durch. Das Konzept der unterschiedlichen mentalen Modelle, welches auf unterschiedlichen persönlichen Koordinatensystemen beruht, bietet ein passendes Werkzeug für die zukünftige Beurteilung bestehender oder Entwicklung neuartiger Anzeigeformate. Aus den Ergebnissen der Arbeit werden mehrere Empfehlungen abgeleitet. Diese Empfehlungen richten sich an unterschiedliche Interessengruppen im Segelflug. Dazu zählen unter anderem Segelflugpiloten, Flugzeugeigentümer und -halter, Regulierungsbehörden, Segelflugzeughersteller, Flugausbildungsor- ganisationen, Ersteller von sportlichen Regelwerken, Veranstalter von Segelflug- wettbewerben sowie Entwickler von Kollisionswarnsystemen und deren Mensch- Maschine-Schnittstellen. Abschließend wird aufgezeigt, welches Potential in einer Weiterführung der Forschungsarbeiten zum menschlichen Leistungsvermögen im Segelflug liegt. iv Kurzfassung