foo On the Importance of Ecologically Valid Usable Security Research for End Users and IT Workers Der Fakultät für Elektrotechnik und Informatik der Gottfried Wilhelm Leibniz Universität Hannover zur Erlangung des akademischen Grades Doktor der Naturwissenschaften Dr. rer. nat. genehmigte Dissertation von Dipl.-Inf. Sascha Fahl geboren am 23.03.1985 in Eschwege 2016 Referent: Prof. Dr. Matthew Smith Koreferent: Prof. Dr. Robert Jäschke Tag der Promotion: 30.05.2016 Foreword The research that is the heart of this thesis would not have been possible without the support of my advisor, co-authors, colleagues, students, research assistants, friends and my family. I owe my deepest gratitude to my family. My family has always encouraged me to be curious, tenacious, and ambitious. My parents, Jutta and Albert Fahl, are the ones who made all this possible from the beginning, for which I will be eternally thankful. I am grateful to my wonderful wife Yasemin, who always provided me with her patience and support and helped me through all the long nightshifts we went through over the last three years. Your support was manifold: You helped me picking the right research questions, pushed me when I was unmotivated and made the best soy latte when we were working nightshifts. I dedicate this to you and our wonderful marriage. I would like to thank my advisor Matthew Smith for being a great supervisor. He gave me the chance to work on almost all ideas I had as a doctoral candidate, en- couraging me to tackle all the challenges working towards a doctor’s degree keeps ready and made me a thoroughbred researcher. I am also grateful to Professor Robert Jäschke, for being my secondary examiner. Gabriele von Voigt, head of the distributed systems institute, did a great job as the second-in-command and always was a sensitive and reliable discussion partner. Also, my colleagues at the Distributed Systems and Security Group, Henning Perl, Michael Brenner, Thomas Muders, Hinrich Tobaben, Benjamin Henne, Christian Szongott, and Jan Wiebelitz, made for a very pleasant and inspiring working envi- ronment. Furthermore, I would like to thank Sergej Dechand at University Bonn, with whom it was great to collaborate on multiple projects; Jaromir Smrcek from Zoner Inc., who provided me access to very interesting telemetry data of their An- droid Anti-Virus software; and finally Adrienne Porter-Felt from Google, who made parts of my Ph.d. student time as an intern at the Chrome Usable Security team in Mountain View a very special experience. I enjoyed collaborating on several projects with the greatest research assistants I could imagine: Christian Stransky, Rafal Lesniak, Felix Fischer, Marten Oltrogge, Oliver Weidner, Pascal Urban, Steffen Busch, Maximilian Kaulmann, Richard Neu- mann, Jannis König, Mohamed Brahim Rekik and Roman Zimbelmann. Finally, I would like to thank the students that wrote their Bachelor and Master theses under my supervision: Marten Oltrogge, Christian Stransky, Markus Kötter, Felix 3 Fischer, Falk Garbsch, Pascal Urban, Eugen Bier, Jannis König, David Bluhm, Leif Erik Wagner, Toni Bartilla, Marcus Wobig and Andre Brinkop. Hannover, June 19, 2016 4 Summary 5 In past research, the focus of IT security research was in investigating and develop- ing novel IT security mechanisms and technologies such as cryptographic primitives and protocols. However, over the last decade, researchers in academia and industry realized that human factors are of crucial importance when developing and deploying IT security mechanisms. Since then, usable security and privacy research attracts increased interest, focusing on improvement of the usability of human interaction with IT security mechanisms of any kind. Researchers for example investigated password based authentication or the com- prehension and adherence of warning messages. The majority of previous works focused on end users of IT security measures and collects data in first contact stud- ies, making intensive use of self-reporting questions. However, one important question has not received adequate attention in the usable security and privacy research community: What is the impact of and interdependence between IT security measures for end users, administrators, software developers and system designers on the overall secu- rity and usability of IT ecosystems? In this thesis, I present and discuss the results of seven research projects with end users, administrators, developers and system designers. First, I present a study on the usability and acceptance of a security measure to encrypt Facebook private messages. Second, I present and discuss multiple studies on the usability of programming and configuration interfaces for administrators and developers. Results illustrate that usability issues for administrators and developers working with IT security mechanisms have a huge impact on the security and us- ability of end user measures. Subsequently, I present a novel mechanism that allows easy and straightforward verification of the authenticity and integrity of software. I also discuss usability advantages for app market designers and end users. While working on the above topics, I found that a large fraction of previous works that focused on user studies mention concerns about the ecological validity of their study designs and results. Those concerns address the question of whether data gathered in user studies is valid and allows to draw reliable conclusions. However, there is no dedicated work that addresses these questions. To motivate more founda- tional research in that area, I present and discuss a study on the ecological validity of a password study. To the best of my knowledge, my work is the first to reveal the importance of usable security and privacy research to address human factors for end users, administrators, developers and system designers to improve overall usability and security. Moreover, I demonstrate the relevance of foundational research that concentrates on ecological validity of user study designs, data collection and result reporting for future usable security and privacy research. Keywords: Usable Security, End Users, IT Workers 6 Zusammenfassung 7 Der Fokus von IT-Sicherheitsforschung lag lange Zeit vornehmlich in der Er- forschung und Entwicklung neuer Sicherheitsmechanismen und -technologien wie zum Beispiel kryptografischen Verfahren und Protokollen. Erst in den letzten Jahren wurde Forschern in Wissenschaft und Industrie bewusst, dass der Mensch und seine Bedürfnisse eine wichtige Rolle bei der Entwicklung und vor allem der Verbreitung und Akzeptanz von Sicherheitsmaßnahmen spielen. Die seitdem stetig bedeutsamer werdende Forschung zu benutzbarer IT-Sicherheit und Privatsphäre beschäftigt sich mit der Verbesserung von Benutzbarkeit der Interaktion zwischen Benutzern und IT-Sicherheitsmechanismen jeglicher Art. Intensiv erforschte Bereiche sind beispielsweise Passwörter zur Authentifizierung oder die Verständlichkeit und Effektivität von Warnungsmeldungen. Ein Großteil der vergangenen Forschungsarbeiten konzentriert sich auf Endnutzer von IT-Sicher- heitsmechanismen und erhebt Daten im Rahmen von Erst-Kontakt Studien mit ho- hem Selbsteinschätzungsanteil. Eine zentrale Fragestellung wurde in der Usable Security and Privacy Forschungsgemeinde bisher jedoch relativ wenig beachtet: Worin besteht die Bedeutung und die gegenseitige Abhängigkeit von IT-Sicherheits- mechanismen für Endnutzer, Administratoren, Softwareentwickler und Konstruk- teure von IT-Systemen in Bezug auf die globale Sicherheit und Benutzbarkeit von IT-Ökosystemen? Im Rahmen dieser Arbeit gehe ich daher auf Ergebnisse von sieben Forschungsar- beiten mit Endnutzern, Administratoren, Entwicklern und Konstrukteuren von IT- Systemen ein. Zunächst stelle ich eine Analyse der Benutzbarkeit und Akzeptanz von Sicherheitsmaßnahmen zur Verschlüsselung von privaten Nachrichten auf Face- book vor. Danach gehe ich auf verschiedene Studien zur einfachen Benutzbarkeit von Programmier- und Konfigurationsschnittstellen für Entwickler und Administratoren ein. Die Ergebnisse zeigen auf, dass Benutzbarkeitsprobleme auf Entwickler- und Administratorenebene maßgeblichen Einfluss auf die Sicherheit und Benutzbarkeit von Endanwendersystemen und -sicherheitsmechanismen haben. Im Anschluss stelle ich einen neuartigen Mechanismus zur einfachen Überprüfung der Authentizität und Integrität von Software vor und diskutiere Benutzbarkeitsvorteile für Konstrukteure von App-Markets und End-Nutzer. Viele vorherige Arbeiten, die sich mit Benutzerstudien beschäftigt haben, sprechen die Problematik der ökologischen Validität von Studienergebnissen an. Im Kern dieser Fragestellung geht es darum, einzuschätzen, ob in Benutzerstudien erhobene Daten valide und verlässliche Aussagen erlauben. Es gibt jedoch keine Vorarbeiten, die sich gezielt mit diesen Fragen beschäftigen. Als Ausblick auf zukünftige zentrale Grundlagenforschung im Bereich in der Usable Security and Privacy Forschung stelle ich zuletzt eine Studie zur ökologischen Validität von Forschungsergebnissen über Passwortstudien vor. Insgesamt macht die vorliegende Arbeit als eine der ersten deutlich, dass sich Forschungsarbeiten zu Usable Security and Privacy mit menschlichen Faktoren, die auf Endanwender, Administratoren, Entwickler, und Konstrukteure von IT- Systemen wirken, beschäftigen müssen. Weiterhin wird außerdem aufgezeigt, dass Grundlagenforschung zu Fragestellungen der ökologischen Validität von Benutzer- studien ein wichtiger Gegenstand zukünftiger Usable Security and Privacy Forschung