Fakult¨at f¨ur Elektrotechnik, Informatik und Mathematik Heinz Nixdorf Institut und Institut f¨ur Informatik Fachgebiet Softwaretechnik Zukunftsmeile 1 33102 Paderborn A Systematic Analysis and Hardening of the Java Security Architecture PhD Thesis to obtain the degree of “Doktor der Ingenieurwissenschaften (Dr.-Ing.)” by Philipp Albert Holzinger born in Neustadt an der Weinstrasse Advisor: Prof. Dr. Eric Bodden Paderborn, September 10, 2019 ii Abstract Java is one of the most popular development platforms and it is applied in a broad range of different application contexts. The Java Runtime Environment (JRE) implements a complex security architecture that enforces security policies in such a way that untrusted code can run along trusted code within the same process. However, over the course of its entire lifespan, a large number of attacks revealed many severe security vulnerabilities in the JRE that allowed for a full bypass of all security mechanisms. Despite the many examples of security vulnerabilities in the platform, only little was pre- viously known about conceptual commonalities of different exploits and the extent to which design weaknesses in the Java security architecture enabled the attacks. Thus, in this work, we systematically collected and analyzed a large body of exploits for different versions of the JRE, covering vulnerabilities of more then ten years. One result of this analysis is that there is a set of nine commonly abused weaknesses, and we further show that all exploits in the sample set can be divided into three categories of attacks. Finally, we identified two major design weaknesses that enabled many of the attacks. The first design flaw is weak information hiding. We found that the security of the entire Java platform rests on the confidentiality and integrity of individual variables in system classes. At the same time the security architecture lacks defense in depth, which allows that individual implementation defects can break information hiding, thus undermining all security guarantees. To address this problem, we proposed a lightweight mitigation strategy that our proof-of-concept implementation can integrate into even closed-source JREs. Our evaluation showed that this solution systematically blocks 84% of the information-hiding attacks contained in our exploit sample set, and we also explained how the remaining attacks can be blocked as well. We further showed that our solution is backward compatible and the runtime overhead induced by integrating the countermeasures is low. In addition to this lightweight mitigation strategy, we further presented a heavyweight mitigation strategy. This alternative solution suggests a comprehensive redesign of the internals of the Java runtime. As we explain, implementing this mitigation strategy would require access to the JRE’s source code and major engineering efforts. However, this heavyweight solution has the potential to fundamentally strengthen information hiding in the Java platform, and outperform our lightweight proof of concept in terms of both robustness and speed. The second design flaw we identified besides weak information hiding is improper access control, which is manifested in various different ways. In particular, we found that several iii sensitive methods in Java system classes implement what we call “shortcuts”—they skip proper permission checks if certain hardcoded constraints on the call stack are satisfied. As we show, this approach to implementing access control is error-prone, increases the attack surface, and decreases code maintainability. To address this problem, we created a variant of the Java runtime that works almost without shortcuts, whereby privileged blocks become the standard way for elevating privileges. As we explain, this substantially facilitates code maintenance, as well as automatic and manual program analysis. Also, certain attack vectors are blocked by this solution. Through a large-scale set of experiments we show that our proposed changes have virtually no impact on the performance of a set of real-world applications. We finally assessed the impact of moving to a shortcut-free platform for productive use by discussing usability and backward compatibility considerations, and also presented lessons learned that may serve as a guidance for the design and implementation of other complex security architectures. iv Zusammenfassung Java ist eine der beliebtesten Entwicklungsplattformen und wird in einem breiten Spektrum unter- schiedlicher Anwendungskontexte eingesetzt. Das Java Runtime Environment (JRE) implemen- tiert eine komplexe Sicherheitsarchitektur, die die Einhaltung von Sicherheitsrichtlinien derart sicherstellt, dass die Ausführung von vertrauenswürdigem Code und nicht vertrauenswürdigem Code im selben Prozess ermöglicht wird. Über die gesamte Lebenszeit der Plattform gab es jedoch wiederkehrend Angriffe, die schwerwiegende Sicherheitslücken in der JRE aufzeigten, mit deren Hilfe alle Sicherheitsmechanismen umgangen werden konnten. Trotz der großen Anzahl bekannter Sicherheitslücken in der Plattform war bisher wenig bekannt über konzeptionelle Gemeinsamkeiten unterschiedlicher Exploits, oder in welchem Um- fang Designschwächen in der Java-Sicherheitsarchitektur die Angriffe erst ermöglichten. Daher haben wir im Kontext dieser Arbeit eine systematische Sammlung und Analyse eines großen Datensatzes unterschiedlicher Exploits durchgeführt, wodurch wir Sicherheitslücken aus mehr als zehn Jahren betrachteten. Ein Ergebnis dieser Analyse ist, dass es neun Schwächen gibt, die häufig von Exploits ausgenutzt werden. Zudem zeigen wir, dass alle Exploits in drei An- griffskategorien eingeteilt werden können. Abschließend verweisen wir auf zwei fundamentale Designschwächen, die zu einer Vielzahl von Angriffen führten. Die erste dieser Designschwächen ist die spezifische Gestaltung und Implementierung von Information Hiding in der Laufzeitumgebung. Wir konnten zeigen, dass die Sicherheit der gesamten Plattform auf der Vertraulichkeit und Integrität einzelner Variablen von Systemklassen ruht. Gleichzeitig fehlt der Sicherheitsarchitektur jedoch ein mehrschichtiges Sicherheitskonzept, was zur Folge hat, dass einzelne Implementierungsfehler den Zugriff auf sensitive Variablen er- lauben, und somit alle Sicherheitsgarantien untergraben werden können. Um dieses Problem zu adressieren haben wir einen leichtgewichtigen Verteidigungsansatz entwickelt, der selbst in JREs integriert werden kann, für die der Quelltext nicht vorliegt. Unsere Evaluation zeigte, dass dieser Ansatz systematisch 84% der Information-Hiding-Angriffe in unserem Datensatz blockieren konnte, und wir erklären wie die verbleibenden Angriffe ebenfalls adressiert werden können. Zudem zeigen wir, dass unsere Lösung rückwärtskompatibel ist und nur einen gerin- gen Einfluss auf die Ausführungsgeschwindigkeit hat. Zusätzlich zu diesem leichtgewichtigen Lösungsansatz präsentieren wir einen alternativen schwergewichtigen Ansatz, dessen Implemen- tierung eine umfassende Neustrukturierung der JRE bedarf. Die Umsetzung dieser Änderung würde den Zugriff auf den Quelltext der JRE erfordern und würde mit einem erheblichen Imple- mentierungsaufwand einhergehen. Wie wir erklären hat dieser schwergewichtige Ansatz jedoch v das Potential die Implementierung von Information Hiding in Java erheblich zu stärken, und un- seren leichtgewichtigen Ansatz mit Hinblick auf Robustheit und Geschwindigkeit zu übertreffen. Die zweite Designschwäche, die wir im Rahmen unserer Exploitanalyse identifiziert haben ist inkonsequente Zugriffskontrolle, die sich auf verschiedene Weise zeigt. Im Besonderen konnten wir zeigen, dass einige sensitive Methoden in Java-Systemklassen sogenannte “Abkürzungen” implementieren—sie überspringen eine ordnungsmäßige Zugriffsprüfung, wenn bestimmte fest programmierte Bedingungen bezüglich des Aufrufstapels erfüllt sind. Wir konnten zeigen, dass diese Art der Zugriffskontrolle fehleranfällig ist, die Angriffsfläche vergrößert, sowie die Wartbarkeit der Codebasis verringert. Um diesem Problem zu entgegnen haben wir eine Vari- ante der JRE erstellt, die weitgehend ohne “Abkürzungen” funktioniert und stattdessen die Privileged-Block-API für die Erhöhung von Privilegien verwendet. Wir erklärten, dass dadurch die Wartbarkeit des Quelltextes, sowie die automatische und manuelle Programmanalyse vere- infacht werden. Zudem wurden bestimmte Angriffsvektoren durch die Änderung blockiert. Durch umfangreiche Experimente konnten wir zeigen, dass die vorgeschlagenen Änderungen die Ausführungsgeschwindigkeit einer Auswahl komplexer Anwendungssoftware nur unwesentlich beeinflusst haben. Zusätzlich haben wir die Auswirkungen diskutiert, die ein Verzicht auf “Abkürzungen” im Produktiveinsatz mit sich bringen würde. Dies umfasst Betrachtungen mit Hinblick auf Usability und Rückwärtskompatibilität. Abschließend haben wir die gewonnenen Erkenntnisse im breiteren Kontext betrachtet und geben damit Hinweise auf die sichere Gestal- tung und Implementierung anderer komplexer Sicherheitsarchitekturen. vi Publications This dissertation is an original work. Parts of it, however, have already been published directly or in similar form in a set of research papers, for which the author of this thesis is also the lead author. Specifically, this includes the following works: • P. Holzinger, S. Triller, A. Bartel, and E. Bodden. An in-depth study of more than ten years of Java exploitation. In Proceedings of the 2016 ACM SIGSAC Conference on Computer and Communications Security, pages 779–790. ACM, 2016 Several parts of