Security Monitoring and Alert Correlation for Network Intrusion Detection Dissertation zur Erlangung des Doktorgrades an der Fakultät für Mathematik, Informatik und Naturwissenschaften Fachbereich Informatik IT-Sicherheit und -Sicherheitsmanagement der Universität Hamburg vorgelegt von Steffen Haas geb. 1992 in Mainz eingereicht am 30.10.2020 Betreuer: Prof. Dr. Mathias Fischer Erstgutachter: Prof. Dr. Mathias Fischer Zweitgutachter: Prof. Dr. Michael Meier Tag der Disputation: 04.03.2021 Zusammenfassung Angriffe auf IT-Systeme können zu erheblichen Störungen mit netzwerkweiten Auswirkungen führen. Standardmäßig basiert die Angriffserkennung auf einem Intrusion Detection System (IDS). Ein Security Operations Center (SOC) kann die Menge an resultierenden Alerts jedoch nicht analysieren. Aufgrund dieser Flut an Alerts, werden die wirklich gefährlichen Angriffe mit wenigen Alerts, wie die Advanced Persistent Threats (APTs), nicht erkannt. Unternehmen setzen als Lösung Security Information and Event Management (SIEM) Systeme zur Korrelation von Alerts und anderen sicherheitsrelevanten Daten ein. Diese Systeme fassen jedoch meistens nur den Sicherheitsstatus der IT-Systeme zusammen. Eine Priorisierung der Alerts und ein Kenntlichmachen der darin enthaltenen Angriffe erfolgt damit nicht. Dies wird zusätzlich durch die beschränkte Sichtbarkeit der oft eingesetzen Netzwerk-basierten Intrusion Detection Systeme (NIDSes) erschwert. Grund dafür ist, dass sich nicht alle Angriffsaspekte im Netzwerkverkehr manifestieren und der interne Netzwerkverkehr dem NIDS verborgen bleibt. Diese Dissertation präsentiert Mechanismen für eine umfassende Erkennung und Rekonstruktion von Angriffen. Die Beiträge setzen auf zwei unterschiedlichen Ebenen an. Zum einen produziert das Sicherheitsmonitoring qualitativ hochwertige Daten, die dann zur Erstellung von Alerts genutzt werden können. Zum anderen zeigen Korrelationsmechanismen Zusammenhänge zwis- chen Alerts auf und fassen die rekonstruierten Angriffe zusammen. Ganz konkret verbindet eine gemeinsame Host- und Netzwerküberwachung entsprechende Daten in Echtzeit. Eine erweiterte Sichtbarkeit wird dabei durch die Attributierung von Netzwerkflüssen zu Hostapplikationen erreicht. Die Korrelation von Netzwerkflüssen untereinander ermöglicht außerdem eine robuste Erkennung von verteilten Angriffen auch bei eingeschränkter Sichtbarkeit. Die vorgeschlagene Korrelation von Alerts unterscheidet zwischen den Alerts von Massenangriffen und den weniger häufig auftretenden Alerts von APTs. Nach dem Zusammenbringen und Aggregieren von Alerts des gleichen Angriffs, werden die Angriffe weiter korreliert, um die Angriffsschritte und deren Zusammenhänge hervorzuheben. Für die Skalierbarkeit in großen Netzen setzen die vorgestell- ten Mechanismen auf einer verteilten Überwachungs- und Korrelationsplatform auf, was bei entsprechendem Einsatz zu einer flächendeckenden Angriffserkennung führt. Der Betrieb als Collaborative Intrusion Detection System (CIDS) wird durch einen weiteren Mechanismus ermöglicht, der Zusammenfassungen von Alerts für deren Austausch erstellt. Die entwickelten Ansätze wurden umfassend individuell als auch in Kombination auf der Basis von realem Einsatz, Testumgebung und Simulation evaluiert. Weiterhin wurden die Beiträge zusammen entlang einer bestimmten Abfolge diskutiert. Das Gesamtsystem erkennt Angriffe mit hoher Genauigkeit durch die Korrelation verschiedener Informationen. In einem realen Einsatz war die Attributierung bei mehr als 96% der TCP Verbindungen erfolgreich. In einer realistischen Simulation wurde ein Peer-to-Peer (P2P) Botnetz auch dann robust erkannt, wenn die NetFlows den Netzwerkverkehr von nur 5% der Bots abbilden. Zugleich fasst das System diese, das gesamte Netzwerk bedrohende, Angriffe zusammen. Echte Alerts ließen sich in Experimenten durch Aggregation auf 0,6% der ursprünglichen Anzahl verringern. Beim Einsatz des Systems als CIDS, führten die Zusammenfassungen von Alerts zu einer Reduktion des Datenverkehrs beim Austausch auf etwa 1% der Originaldaten. 1 Abstract Attacks on IT systems can have network-wide impacts with tremendous consequences. For attack detection, the standard solution is to deploy an intrusion detection system (IDS). However, it reports too many alerts to be all analyzed by the security operations center (SOC), even with the help of alert correlation. This creates alert fatigue and the really sophisticated attacks, the advanced persistent threats (APTs), that trigger only a few inconspicuous alerts, go unnoticed. To mitigate the alert correlation problems, companies utilize security tools like security information and event management (SIEM) systems that correlate alerts and other security-relevant data. Although these systems provide extensive data analytics, they just summarize the overall security status of IT systems but fail to appropriately prioritize alerts and to make attacks in the alert data visible. A solution to achieve this is additionally impeded by the restricted visibility of the commonly deployed network intrusion detection systems (NIDSes), because not all attack aspects manifest in the network traffic. Furthermore, the NIDS location enables to capture the Internet traffic of the monitored network but not the traffic between hosts inside the network. This dissertation presents mechanisms that enable a comprehensive detection and reconstruction of attacks. The novel contributions work towards a better overall detection accuracy at two different stages of the intrusion detection process. First, security monitoring is enhanced to produce high-quality monitoring data and to leverage it for an accurate reporting of alerts. Second, novel alert correlation mechanisms identify relations among the alerts and summarize the reconstructed attacks. In particular, a joint monitoring of hosts and the network correlates respective monitoring data in real-time. An extended visibility is established through the attribution of network flows to host processes. In addition, detectors leverage correlated network flows to robustly detect the characteristics of some distributed attacks despite restricted visibility in the monitoring data. The proposed alert correlation separates alerts belonging to high-volume attacks from the infrequent, i.e., spatially and temporally dispersed, alerts belonging to a stealthy APT. After aggregating and bringing together alerts of the same attack, they are correlated to reconstruct the attacks, highlighting the performed steps and how they interconnect. To scale with large networks, the proposed mechanisms integrate into a distributed monitoring and correlation platform that allows comprehensive intrusion detection when deployed to several locations inside the network. The deployment as a collaborative intrusion detection system (CIDS) is supported by another mechanism that efficiently exchanges summaries of alerts. The developed approaches have been extensively evaluated individually and in combination with each other on the basis of real-world deployments, testbeds, and simulations. Furthermore, the contributions are discussed altogether along a detection pipeline. The overall system accurately detects attacks by correlating a variety of information. It achieved a real-time attribution for more than 96% of TCP connections in a real-world deployment. In realistic simulations, a peer-to-peer (P2P) botnet was detected robustly, as NetFlows covering the traffic from only 5% of the bots were sufficient. At the same time, the concise attack summary highlights attacks that threaten the network at large. Alert correlation experiments condensed real-world alerts into aggregations that correspond to 0.6% of the original amount of alerts. Using alert summaries reduced the exchange volume in a CIDS to about 1% of the full alert data. 3 Danksagung An dieser Stelle möchte ich mich bei all denjenigen bedanken, die mich auf meinem Weg zur Promotion begleitet und auf unterschiedliche Weise unterstützt haben. Für die intensive Betreuung dieser Arbeit bin ich meinem Doktorvater Mathias Fischer sehr dankbar. Seine durchgehende Unterstützung in Form von Anmerkungen und Diskussionen hat sowohl die Suche und Aufarbeitung meines Dissertationsthemas, als auch die Konzeptionierung und Ausarbeitung meiner Forschungsbeiträge sowie diese Doktorarbeit maßgeblich geprägt. Darüber hinaus möchte ich meinen Kolleginnen und Kollegen der Arbeitsgruppe IT-Sicherheit und Sicherheitsmanagement sowie des gesamten Arbeitsbereichs Security and Privacy an der Universität Hamburg danken. Auch besonders aufgrund des kollegialen, sozialen und herzlichen Arbeitsklimas kann ich auf eine großartige Doktorandenzeit zurückblicken. Nicht nur bin ich dafür dankbar, in meinen Kolleginnen und Kollegen neue Freunde gefunden zu haben, auch gebührt ihnen Dank für ihre Unterstützung meiner Arbeit. Insbesondere möchte ich Florian Wilkens für den regen Austausch von Forschungsideen und die Zusammenarbeit an gemeinsamen Publikationen danken. Auch für die thematische Überschneidung mit Matthias Marx und die daraus resultierenden Diskussionen bin ich sehr dankbar. Ebenso danke ich David Jost für die unzähligen Male, die er mir unermüdlich beim Fehlersuchen und bei allerlei technischen Problemen geholfen hat. Nicht unerwähnt lassen, möchte ich auch Doganalp Ergenc, der stets für eine gelassene und gleichzeitig motivierende Stimmung in unserem Büro gesorgt hat. Neben allen weiteren Kolleginnen und Kollegen, sowie Korrekturlesenden dieser Arbeit, gilt mein Dank Robin Sommer für die langjährige