FAKULT¨AT F¨UR MATHEMATIK UND INFORMATIK Integrated
Total Page:16
File Type:pdf, Size:1020Kb
FAKULTAT¨ FUR¨ MATHEMATIK UND INFORMATIK DER FERNUNIVERSITAT¨ IN HAGEN Master’s Thesis in Computer Science Integrated Honeypot Based Malware Collection and Analysis Martin Brunner FAKULTAT¨ FUR¨ MATHEMATIK UND INFORMATIK DER FERNUNIVERSITAT¨ IN HAGEN Master’s Thesis in Computer Science Integrated Honeypot Based Malware Collection and Analysis Integrierte Honeypot basierte Malware Sammlung und Analyse Author: Martin Brunner, BSc Supervisor: Prof. Dr.-Ing. habil. Herwig Unger Advisor: Dipl.-Inf. Daniel Berg Advisor: Dr. Sascha Todt Date: May 9, 2012 In cooperation with: Fraunhofer Research Institution for Applied and Integrated Security Parkring 4, 85748 Garching, Germany Abstract Today’s most disruptive cyber threats can be attributed to botnet-connected malware. Thus, timely intelligence on emerging trends in the malicious landscape is an essential prerequisite for successful malware defense. This is commonly gained by collection and examination of current real-world attack data and a preferably meticulous analysis of the most recent malware samples. However, the ongoing sophistication of malware led to intensive obfuscation and anti-debugging measures and also resulted in a complex and multi-staged malware execution life-cycle. In this thesis we present a novel approach for integrated honeypot based malware col- lection and analysis, which extends the functionalities of existing approaches. Specifically our approach addresses the separation of collection and analysis, the limitations of ser- vice emulation and the operational risk of high-interaction honeypots. Our overall goal is to capture and analyze malware at a large-scale while covering the entire execution life- cycle of a given malware. This should happen in a preferably automated fashion within a controlled environment while being able to handle novel malware and the respective command-and-control (C&C) communication as well. Contrary to purely network-based approaches, we aim towards retrieving information about the malware’s logics at runtime on a collection and analysis system. Thus we can provide the currently being analyzed malware with all requested resources in time, despite it is executed within an isolated environment. Our assumption is that being able to track the entire malware execution life-cycle enables a better understanding of current and emerging malware. In addition we develop a concept for providing emulated services to a malware sample under analysis thereby fulfilling possible liability constraints. In particular we focus on the issue of handling unknown traffic patterns, such as C&C protocols, within our approach. To this end we present a proof of concept implementation leveraging finite state machines for generating service emulation scripts intended to spawn an emulated C&C service. We evaluate the feasibility of our proof of concept using C&C traffic from a self-made minimal botnet. v Zusammenfassung Die verheerendsten Bedrohungen im Internet lassen sich heutzutage auf Schadsoftware (Malware), welche uber¨ Botnetze gesteuert wird, zuruckf¨ uhren.¨ Zeitnahe Erkenntnisse uber¨ neue, durch Malware verursachte, Bedrohungen sind daher eine unerlassliche¨ Vo- raussetzung fur¨ deren erfolgreiche Bekampfung.¨ Derartige Erkenntnisse werden ublicher-¨ weise durch die Sammlung und Auswertung aktueller Angriffsdaten sowie einer moglichst¨ sorgfaltigen¨ Analyse der neuesten Malware Samples gewonnen. Die zunehmende Pro- fessionalisierung im Bereich der Internetkriminalitat,¨ und damit einhergehend die Weit- erentwicklung der Malware, hat jedoch zum Einsatz umfassender Abwehrmechanismen gefuhrt,¨ welche die Analyse der Malware verhindern sollen. Aktuelle Malware durchlauft¨ demnach wahrend¨ ihrer Ausfuhrungszeit¨ einen mehrstufigen und komplexen Zyklus. In dieser Arbeit wird ein neuartiger Ansatz fur¨ eine integrierte, Honeypot basierte, Malware- Sammlung und -Analyse vorgestellt, welcher einen Mehrwert gegenuber¨ vorhandenen Ansatzen¨ darstellt. Insbesondere werden die gangige¨ Trennung von Sammlung und Anal- yse, Einschrankungen¨ hinsichtlich Service Emulation sowie Risiken, die aus dem Betrieb von High-Interaction Honeypots resultieren, adressiert. Die ubergeordnete¨ Zielsetzung besteht in der großflachigen¨ Sammlung und Analyse von Malware, wobei deren gesamter Lebenszyklus zur Ausfuhrungszeit¨ berucksichtigt¨ werden soll. Die Sammlung und Anal- yse soll dabei moglichst¨ automatisiert innerhalb einer kontrollierten Umgebung erfolgen. Dennoch soll es moglich¨ sein, bis dato unbekannte Malware und deren entsprechende C&C Kommunikation zu analysieren. Im Gegensatz zu rein Netzwerk basierten Ansatzen¨ setzt der vorgestellte Ansatz daher zusatzlich¨ auf der Systemebene an und ermoglicht¨ dadurch die der Malware zugrunde liegende Logik bereits zur Laufzeit zu erfassen. Damit kann ein Malware Sample wahrend¨ der Analyse mit allen aus dem Internet angeforderten Ressourcen versorgt werden, obwohl es sich tatsachlich¨ in einer isolierten Umgebung befindet. Die zugrunde liegende Annahme ist dabei, dass die Analyse des gesamten Lebenszyklus der Malware ein besseres Verstandnis¨ hinsichtlich der Funktionsweise, und somit auch hinsichtlich der resultierenden Bedrohung, ermoglicht.¨ Des Weiteren wird ein Konzept zur Bereitstellung von emulierten Services im Rahmen des vorgestellten Ansatzes erarbeitet. Indem nahezu jegliche Kommunikation der Malware mit der Außenwelt inner- halb der kontrollierten Umgebung nachgebildet werden kann, wird die Notwendigkeit, dass Malware wahrend¨ der Analyse mit Dritt-Systemen im Internet kommunizieren muss, erheblich gesenkt und so ein mogliches¨ Haftungsrisiko minimiert. Im Besonderen wird dabei die Emulation von Services fur¨ unbekannten Netzverkehr (wie z.B. C&C Protokolle) betrachtet. Anhand einer prototypischen Implementierung wird evaluiert, ob basierend auf endlichen Zustandsautomaten entsprechende Skripte zur Emulation eines C&C Ser- vice erzeugt werden konnen.¨ Dazu wird der Netzverkehr aus einem eigens zu diesem Zweck erstellten, minimalen Botnetz heran gezogen. vii Ich versichere, dass ich diese Master’s Thesis selbstandig¨ verfasst und nur die angegebe- nen Quellen und Hilfsmittel verwendet habe. Munchen,¨ den 9. Mai 2012 Martin Brunner Acknowledgments I am very grateful to my supervisor Prof. Herwig Unger for the opportunity to work on this thesis. I would also like to thank my advisors Daniel Berg and Sascha Todt for the guidance throughout the creation of this thesis. In addition I want to thank my col- leagues from Fraunhofer AISEC in Munich, especially Sascha Todt, Christian Fuchs and Hans Hofinger, for their valuable feedback and the fruitful discussions. Furthermore this thesis would not have been possible without my parents Gerlinde and Rudolf and their constant support and encouragement throughout my life. xi xii Contents Abstract v Zusammenfassung vii Acknowledgements xi 1 Introduction1 1.1 Initial Situation...................................2 1.2 Task and Contribution of this Thesis.......................2 1.3 Outline........................................3 2 Background5 2.1 Introduction.....................................5 2.2 Attacker Model...................................5 2.2.1 Attack Classes................................5 2.2.2 Attacker Types...............................8 2.2.3 Malware-specific Aspects.........................9 2.3 Malware....................................... 10 2.3.1 Definition.................................. 10 2.3.2 Types and Terminology.......................... 11 2.3.3 Evolution.................................. 14 2.3.4 Life-Cycle.................................. 16 2.4 Botnets........................................ 19 2.4.1 Centralized C&C Server.......................... 19 2.4.2 P2P based C&C Server........................... 19 2.4.3 Fast-Flux Service Networks........................ 20 2.5 Summary....................................... 20 3 Malware Collection using Honeypots 23 3.1 Introduction..................................... 23 3.2 Honeypot Concept................................. 23 3.3 Honeypot Technology............................... 24 3.4 Classification of Existing Approaches...................... 26 xiii Contents 3.4.1 Low Interaction Server Honeypots.................... 28 3.4.2 High Interaction Server Honeypots................... 36 3.4.3 Low Interaction Client Honeypots.................... 38 3.4.4 High Interaction Client Honeypots.................... 40 3.4.5 Honeypot Taxonomy............................ 42 3.4.6 Honeynets.................................. 44 3.5 Summary....................................... 45 4 Malware Analysis 47 4.1 Introduction..................................... 47 4.2 The Malware Analysis Problem.......................... 47 4.3 Static Malware Analysis.............................. 48 4.4 Dynamic Malware Analysis............................ 49 4.4.1 Techniques.................................. 50 4.4.2 Tools..................................... 53 4.4.3 Implications and Limitations....................... 58 4.5 Summary....................................... 59 5 A Holistic Approach for Integrated Malware Collection and Analysis 61 5.1 Introduction..................................... 61 5.2 Problem Statement................................. 61 5.3 Overall Approach.................................. 63 5.3.1 Goals..................................... 63 5.3.2 Basic Concept................................ 64 5.3.3 Added Value................................ 64 5.3.4 Components................................. 65 5.4 General Design..................................