Securing the Internet by Analysing and Controlling DNS Traffic: Email Worm Detection and Mitigation vorgelegt von Diplom-Ingenieur Nikolaos Chatzis von der Fakult¨atIV - Elektrotechnik und Informatik der Technischen Universit¨atBerlin zur Erlangung des akademischen Grades Doktor der Ingenieurwissenschaften { Dr.-Ing. { genehmigte Dissertation Promotionsausschuss: Vorsitzender: Prof. Dr. Hans-Ulrich Heiß Berichter: Prof. Dr. Radu Popescu-Zeletin Berichter: Prof. Dr. Jean-Pierre Seifert Berichter: Prof. Dr. Dimitrios Serpanos Tag der wissenschaftlichen Aussprache: 17. November 2010 Berlin 2010 D 83 ii iii Abstract The Domain Name System (DNS) is a critical infrastructure of the Internet because almost all applications that run on Internet-connected machines depend on the name resolution service it provides to work. The DNS consists of three components: the domain name space, the name servers, and the clients, formally referred to as resolvers. Due to its critical nature, the domain name space and the name servers have been for many years very attractive targets for attackers seeking to inflict widespread damage. To deal with this state of affairs, substantial attention and investment have been directed at enhancing the security of and protecting the DNS to ensure its continuous, reliable and efficient operation. This, in conjunction with a notable shift in the motivation and profile of attackers have led in recent years to a considerable change in the Internet attack landscape. Attacks have gradually become more sophisticated and focused, and financial gain has evolved into the major driving force behind them. In this new era, attackers have realised that misusing the name servers or exploiting the name resolution service comes with greater damage or economic profit than directly attacking the components of the DNS or disrupting the name resolution service. As an immediate consequence, the vast majority of Internet attacks nowadays produce an observable effect on the DNS traffic that traverses the Internet, the operation of the name servers, or in some cases on both. In the present study, it is shown that this observation opens a new and very promising perspective for effectively detecting and mitigating a wide variety of Internet attacks. To demonstrate the value of this perspective, the present study is devoted to detecting and mitigating Internet worms that along with bot software are the two major Internet threats network operators and end users face. The focus is particularly on email worms, which have been, and remain, a very popular medium for attackers to achieve their ends and, therefore, the most prevalent type of Internet worms and malicious software in general. The attackers' ends include installing bot software designed to distribute unsolicited emails or launch targeted distributed denial of service attacks, stealing private information and destroying key data. In this thesis, a method for detecting user machines that are compromised by email worms on the local name servers is introduced. The method uses clustering and similarity search over time series derived from the DNS query streams of user machines. It is demonstrated that the method overcomes the limitations of the existing methods, exhibits remarkable accuracy and negligible false alarm rate, and can be effective in the long run. In addition, a method for containing email worms is introduced. The method uses a traffic control mechanism to regulate the DNS response streams that the local name servers return to user machines and, thereby, limit the rate at which compromised user machines spread email worms further. It is shown that the method has the potential to slow down the epidemics of email worms and contribute to reducing the illegitimate email and DNS traffic compromised user machines send to the Internet with minimally, if at all, affecting their legitimate traffic. iv v Zusammenfassung Das Domain Name System (DNS) ist eine fur¨ das Internet unentbehrliche Infrastruk- tur, weil fast alle Anwendungen, die auf mit dem Internet verbundenen Maschinen laufen, von der Namensaufl¨osung, die es zur Verfugung¨ stellt, abh¨angen. Das DNS besteht aus drei Komponenten: dem Domain-Namensraum, den Nameservern und den Klienten, formal Resolver genannt. Wegen seiner kritischen Natur waren der Domain-Namensraum und die Nameserver jahrelang sehr attraktive Ziele fur¨ Angreifer, die versuchen, weit verbreiteten Schaden zuzufugen.¨ Um diesen Stand der Dinge zu uberwinden,¨ wurde große Aufmerk- samkeit auf die Verbesserung der Sicherheit sowie den Schutz des DNS gerichtet, und bedeutende Investitionen get¨atigt, um seinen durchgehenden, zuverl¨assigen und effizienten Betrieb sicherzustellen. In Verbindung mit einer bemerkenswerten Verschiebung in der Motivation und im Profil der Angreifer hat dies in den letzten Jahren zu einer betr¨achtlichen Anderung¨ in der Internet-Angriffslandschaft gefuhrt.¨ Die Angriffe wurden schrittweise verfeinert und fokussiert, und finanzieller Gewinn hat sich zur ihrer treibenden Hauptkraft entwickelt. In dieser neuen Ara¨ haben die Angreifer festgestellt, dass der Missbrauch der Nameserver oder die Ausnutzung des Namensaufl¨osungdienstes gr¨oßeren wirtschaftlichen Schaden verspricht, als direkte Angriffe auf die DNS-Komponenten oder das St¨oren des Namensaufl¨osungdienstes. Als direkte Konsequenz hat heutzutage die uberwiegende¨ Mehr- heit von Internet-Angriffen einen sichtbaren Effekt auf den DNS-Verkehr, der das Internet durchquert, auf den Betrieb der Nameserver, oder in einigen F¨allen auf beides. In dieser Studie wird demonstriert, dass diese Beobachtung eine neue und sehr viel versprechende Perspektive bietet, um viele Internet-Angriffe effektiv zu erkennen und abzuschw¨achen. Um den Wert dieser Perspektive zu demonstrieren, behandelt die vorliegende Studie die Erkennung und Abschw¨achung von Internet-Wurmern,¨ die zusammen mit Bot-Software die zwei Hauptbedrohungen fur¨ die Netzwerk-Betreiber und Endbenutzer im Internet sind. Der Fokus liegt besonders auf Email-Wurmern,¨ die ein sehr popul¨ares Mittel sind, damit Angreifer ihre Zwecke erreichen, und deshalb die uberwiegende¨ Auspr¨agung der Internet-Wurmer¨ und Schadprogramme im Allgemeinen gewesen sind und bleiben. Diese Zwecke umfassen die Installation von Bot-Software, entworfen um unaufgefordert Emails zu verteilen und gezielte verteilte Leistungsverweigerungsangriff zu starten, den Diebstahl von privaten Informationen und das Zerst¨oren von sensitiven Daten. In dieser Arbeit wird eine Methode fur¨ die Erkennung von Benutzermaschinen, die mit Email-Wurmern¨ angesteckt sind, auf dem lokalen Nameserver vorgestellt. Die Methode benutzt Clustering und Ahnlichkeitssuche¨ uber¨ Zeitreihen, abgeleitet aus DNS-Anfragestr¨omen, die Benut- zermaschinen erzeugen. Es wird gezeigt, dass sie die Beschr¨ankungen der vorhandenen Methoden uberwindet,¨ bemerkenswerte Genauigkeit und eine unwesentliche Rate von Falsch-Positiv-Meldungen erreicht und langfristig wirkungsvoll sein kann. Zus¨atzlich wird eine Methode fur¨ die Eingrenzung von Email-Wurmern¨ eingefuhrt.¨ Die Methode benutzt einen Verkehrssteuerungsmechanismus, um die DNS-Antwortstr¨ome zu regulieren, die lokale Nameserver zu den Benutzermaschinen zuruckschicken¨ und dadurch die Rate, mit der infizierte Benutzermaschinen Email-Wurmer¨ weiter verbreiten. Es wird gezeigt, dass sie das Potenzial hat, Email-Wurmepidemien zu verlangsamen und zur Verringerung von ille- gitimem Email-und DNS-Verkehr, den angesteckte Benutzermaschinen ins Internet senden, zu beitragen, mit keinem bis minimalem Einfluss auf den legitimen Benutzerverkehr. vi vii Acknowledgements Working toward a PhD is a lonely and difficult task, yet one that cannot be successfully completed without the assistance of others. My own experience was no different, and there are some people to whom I owe a great debt of gratitude. First, I would like to express my profound and most sincere gratitude to my adviser, Professor Radu Popescu-Zeletin, for his time, guidance and for offering me the opportunity to carry out my PhD research work at the Fraunhofer Institute FOKUS as well as the freedom to pursue a research topic of my own interest. I am also very thankful to Professors Jean-Pierre Seifert and Dimitrios Serpanos for their critical review and valuable suggestions on earlier versions of this thesis. I owe my deepest thanks to Associate Professor Nevil Brownlee for believing in my ideas, accepting to co-author my papers and providing constructive feedback. During my time at the Fraunhofer Institute FOKUS, I have had the pleasure and privilege to closely interact with two great students, Enric Pujol and Silke Peters. I would like to thank them for all the stimulating discussions, invaluable input and their companionship, patience and understanding in the course of this work. My appreciation and respect go to three current and former colleagues at the Fraunhofer Institute FOKUS, Ranganai Chaparadza, Thomas Hirsch and Mikhail Smirnov. Without their invaluable advice, encouragement and support in various ways and times, it would have taken me much longer to complete this work. Finally, this work would never have been possible without the unconditional love and support of my friends and family. I am particularly indebted to Ilias, Enric, Angelos, Evgenia and last, but not least, to Eleni for always being there for me as a constant source of inspiration, motivation and strength over the past years. viii Contents I Introduction, Background and Motivation1 1 Introduction3 1.1 Research Objectives............................3