TECHNISCHE UNIVERSITÄT BERLIN FAKULTÄT FÜR ELEKTROTECHNIK UND INFORMATIK LEHRSTUHL FÜR INTELLIGENTE NETZE UND MANAGEMENT VERTEILTER SYSTEME Understanding Benefits of Different Vantage Points in Today’s Internet vorgelegt von Jan Böttger (M.Sc.) geb. in Berlin Fakultät IV – Elektrotechnik und Informatik der Technischen Universität Berlin zur Erlangung des akademischen Grades –DOKTOR DER INGENIEURWISSENSCHAFTEN (DR.-ING.) – genehmigte Dissertation Promotionsausschuss: Vorsitzender Prof. Dr. Axel Küpper, Technische Universität Berlin Gutachterin: Prof. Anja Feldmann, Ph.D., Technische Universität Berlin Gutachter: Dr. Walter Willinger, NIKSUN (USA) Gutachter: Prof. Dr. Odej Kao, Technische Universität Berlin Gutachter: Prof. Dr. Jean-Pierre Seifert, Technische Universität Berlin Tag der wissenschaftlichen Aussprache: 24.10.2016 Berlin 2017 Eidesstattliche Erklärung Ich versichere an Eides statt, dass ich diese Dissertation selbständig verfasst und nur die angegebe- nen Quellen und Hilfsmittel verwendet habe. Datum Jan Böttger (M.Sc.) 3 Abstract Measuring the Internet is indispensable to a better understanding of its current state and trends, but obtaining measurements is difficult both qualitatively and quantitatively. The challenges of “Internet Measurement” are manifold due to the nature of the beast, namely its complexity, dis- tribution, and constant change. The Internet grows continuously and since it consists of many interdependent autonomous systems, there is no ground truth regarding how it looks – not even retrospectively. Nonetheless, we rely on a fundamental understanding of its state and dynamics to approach a solution. Since it is impractical to understand such complex systems at once – research on complex systems is older than the Internet itself – in this study we focus on a better under- standing of the key players on the Internet by measuring Internet service providers (ISPs), Internet exchange points (IXPs), and systems running the Internet, such as routing, packet exchange, and the Domain Name System (DNS). We describe our methodology of passively measuring large amounts of network traffic data at dif- ferent vantage points, and discuss the challenges, solutions, and best practices that we experienced in the course of our work. Our measurements require an understanding of the vantage points in terms of their characteristics, the systems we measure, and the data we obtain. In the course of the work, we do not exclusively rely on passive data collection and its analysis. Instead, combin- ing our active and passive measurements helps us to improve the understanding of the data in the domain of Internet network operation. Our primary findings regard the role of IXPs in the current Internet ecosystem. We find that IXPs are understudied compared to their importance as hubs for exchanging Internet traffic, some of them handling traffic volumes comparable to major ISPs. We identify and describe different models of IXPs’ operation specific to marketplaces, namely Europe and North America. We make use of different kinds of publicly available data and proprietary data collection of Internet traffic to which we have been granted access. Our measurement results show that the Internet peering complexity is higher than anticipated in previous publications, and that IXPs are the key to this unexpected complexity. This highlights the importance of IXPs and the role they play in today’s Internet ecosystem. To further improve our understanding of global players’ operation in the Internet, we use a DNS protocol extension (EDNS0) to reveal the mapping of users to servers for one of the early adopters of this extension. The elegance of this particular measurement is in its ability to run a global crawl from a single vantage point without the need to access proprietary data or a significant amount of infrastructure. We find it useful to examine both dominant and emerging Internet components to gain a better understanding of how the Internet changes and how it is used. It is critical to measure the Internet’s driving forces, but this is a difficult task and comes with technical and legal restrictions. In order to make the best use of the data we have, it is possible and practical to combine measurement methods. As the Internet evolves constantly and rapidly, the quest to understand becomes more 5 challenging by the hour. However, even without access to private data it is possible to find exciting details regarding how this large system is operated. 6 Zusammenfassung Um den Zustand und die Entwicklung des Internets einzuschätzen, bedarf es Messungen, die er- hebliche Herausforderungen bezüglich Qualität und Quantität darstellen. Die Hauptproblematik liegt in den Komponenten, die das Internet erst erfolgreich machten: Komplexität, Verteilung, Wachstum und ständige Weiterentwicklung. Aufgrund seiner Partitionierung in unabhängige ko- operierende Autonome Systeme, ist es nicht möglich den Ist-Zustand dieses verteilten Systems zu irgendeinem Zeitpunkt festzustellen oder im Nachhinein zu rekonstruieren. Für eine sinnvolle Weiterentwicklung des Internets ist es jedoch unabdingbar, die treibenden Kräfte des Internets zu verstehen. Wir konzentrieren uns auf die großen Hauptakteure, Internet Service Provider (ISPs) und Internet Exchange Points (IXPs), sowie auf einige der Kerntechnologien des Internet, bei- spielsweise Routing, Paketvermittlung und DNS. Wir legen unsere Methodik der passiven Datengewinnung an verschiedenen strategischen Mess- punkten dar, arbeiten die wichtigsten Herausforderungen (und Lösungen) heraus und beschreiben unsere Verfahrensweisen. Die Arbeit erfordert ein exaktes Verständnis der Messpunkte, der ge- messenen Systeme, der Messsysteme und der Daten. Im Verlauf der Arbeit beschränken wir uns nicht ausschließlich auf passive Messungen, sondern kombinieren passive und aktive Messungen. Damit gewinnen wir ein besseres Verständnis über Funktion, Prozesse und Betrieb des Internets. Die Hauptergebnisse liegen in den Erkenntnissen über Internet Exchange Points, die, gemessen an ihrer Bedeutung und Funktion im Internet, bislang nicht ausreichend erforscht wurden. Einige der großen IXPs bewegen täglich Datenvolumen, die denen der großen Internet Service Provider entsprechen. Wir stellen die verschiedenen Betriebsarten von IXPs heraus, die sich geografisch stark unterscheiden – namentlich in Europa und Nordamerika. Für die Erkenntnisse nutzen wir einerseits öffentlich zugängliche Daten und andererseits eigene Messungen, die uns im Rahmen von Forschungskooperationen möglich gemacht wurden und die selbst nicht-öffentlich sind. Die Ergebnisse zeigen, dass die Peering-Komplexität signifikant höher ist als bislang angenommen und dass IXPs dafür verantwortlich sind. Ebenso bedeutsam ist der Einblick in die Art und Weise wie Route-Server funktionieren und zu einer besseren Skalierbarkeit mit vielen Peering-Parteien beitragen. Diese Skalierbarkeit kommt jedoch auf Kosten von Sichtbarkeit. Um ein besseres Verständnis einiger Hauptakteure im Internet zu gewinnen, benutzen wir eine Erweiterung des DNS-Protokolls, EDNS0. Wir identifizieren die Zuordnung von Nutzer-IPs zu Servern für einen bestimmten Inhalteanbieter (Content Provider) auf globaler Ebene. Die Eleganz des Verfahrens liegt in der Zugänglichkeit der Information, deren Gewinnung keine proprietären Daten oder eine dedizierte Infrastruktur zur Messung voraussetzt. 7 Publications Pre-published Papers Parts of this thesis are based on the following peer-reviewed papers that have been published or have been accepted for publication already. The thesis includes the author’s versions of the work. It is posted here for your personal use. Not for redistribution. The definitive Version of Record was published in ACM conferences. International Conferences N. Chatzis, G. Smaragdakis, J. Böttger, T. Krenc, A. Feldmann, On the Benefits of Using a Large IXP as an Internet Vantage Point, Internet Measurement Conference 2013, Barcelona [65]. http://doi.org/10.1145/2504730.2504746 F. Streibelt, J. Böttger, G. Smaragdakis, N. Chatzis, A. Feldmann, Exploring EDNS-Client-Subnet Adopters in your Free Time, Internet Measurement Conference 2013, Barcelona [146]. http://doi.org/10.1145/2504730.2504767 P. Richter, G.Smaragdakis, N.Chatzis, J.Böttger, A. Feldmann, W. Willinger, Peering at Peerings: On the Role of IXP Route Servers, Internet Measurement Conference 2014, Vancouver [136]. http://doi.org/10.1145/2663716.2663757 9 Contents 1 Introduction 15 1.1 Challenges . 15 1.2 Internet Players and Network Topology . 17 1.3 Contributions . 20 1.4 Structure of this Thesis . 22 2 Background 25 2.1 Active and Passive Measurements . 25 2.2 Legal Implications . 28 2.3 Data Sources . 28 2.4 Supplementary Information . 30 2.5 Data Formats for Representation of Network Traffic . 31 2.6 EDNS-Client-Subnet DNS Extension . 32 2.6.1 EDNS Protocol Specification . 33 2.6.2 Challenges in Enabling ECS . 33 3 Vantage Points in the Internet 35 3.1 Overview and Facets of Vantage Points . 36 3.1.1 Internet Traffic and Communication Models . 37 3.1.2 Measurement Data . 44 3.2 Internet Exchange Points . 46 3.2.1 IXP 101 . 46 3.2.2 Under the Surface . 52 3.2.3 Surprised by the Obvious . 54 3.2.4 Non-profit Matches Profit . 55 3.2.5 Challenges and Opportunities . 56 3.3 Internet Service Providers . 58 3.3.1 Description . 58 3.3.2 Typical Services . 59 3.3.3 Information Availability . 61 3.3.4 Layout of an ISP Eye-ball Network . 62 3.3.5 Data . 62 3.3.6 Measurement Opportunities . 63 3.3.7 Challenges and Limitations . 64 3.3.8 Scope of the ISP Vantage