TECHNISCHE UNIVERSITÄT BERLIN FAKULTÄT FÜR ELEKTROTECHNIK UND INFORMATIK LEHRSTUHL FÜR INTELLIGENTE NETZE UND MANAGEMENT VERTEILTER SYSTEME Empirical Analysis of the Effects and the Mitigation of IPv4 Address Exhaustion vorgelegt von M.Sc. Philipp Richter geboren in Berlin von der Fakultät IV – Elektrotechnik und Informatik der Technischen Universität Berlin zur Erlangung des akademischen Grades DOKTOR DER NATURWISSENSCHAFTEN -DR. RER. NAT.- genehmigte Dissertation Promotionsausschuss: Vorsitzender: Prof. Dr.-Ing. Sebastian Möller, Technische Universität Berlin Gutachterin: Prof. Anja Feldmann, Ph.D., Technische Universität Berlin Gutachter: Prof. Vern Paxson, Ph.D., University of California, Berkeley Gutachter: Prof. Steve Uhlig, Ph.D., Queen Mary University of London Tag der wissenschaftlichen Aussprache: 2. August 2017 Berlin 2017 Abstract IP addresses are essential resources for communication over the Internet. In IP version 4, an address is represented by 32 bits in the IPv4 header; hence there is a finite pool of roughly 4B addresses available. The Internet now faces a fundamental resource scarcity problem: The exhaustion of the available IPv4 address space. In 2011, the Internet Assigned Numbers Authority (IANA) depleted its pool of available IPv4 addresses. IPv4 scarcity is now reality. In the subsequent years, IPv4 address scarcity has started to put substantial economic pressure on the networks that form the Internet. The pools of available IPv4 addresses are mostly depleted and today network operators have to find new ways to satisfy their ongoing demand for IPv4 addresses. Mitigating IPv4 scarcity is not optional, but mandatory: Networks facing address shortage have to take action in order to be able to accommodate additional subscribers and customers. Thus, if not confronted, IPv4 scarcity has the potential to hinder further growth of the Internet. Addressing is a collective and global effort, and interconnectivity among networks forms the very basis of the Internet. At the same time, the decentralized nature of the Internet and independent decisions by its different stakeholders create a complex and opaque problem space. Different approaches to mitigating IPv4 address scarcity in the short and in the long term exist. The so- lution space includes increasing the utilization of already available IPv4 address resources, introducing IPv4 address multiplexing techniques, incrementally transitioning to IPv6 (but maintaining IPv4 com- patibility), or purchasing IPv4 address space on address markets. Individual network operators make independent decisions on which approach—or combination of approaches—to pursue. Each option has different ramifications, benefits, and consequences for the individual networks and their connected end users. At the same time, the increasing and disparate deployment of different mitigation techniques and the coexistence of two addressing protocols (IPv4 and IPv6) adds heterogeneity to the network and hence changes the overall connectivity and communication structure of the Internet. In spite of the pressing relevance of the topic, we lack a comprehensive understanding of IPv4 address exhaustion and its effects, as well as of the pervasiveness, impact, and ramifications of the different mitigation strategies. This dissertation provides a systematic empirical analysis of the phenomenon of IPv4 address space exhaustion, its effect on the Internet as a whole, and its stakeholders individually. We first provide an empirical lay-of-the-land of the history and the current status of the IPv4 address space and illuminate the interplay between policy and governance decisions and address use. We then develop techniques that allow us to measure the potential, the pervasiveness, and the ramifications of the individual mitigation strategies that network operators may choose to pursue. In particular, we measure global IPv4 address activity patterns, which allows us to both study exhaustion effects on address activity and to assess the potential for increasing the utilization of the IPv4 address space. We develop tools to detect Carrier- Grade NAT (CGN) presence on the Internet at scale, and identify dominant properties of deployed CGN instances and their respective impact. Lastly, we examine aspects of IPv6 adoption, where we measure inter-domain connectivity and traffic carried over IPv4 and IPv6, and interactions between IPv4 and IPv6 traffic in detail, allowing us to pinpoint barriers and challenges for IPv6 adoption. We strive to both illuminate the broader impact of address exhaustion on the Internet and its structure as well as to provide practical insights to support the ongoing process of mitigating address scarcity. Our results can serve as a basis for network operators and policymakers to make informed decisions on how to approach IPv4 address exhaustion. They may also inform future measurement studies and the design of operational systems, which need to adapt to this increasingly complex environment. i Zusammenfassung IP-Adressen stellen essentielle Ressourcen für die Kommunikation über das Internet dar. In Version 4 des IP-Protokolls sind 32 Bit für IP-Adressen reserviert, was in einer Maximalanzahl von etwa 4 Milliar- den verfügbaren Adressen resultiert. Das Internet ist nun mit einer fundamentalen Ressourcenknappheit konfrontiert: Der Erschöpfung des global verfügbaren IPv4-Adressraums. Im Jahr 2011 hat die Internet Assigned Numbers Authority (IANA) ihre Adressreserven erschöpft. In den folgenden Jahren hat Adressknappheit zu substantiellem ökonomischen Druck auf die Netze des Internets geführt. Reserven verfügbarer IPv4-Adressen sind weitgehend erschöpft und Netzbetreiber müssen neue Methoden finden, um ihren fortlaufenden Adressbedarf zu decken. Mitigation von IPv4- Adressknappheit ist unumgänglich: Netzbetreiber müssen aktiv werden, um zusätzliche Kunden auf- nehmen zu können. Wird IPv4-Adressknappheit also nicht konfrontiert, kann sie potentiell das weitere Wachstum des Internets behindern. Adressierung ist ein kollektives und globales Unterfangen, gleich- zeitig führen jedoch die dezentrale Struktur des Internets und die unabhängigen Entscheidungen der unterschiedlichen Interessenvertreter zu einer komplexen und undurchsichtigen Problematik. Verschiedene Ansätze zur kurzfristigen und langfristigen Mitigation von IPv4-Adressknappheit ex- istieren. Die Optionen reichen von Effizienzsteigerung bereits vorhandener Adressblöcke, über Ein- führung von IPv4-Multiplexingtechnologien, inkrementeller Transition zu IPv6 (bei weitergehender IPv4-Kompatibilität), bis hin zum Erwerb zusätzlicher Adressblöcke auf Adressmärkten. Individuelle Netzbetreiber treffen unabhängige Entscheidungen bezüglich des präferierten Ansatzes, oder der Kom- bination von Ansätzen. Jede Option hat unterschiedliche Vor- und Nachteile und Konsequenzen für die individuellen Netze und deren Endnutzer. Gleichzeitig verstärkt die zunehmende und ungleichartige Anwendung unterschiedlicher Mitigationstechnologien die Heterogenität des Internets und verändert die Struktur des Internets. Ungeachtet der Relevanz der beschriebenen Thematik existieren erstaunlich wenig Erkenntnisse über IPv4-Adressknappheit und ihre Folgeeffekte, als auch über die Verbreitung und die Auswirkungen der unterschiedlichen Mitigationstechnologien. Diese Dissertation bietet eine systematische empirische Analyse des Phänomens der Adressknappheit des Internets. Hierbei werden sowohl Effekte auf das Internet generell, als auch auf seine individuellen Teilhaber analysiert. Zunächst analysieren wir die aktuelle und historische Situation und Entwicklung des IPv4-Adressraums und studieren das Zwischenspiel zwischen Adressvergabepraktiken und tatsäch- licher Adressverwendung. Im Folgenden entwickeln wir Technologien und Analysen, welche uns er- lauben, das Potential, die Verbreitung, und die Folgen individueller Mitigationsstrategien zu erörtern. Im Speziellen messen wir Aktivitätsmuster des globalen IPv4-Adressraums, um sowohl die Effekte der Adressknappheit zu erörtern, als auch das Potential für effizientere Adressnutzung aufzuzeigen. Wir entwickeln Methoden zur Detektierung von Carrier-Grade NAT (CGN) im Internet, und zeigen die Eigenschaften und Auswirkungen der identifizierten Instanzen auf. Schlussendlich analysieren wir einige Aspekte der IPv6 Adoption, wobei wir uns sowohl auf Inter-Domain Konnektivität und Daten- verkehr fokussieren, als auch auf die Interaktionen zwischen IPv4- und IPv6-Datenverkehr. Hier zeigen wir Barrieren und Herausforderungen im Zuge der Adoption von IPv6 auf. Diese Arbeit zielt darauf ab, sowohl den weitgehenden Effekt von Adressknappheit auf das Internet aufzuzeigen, als auch praktisch relevante Ergebnisse zu liefern, welche den fortlaufenden Prozess der Mitigation von IPv4-Adressknappheit unterstützen können. Unsere Ergebnisse können sowohl Netz- betreibern als auch Kontrollorganen helfen, informierte Entscheidungen bezüglich der Mitigation von IPv4-Adressknappheit zu treffen. Darüber hinaus geben wir Einblicke in die Eigenschaften des sich weiterentwickelnden Internets bei gleichzeitiger IPv4-Verknappung, was den Entwurf und die Entwick- lung zukünftiger Studien und operativer Systeme unterstützen kann. ii Acknowledgments The last years were certainly some of the most intense, fascinating, and demanding of my life. I had the chance to learn from some of the sharpest, most determined, and most supportive people I have ever met. I owe you my deepest gratitude. Anja Feldmann, thank you for your continuous support over all these years. I will