Structures et algorithmes pour la coopération pair à pair 024 E 2008 Des réseaux de type pair-à-pair «overlay» sont des systèmes distribués sans aucune organisation hiérarchique ni contrôle centralisé. Les pairs forment un réseau overlay au dessus de l’Internet. Les deux parties de cette thèse traitent les réseaux pair-à-pair overlay. La première partie utilise un réseau non structuré afin de construire un environnement virtuel partagé à grande échelle. Nous présentons une étude complète d’un overlay basé sur la triangulation de Delaunay. Avant tout nous décrivons les algorithmes auto-organisant pour l’insertion et la suppression Thèse d’un pair. Afin de réduire la pénalité de latence introduite par le routage dans l’overlay, nous proposons d’augmenter chaque nœud par quelques liens raccourcis qui créent un petit monde. Nous montrons que très peu de liens sont suffisants pour réduire la latence de présentée pour obtenir le grade de docteur manière significative. La deuxième partie de cette thèse donne des aperçus du comportement des utilisateurs de l’École Nationale Supérieure des Télécommunications et d’un réseau pair-à-pair structuré dans le monde réel. Nous détaillons le fonctionnement de KAD, une table de hachage distribuée basé sur de l’Université de Mannheim Kademlia, un système de partage de fichier avec plusieurs millions d’utilisateurs simultanés. Nous avons exploré le réseau de KAD pendant plus d’une année. C’est ainsi que nous avons obtenu des informations sur la distribution géographique, les temps de sessions, la Spécialité : INFORMATIQUE et RESEAUX disponibilité et le temps de vie des pairs. Nous sommes fascinés et effrayés par les possibilités que KAD offre. Le montage d’une attaque Sybil est très facile et permet de récu- Moritz STEINER Moritz STEINER pérer des données personnelles des utilisateurs, de compromettre le fonctionnement correct de la recherche dans KAD et de conduire une attaque DDOS. Moritz STEINER Structures et algorithmes pour la coopération pair à pair Soutenue le 8 décembre 2008 devant le jury composé de : Isabelle Demeure Président Georg Carle Rapporteurs Spécialité : Informatique et Réseaux Réseaux et Informatique : Spécialité Pascal Felber Wolgang Effelsberg Examinateur Ernst Biersack Directeur de Thèse Felix Freiling Invité 2008 E 024 TELECOM ParisTech Thèsededoctorat Grande école de l’Institut TELECOM - membre fondateur de ParisTech 2008 ParisTech TELECOM-TELECOM © Institut 46, rue Barrault - 75634 Paris Cedex 13 - Tél. + 33 (0)1 45 81 77 77 - Fax + 33 (0) 1 45 89 79 06 - www.telecom-paristech.fr Structures and Algorithms for Peer-to-Peer Cooperation Inauguraldissertation zur Erlangung des akademischen Grades eines Doktors der Naturwissenschaften der Universität Mannheim Thèse présentée pour obtenir le grade de docteur de l´Ecole nationale supérieure des télécommunications Moritz Steiner Defense date: December, the 8th 2008 Directeurs de Thèse / Doktorväter: Professor Dr. Ernst Biersack, EURECOM Professor Dr. Wolfgang Effelsberg, Universität Mannheim Copyright c 2008 by Moritz Steiner ( [email protected] ). Typeset in LATEX. Abstract Peer-to-peer overlay networks are distributed systems, without any hierarchical or- ganization or centralized control. Peers form self-organizing overlay networks that are on top of the Internet. Both parts of this thesis deal with peer-to-peer overlay networks, the first part with unstructured ones used to build a large scale Networked Virtual Environment. The second part gives insights on how the users of a real life structured peer-to-peer net- work behave, and how well the proposed algorithms for publishing and retrieving data work. Moreover we analyze the security (holes) in such a system. Networked virtual environments (NVEs), also known as distributed virtual envi- ronments, are computer-generated, synthetic worlds that allow simultaneous inter- actions of multiple participants. Many efforts have been made to allow people to interact in realistic virtual environments, resulting in the recent boom of Massively Multiplayer Online Games. In the first part of the thesis, we present a complete study of an augmented Delaunay-based overlay for peer-to-peer shared virtual worlds. We design an over- lay network matching the Delaunay triangulation of the participating peers in a gen- eralized d-dimensional space. Especially, we describe the self-organizing algorithms for peer insertion and deletion. To reduce the delay penalty of overlay routing, we propose to augment each node of the Delaunay-based overlay with a limited number of carefully selected shortcut links creating a small-world. We show that a small number of shortcuts is sufficient to significantly decrease the delay of routing in the space. We present a distributed algorithm for the clustering of peers. The algorithm is dy- namic in the sense that whenever a peer joins or leaves the NVE, the clustering will be adapted if necessary by either splitting a cluster or merging clusters. The main idea of the algorithm is to classify links between adjacent peers into short intra- cluster and long inter-cluster links. In a structured system, the neighbor relationship between peers and data locations is strictly defined. Searching in such systems is therefore determined by the particular network architecture. Among the strictly structured systems, some implement a dis- tributed hash table (DHT) using different data structures. DHTs have been actively studied in the literature and many different proposals have been made on how to iv organize peers in a DHT. However, very few DHTs have been implemented in real systems and deployed on a large scale. One exception is KAD, a DHT based on Kademlia, which is part of eDonkey, a peer-to-peer file sharing system with several million simultaneous users. In the second part of this thesis we give a detailed background on KAD, the organi- zation of the peers, the search and the publish operations, and we describe our mea- surement methodology. We have been crawling KAD continuously for more than a year. We obtained information about geographical distribution of peers, session times, peer availability, and peer lifetime. We found that session times are Weibull distributed and show how this information can be exploited to make the publishing mechanism much more efficient. As we have been studying KAD over the course of the last two years we have been both, fascinated and frightened by the possibilities KAD offers. We show that mount- ing a Sybil attack is very easy in KAD and allows to compromise the privacy of KAD users, to compromise the correct operation of the key lookup and to mount distributed denial-of-service attacks with very little resources. Zusammenfassung Peer-to-peer Overlay Netwerke sind verteilte Systeme ohne jede hierarchische Or- ganisation oder zentrale Kontrolle. Die Teilnehmer bilden auf Anwendungsebene sich selbst organisierende Overlay-Netzwerke, die über das unterliegende Netz- werk, das Internet, paarweise miteinander Verbindungen aufbauen können. Beide Teile dieser Dissertation behandeln Peer-to-Peer Overlay-Netze. Der erste Teil beschäftigt sich mit unstrukturierten Overlays, die unter anderem benutzt wer- den können, um virtuelle Welten im großen Maßstab aufzubauen. Der zweite Teil gewährt Einblicke darüber, wie sich die Benutzer eines real existierenden strukturi- erten Peer-to-Peer Netzwerkes verhalten und wie gut die vorgeschlagenen Algorith- men für die Publikation und Suche von Daten funktionieren. Darüber hinaus wird die Sicherheit eines solchen Systems analysiert. Networked virtual environments, auch bekannt als verteilte virtuelle Umgebungen, sind Computer-generierte synthetische Welten, die es mehreren Teilnehmern er- möglichen, gleichzeitig zu agieren. Es wurden viele Anstrengungen unternommen, um Nutzern die Interaktion in möglichst realistischen virtuellen Umgebungen zu er- möglichen. Dadurch wurde der Boom von Massively Multiplayer Online Games in den letzten Jahren erst ermöglicht. Im ersten Teil dieser Dissertation stellen wir eine komplette Studie eines Delaunay- basierten Peer-to-Peer Overlays für verteilte virtuelle Welten vor. Wir entwerfen ein Overlay-Netz, das mit der Delaunay-Triangulierung der teilnehmenden Peers in einem d-dimensionalem Raum übereinstimmt. Vor allem beschreiben wir die sich selbst organisierenden Algorithmen für das Einfügen und Entfernen eines Peers. Um die erhöhte Laufzeit, die durch das Routing im Overlay entsteht, zu re- duzieren, schlagen wir vor, jeden Knoten im Delaunay-basierten Overlay mit einigen sorgfältig ausgewählten Abkürzungen anzureichern, so dass eine sogenannte small- world entsteht. Anschließend zeigen wir, dass eine kleine Anzahl von Abkürzun- gen ausreichend ist, um die Laufzeit einer Nachricht im Overlay signifikant zu re- duzieren. Wir präsentieren einen verteilten Algorithmus zum Clustern von Peers. Der Al- gorithmus ist adaptativ in dem Sinne, dass jedesmal, wenn ein Peer dem NVE beitritt oder es verlässt, das Clustering wenn nötig angepasst wird, indem ein Clus- ter aufgeteilt wird oder Cluster zusammengeschlossen werden. Die zentrale Idee vi des Algorithmus ist es, die Verbindungen zwischen benachbarten Peers in kurze intra-cluster- und lange inter-cluster-Verbindungen aufzuteilen. In einem strukturierten Peer-to-Peer System ist die Nachbarschaftsbeziehung zwi- schen Peers sowie der Ort für die Datenspeicherung strikt festgelegt. Die Suche in einem solchen System ist daher durch die spezielle Netzwerkarchitektur be- stimmt. Unter den strukturierten Systemen implementieren