MONITORINGANDMANAGEMENTOFPEER-TO-PEERSYSTEMS Vom Fachbereich Elektrotechnik und Informationstechnik der Technischen Universität Darmstadt zur Erlangung des Grades eines Doktor-Ingenieurs (Dr.-Ing.) genehmigte dissertationsschrift von dipl.-math., dipl.-inform. kálmán györgy graffi Geboren am 18. Juni 1982 in Neumarkt, Rumänien Erstreferent: Prof. Dr.-Ing. Ralf Steinmetz Korreferent: Prof. Carmen Guerrero López, Ph.D. Tag der Einreichung: 26.05.2010 Tag der Disputation: 20.07.2010 Darmstadt, 2010 Hochschulkennziffer D17 Szüleimnek és családomnak, akik mindent lehetövé tettek, for myself, for going this path between the sun and the ice, und für eine glückliche Zukunft mit der Frau, die ich liebe. ABSTRACT The peer-to-peer paradigm has had large success in content distribution and multimedia communication applications on the Internet. In a peer-to-peer network, the participating nodes create an infrastructure to provide a desired functionality and offer their resources to host an application in a distributed manner. Besides the functional requirements of an application, the non-functional requirements to achieve a high service quality are also an important part of successful peer-to-peer networks and a major challenge is to meet these requirements in networks with unreliable nodes. In contrast to traditional centralized approaches where the quality can be measured and controlled, in a distributed environment it is challenging both to capture the status and performance of the whole distributed system in one point of time and to control its general behavior. In this dissertation, we focus on the monitoring and management of peer-to-peer systems. We systematically engineer SkyEye.KOM, a fully decentralized monitoring mechanism that provides both a precise status snapshot of the peer-to-peer system and enables queries for peer capacities, such as bandwidth or storage capacities, in a large-scale peer-to-peer system. It considers individual load limits of the peers and ensures that no peer is overloaded. The core tree topology of SkyEye.KOM is established and maintained solely with protocol-relevant messages. It is based on local peer identifier calculations and using the underlying peer-to-peer overlay. As a second step, we focus on the management of peer-to-peer systems and introduce P3R3O.KOM and SkyNet.KOM, two solutions to manage both the reservation of available capacities in the peer-to- peer system and the system behavior in a fully decentralized and efficient manner. P3R3O.KOM is a peer-to-peer protocol for reliable long-term resource reservation that overcomes the limitations of traditional peer-to-peer services, which typically are host only by single peers and cease once the service providing peer fails. Resource reservations are fulfilled with adjustable guarantees (even 100%) in the presence of strong churn through the automated and fully decentralized management of the resource provision redundancy. With SkyNet.KOM, we present a fully decentralized approach for automated management of peer-to- peer systems following the principles of autonomic computing. It allows the user or system provider to set service quality goals for the peer-to-peer system, which are automatically verified by the monitoring solution SkyEye.KOM and analyzed, aligned and enforced by the other components of SkyNet.KOM. Preset quality goals for the peer-to-peer system are reached and held through automated systematic re-configuration of the individual components of the peer-to-peer system. At the end, we present LifeSocial.KOM, a peer-to-peer-based platform for online social networks that incorporates the proposed monitoring mechanism to show the feasibility and application scope of the monitoring and management solutions. v ZUSAMMENFASSUNG Das Peer-to-Peer-Paradigma findet breite Verwendung in der Verteilung von Daten und Dokumenten sowie direkter Multimedia-Kommunikation im Internet. In einem Peer-to-Peer-Netzwerk erschaffen die beteiligten Netzwerkknoten unter Einsatz ihrer Ressourcen eine Infrastruktur, die eine gewünschte Funktionalität oder Anwendung völlig dezentral anbietet und betreibt. Neben der Erfüllung der funktionalen Anforderungen an eine Internet-Anwendung ist die Erfüllung der nicht-funktionalen Anforderungen, wie die erbrachte Dienstgüte, eine große Herausforderung in hochskalierenden Peer- to-Peer Netzwerken, die aus unzuverlässigen Einzelknoten bestehen. Im Gegensatz zu zentralisierten Ansätzen mit einem überwach- und anpassbaren zentralen Anbieter ist es in einer verteilten Umgebung schwierig eine globalen Sicht auf den Zustand eines Peer-to-Peer-Systems, sowie die Anpassung der Dienstgüte eines Peer-to-Peer-Systems zu bieten, da es keinen direkten Ansatzpunkt gibt. Die Disser- tation widmet sich dieser Fragestellung und fokussiert auf die Qualitäts- und Kapazitätenüberwachung sowie die Dienstgüte-Verwaltung von Peer-to-Peer-Systemen. In der Dissertation wird SkyEye.KOM systematisch entwickelt und erforscht, ein völlig dezentraler Monitoringmechanismus, der auf bestehende Peer-to-Peer-Overlays aufsetzt und sowohl eine globale Sicht auf den Status des Peer-to-Peer-Systems, als auch die Funktion bietet, gezielt nach freien Kapazi- täten im hoch-skalierenden Peer-to-Peer-Netzwerk zu suchen. Der Ansatz ist robust bei dynamischer Knotenanzahl im Netzwerk als auch präzise und leichtgewichtig im Betrieb. Mit P3R3O.KOM und mit SkyNet.KOM werden zwei Mechanismen zur Dienstgüte-Verwaltung von Peer-to-Peer-Systemen vorgeschlagen, die es unter der Nutzung von SkyEye.KOM erlauben, sowohl die Kapazitäten im Peer-to-Peer-System vollständig und für langfristige Dienste zu nutzen, als auch die erbrachte Gesamt-Dienstgüte des Peer-to-Peer-Systems zu überwachen und zu steuern. P3R3O.KOM ist ein Peer-to-Peer-Mechanismus für verlässliche Ressourcen-Reservierung, der die Einschränkung in der Ressourcennutzung, die durch die begrenzte Lebenszeit der Peers gegeben ist, aufhebt. Mit P3R3O.KOM werden Ressourcenreservierungen durch eine kontrollierte und völlig dezentrale Anpas- sung der Redundanz der Ressourcenallokation mit einer einstellbaren Garantie bis zu 100% verlässlich erfüllt. Die Verwaltung oder das Management von Peer-to-Peer-Systemen zielt auf die Steuerung des Verhaltens des Peer-to-Peer-Systems ab, das durch verschiedene Performanz- und Kostenmetriken bestimmt wird. In der Dissertation wird der Bedarf in Peer-to-Peer-Systemen nach automatisierter Qualitätssteuerung unter Anwendung der Prinzipien des Autonomic-Computing-Ansatzes untersucht und motiviert. Für die völlig dezentrale Steuerung der Dienstgüte von Peer-to-Peer-Systemen wird mit SkyNet.KOM ein Rahmenwerk vorgestellt, der es Nutzern und System-Anbietern ermöglicht verbindliche Qualitätsziele für das System zu definieren. Diese werden dann im Peer-to-Peer-System kontinuierlich durch SkyEye.KOM überwacht und anschließend analysiert. Bei einem Verfehlen der Dienstgüteziele wird automatisiert eine optimierte Rekonfiguration des gesamten Systems initiiert. Vorgegebene Dienst- güteziele in Form von validen Metrikintervallen werden von dem Peer-to-Peer-System automatisch erreicht und gehalten. Um die Umsetzbarkeit und das Anwendungsfeld der Monitoring- und Management-Mechanismen zu demonstrieren, wird in dieser Dissertation das Fallbeispiel der digitalen sozialen Netzwerke untersucht und mit LifeSocial.KOM eine Plattform für Peer-to-Peer-Anwendungen im Allgemeinen und digitale soziale Netzwerke im Speziellen entwickelt, die sowohl auf die vielfältigen Anforderungen an die Peer-to-Peer-Plattform eingeht als auch eine breite Basis an Grundfunktionalität für digitale soziale Netzwerke in Form von Plugins bietet. Die Monitoring-Lösung SkyEye.KOM ist integriert und ermöglicht eine detaillierte Sicht auf die Funktionsweise und Qualität der dezentralen LifeSocial.KOM-Plattform im laufenden Betrieb. vi Time - this is the one thing that not even a grateful person can give back. - Lucius Annaeus Seneca ACKNOWLEDGMENTS Die Fertigstellung der Promotion ist vergleichbar mit einem Marathonlauf, Ausdauer und Anstrengung sind verbunden mit einem Ziel, das bis zum Schluss in weiter Ferne scheint. Dankbar ist man im Ziel allen, die einen auf dem Weg begleitet haben, die Jahre mit Freude erfüllt haben und einem Möglichkeiten boten über sich hinauszuwachsen. Sehr herzlich möchte ich mich bei Ralf Steinmetz bedanken, der mit dem Multimedia Communications Lab, KOM, eine Umgebung geschaffen hat, die einem Möglichkeiten und Chancen in einer breiten Fülle bietet. I also thank my co-supervisor Carmen for the nice atmosphere and constructive discussions in Madrid on my thesis. Your feedback is most helpful and appreciated. Die Jahre in KOM wären nicht so angenehm gewesen ohne die freundliche Hilfe der vielen Kollegen. Zuallererst danke ich Gisela, Jan, Karola, Marion, Moni, Sabine, Sandra S. und Liselotte, für ihre Hilfe, ihren Einsatz und die gute Atmosphäre. Dem Admin-Team, Tomas, Frank, Silvia und Max, danke ich auch, dafür dass eine Infrastruktur bereitstand, die stets funktionierte und nur die üblichen Nachteile für Client/Server Lösungen aufzeigte. Mein Dank gilt auch besonders den Kolleginnen und Kollegen von KOM, mit denen die Zusamme- narbeit viel Freude bereitet und hochqualitative Ergebnisse entstehen lässt. Ganz besonders danken möchte ich André, Apostolos, Dieter, Doreen, Julian, Lasse, Markus, Matthias2, Michael, Nick, Nico, Parag, Philipp, Tomas, Robert, Sebastian, Stefan und Stephan. Der Peer-to-Peer Gruppe bin ich dankbar für die gute Zusammenarbeit, die guten wissenschaftlichen Ergebnisse und die