PERFORMANCE AND AVAILABILITY INPEER-TO-PEERCONTENTDISTRIBUTIONSYSTEMS: ACASEFORAMULTILATERALINCENTIVEAPPROACH Vom Fachbereich Elektrotechnik und Informationstechnik der Technischen Universität Darmstadt zur Erlangung des akademischen Grades eines Doktor-Ingenieurs (Dr.-Ing.) genehmigte Dissertation von dipl.-inform. sebastian kaune Geboren am 14. November 1979 in Darmstadt, Hessen Vorsitz: Prof. Dr.-Ing. Thomas Hartkopf Referent: Prof. Dr.-Ing. Ralf Steinmetz Korreferent: Prof. Dr.-Ing. Jörg Eberspächer Korreferent: Dr. Andreas Mauthe Tag der Einreichung: 25. November 2010 Tag der Disputation: 10. Februar 2011 Hochschulkennziffer D17 Darmstadt 2011 Dieses Dokument wird bereitgestellt von This document is provided by tuprints, E-Publishing-Service der Technischen Universität Darmstadt. http://tuprints.ulb.tu-darmstadt.de [email protected] Bitte zitieren Sie dieses Dokument als: Please cite this document as: URN: urn:nbn:de:tuda-tuprints-24924 URL: http://tuprints.ulb.tu-darmstadt.de/2492 Die Veröffentlichung steht unter folgender Creative Commons Lizenz: Namensnennung – Keine kommerzielle Nutzung – Keine Bearbeitung 3.0 Deutschland This publication is licensed under the following Creative Commons License: Attribution – Noncommercial – No Derivs 3.0 http://creativecommons.org/licenses/by-nc-nd/3.0/de/ http://creativecommons.org/licenses/by-nc-nd/3.0/ ABSTRACT The peer-to-peer paradigm offers the potential to address many of the challenges related to large-scale content distribution over the Internet (e.g., scalability, costs, etc.). However, currently, many approaches fail to offer the quality of service supported by over- provisioned client-server distribution systems such as RapidShare and YouTube. The reason for this is that peer-to-peer systems must operate under the constraints placed on them by contributing users. Consequently, selfish, strategic, or malicious users often lower the overall system utility. To address this, incentive mechanisms are employed to motivate such users to cooperate with the system (e.g., those that contribute more, receive more in return). Many users, however, observe that popular systems such as BitTorrent (employing tit-for-tat as incentive mechanism), are often ineffective at fulfilling a set of key content distribution requirements, namely performance and availability. The overarching goal of this thesis is therefore to extend existing incentive mechanisms to better fulfil these core requirements. At first, this thesis validates and quantifies these casual observations regarding peer-to-peer performance and content availability. To achieve this we carry out two major measurement studies in the BitTorrent system, the current de-facto standard for peer-to-peer content distribution. To this end we identify widespread performance and availability problems that, through detailed analysis, are attributed to ineffective incentive design. In particular, we find that the current popular approach of ’tit-for-tat’ fails to incite sufficient cooperation amongst users to ensure high performance and content availability. Further analysis shows that this is caused by a lack of incentives for seeding (i.e., the process of remaining as a data source after one has downloaded the entire file). Based on these findings, we subsequently study a set of intuitive solutions to overcome what we call the seeder promotion problem. The purpose of this analysis is to narrow the solution space and to shape a more sophisticated incentive design. In order to achieve this, three abstract cross-torrent incentive approaches are detailed, as well as single-torrent incentive mechanisms. Each of these approaches are then quantitatively analysed through extensive trace-based simulations. These analysis further confirm our finding that bilateral incentive strategies (e.g., tit-for-tat) are insufficient at providing robust incentives for seeders. This is because most users (i) do not meet each other repeatedly and (ii) do not simultaneously require each other’s content. Instead, it is shown that the only way to overcome performance and availability issues is to use multilateral incentive strategies (i.e., to allow users to contribute to one user yet receive reciprocation from another). Finally, we design and evaluate a novel multilateral incentive mechanism, named FairSwarm.KOM. Unlike digital currency systems (in which contribution informa- tion is globally visible) or tit for-tat (where no propagation of credit points occurs), FairSwarm.KOM uses one-hop information of the overlay network to evaluate the cooperativeness of the peers. Through the use of extensive trace-based simulations, it is shown that FairSwarm.KOM improves the download performance of the popular BitTorrent system by more than 86%, while guaranteeing high levels of file availability (>99%). Most importantly, these two properties are achieved without harming the fairness of individual users and with an extremely low overhead. KURZFASSUNG Das Peer-to-Peer (P2P)-Kommunikations-Paradigma bietet neue Möglichkeiten für die Verteilung von digitalen Inhalten über das Internet. Peer-to-Peer bündelt die Ressourcen der Teilnehmer im System und setzt diese effizient ein, um eine Datei an eine große Anzahl von interessierten Nutzern zu verteilen. Damit sind P2P-Systeme inhärent selbst-skalierend: Je mehr Teilnehmer dem System beitreten, desto höher die Anzahl der verfügbaren Ressourcen und desto besser die Verteilungsgeschwindigkeit. Jedoch profitieren nicht nur die Nutzer von P2P-Technologie; die Anbieter digitaler Medien (Content-Provider) können gerade durch die Nutzung dieser Ressourcen ebenfalls Upload-Kosten durch den Quellserver einsparen. Trotz dieser beachtlichen Vorteile gegenüber traditionellen Client/Server-Ansätzen können bestehende P2P-Inhaltsverteilsysteme, wie zum Beispiel das populäre BitTor- rent-System, bezüglich der Downloadgeschwindigkeit und der Langzeitverfügbarkeit von Inhalten oftmals nicht mit ressourcenstarken Client/Server-Farmen wie Rapid- Share oder YouTube konkurrieren. Dies ist insbesondere darauf zurückzuführen, dass die Leistungsfähigkeit eines Peer-to-Peer-Systems einzig und allein auf der Kooperati- onsbereitschaft der teilnehmenden Nutzer beruht. Jedoch neigen gerade die Endnutzer dazu, ihre Ressourcenbereitstellung bis auf ein Minimum zu reduzieren, solange kein Anreiz zur Kooperation besteht. Angesichts dieses Dilemma und der häufig zu beo- bachtenden Effizienzprobleme von P2P-Inhaltsverteilsystemen, ist daher zu vermuten, dass existierende Anreizmechanismen zur Erhöhung von Kooperation, wie z. B. der vorwiegend eingesetzte „Tit-for-Tat“-Mechanismus in BitTorrent, ihre Rolle gänzlich verfehlen. Genau an diesem Punkt setzt die vorliegende Dissertation an; dem Entwurf und der Konzeptionierung eines neuartigen Anreizmechanismus zur Förderung von nachhaltiger Kooperation, der sowohl höhere Downloadgeschwindigkeiten erzielen soll, als auch die Langzeitverfügbarkeit von Inhalten in P2P-Systemen verbessert. Um die Korrektheit der oben genannten Schlussfolgerungen wissenschaftlich zu untermauern, beschäftigt sich diese Arbeit zunächst mit der Validierung, Quantifi- zierung und Ursachenanalyse bestehender Effizienzprobleme in P2P-Inhaltsverteil- systemen. In diesem Kontext werden zwei Messstudien im populären BitTorrent- System durchgeführt, das den gegenwärtigen de-facto-Standard für moderne P2P- Inhaltsverteilung repräsentiert. Hierbei wird gezeigt, dass P2P-Systeme sowohl von gravierenden Geschwindigkeits- als auch Verfügbarkeitsproblemen betroffen sind. Durch die Messdatenanalyse kann des Weiteren belegt werden, dass diese Effizienzpro- bleme auf falsch gesetzte Anreize zur Kooperation zurückzuführen sind. Genauer betrachtet schafft es der Tit-for-Tat-Mechanismus nicht, Nutzern Anreize zur Koope- ration zu geben, wenn diese ihren Dateidownload beendet haben. Jedoch sind genau diese Datenquellen, die so genannten „Seeder“, ausschlaggebend für die Downloadge- schwindigkeit und Verfügbarkeit von Inhalten in P2P-Systemen. Basierend auf diesen Erkenntnissen wird anschließend eine eingehende Analyse von möglichen Lösungsansätzen zur Schaffung von Anreizen für Seeder durchgeführt. In Folge dessen wird der mögliche Lösungsraum weiter eingegrenzt und es können grund- legende Lösungsanforderungen ermittelt werden. In diesem Zusammenhang werden sowohl drei „Torrent“-übergreifende Lösungsansätze als auch „Single-Torrent“-basierte Ansätze durch messdatengestützte Simulationen quantitativ untersucht. Hierbei be- stätigt sich, dass bilaterale Anreizstrategien (wie z. B. Tit-for-Tat) gänzlich ungeeignet sind, um nachhaltige Kooperationen in P2P-Systemen zu fördern. Dies ist dadurch begründet, dass Nutzer sich oftmals nur einmal im P2P-System begegnen und keine Tauschgrundlage bezüglich bereits heruntergeladener Inhalte besitzen. Stattdessen kann aufgezeigt werden, dass ausschließlich multilaterale Anreizmechanismen das Potenzial aufweisen, langanhaltende Anreize für Seeder zu schaffen, und somit der Schlüssel zur Lösung der oben beschriebenen Effizienzprobleme sind. Mithilfe eines multilateralen Anreizmechanismus kann ein Nutzer beispielsweise Daten zu einem beliebigen Teilnehmer im System transferieren, um diese Kooperation dann von einem beliebigen Dritten (zu einem späteren Zeitpunkt) zurückzufordern. Anhand der ermittelten Anforderungen für eine konkrete Lösung beschäftigt sich der letzte Teil dieser Arbeit mit dem Entwurf und der Konzeptionierung eines neuartigen Anreizmechanismus namens „FairSwarm.KOM“. Im Gegensatz zu bestehenden Tit-for- Tat-Mechanismen,