Julius-Maximilians-Universität Würzburg Institut für Informatik Lehrstuhl für Kommunikationsnetze Prof. Dr.-Ing. P. Tran-Gia Modeling Crowdsourcing Platforms - A Use-Case Driven Approach Mahias Johannes Wilhem Hirth Würzburger Beiträge zur Leistungsbewertung Verteilter Systeme Bericht 02/16 Würzburger Beiträge zur Leistungsbewertung Verteilter Systeme Herausgeber Prof. Dr. Ing. P. Tran-Gia Universität Würzburg Institut für Informatik Lehrstuhl für Kommunikationsnetze Am Hubland D-97074 Würzburg Tel.: +49-931-31-86630 Fax.: +49-931-31-86632 email: [email protected] Satz Reproduktionsfähige Vorlage vom Autor. Gesetzt in LATEX Linux Libertine 10pt. ISSN 1432-8801 Modeling Crowdsourcing Platforms - A Use-Case Driven Approach Dissertation zur Erlangung des naturwissenschaftlichen Doktorgrades der Julius–Maximilians–Universität Würzburg vorgelegt von Mahias Johannes Wilhem Hirth aus Würzburg Würzburg 2016 Eingereicht am: 20.05.2016 bei der Fakultät für Mathematik und Informatik 1. Gutachter: Prof. Dr.-Ing P. Tran-Gia 2. Gutachter: Prof. Dr.-Ing. Klaus Diepold Tag der mündlichen Prüfung: 09.08.2016 Danksagung In den vergangenen Jahren während denen diese Dissertation entstanden ist, habe ich Unterstützung von einer Vielzahl von Personen erhalten. Sie haben damit einen wesentlichen Teil dazu beigetragen, dass ich diese Arbeit erfolgreich abschließen konnte. Allen voran gilt mein Dank meinen Doktorvater und Betreuer Prof. Dr.-Ing. Phuoc Tran-Gia. Er hat mir die Change gegeben in einem noch relativ jun- gen Forschungsgebiet an der Schnittstelle zwischen Mensch und Technologie zu promovieren. Hierbei hat er mich stets ermuntert neue Blickwinkel, auch außerhalb des Fachbereichs der Informatik, zu betrachten und hat meine wis- senschaftliche Arbeit in gemeinsamen Diskussionen entscheidend mitgestaltet. Ferner ermöglichte mir Prof. Dr.-Ing. Phuoc Tran-Gia im Rahmen von zahlre- ichen Konferenzen, Fachvorträgen und Kooperationen den Austausch und die Zusammenarbeit mit in- und ausländischen Kollegen aus Wissenschaft und In- dustrie. Dieser Erfahrungsaustausch förderte die Entstehung einer Vielzahl von Ideen die in meine Dissertation mit eingeossen sind. Besonders bedanke ich mich auch für das von Prof. Dr.-Ing. Phuoc Tran-Gia entgegengebrachte Ver- trauen, dass ich eigenverantwortlich Projekte denieren und durchzuführen durfte. Dies ermöglichte mir mich in meiner Fachrichtung, als auch darüber hinaus weiterzubilden und wichtige Erfahrungen zu sammeln. Als einen stets besonders wichtigen Aspekt bei meiner Arbeit habe ich das Arbeitsumfeld gese- hen. Hier hat es Prof. Dr.-Ing. Phuoc Tran-Gia in besonderer Weise geschat ein positives Umfeld am Lehrstuhl zu schaen. Weiterhin bedanke ich mich bei Prof. Dr.-Ing. Klaus Diepold für die Zusam- menarbeit in den vergangenen Jahren, die angeregten Diskussionen in Dagstuhl i Danksagung und besonders dafür, dass er als Zweitgutacher zur Verfügung stand. Ferner möchte ich mich bei Prof. Dr. Birgit Lugin und Prof. Dr. Samuel Kounev be- danken, dass sie sich kurzfristig und trotz Urlaubszeit bereit erklärt haben, als Prüfer bei meiner Disputation zu fungieren. I also thank Nhatvi Nguyen for giving me the unique possibility to gain insights in the commercial aspects of crowdsourcing. He supported many of the research studies that led to this dissertation. Des Weiteren möchte ich mich bei Dr. Christoph Rensing, Steen Schnitzer, Prof. Dr. Wehnes und Peter Karg für die langjährige gute Zusamme- narbeit in den gemeinsamen Forschungsprojekten bedanken. I am also grateful that I met Deniz Iren during my research activities. His dedication to research was and is always an inspiration. Diese Arbeit wäre auch ohne die gute Atmosphäre zwischen meinen ak- tuellen und ehemaligen die Kolleginnen und Kollegen Kathrin Borchert, Valentin Burger, Lam Dinh-Xuan, Dr. Michael Duelli, Steen Gebert, Ste- fen Geißler, Nicholas Gray, Dr. Matthias Hartmann, Dr. Henjes, Dr. David Hock, Prof. Dr. Tobias Hoßfeld, Dr. Michael Jarschel, Dr. Dominik Klein, Dr. Frank Lehrieder, Stanislav Lange, Prof. Dr. Michael Menth, Christopher Metter, Anh-Ngoc Nguyen, Dr. Simon Oechsner, Dr. Rastin Pries, Dr. Daniel Schlosser, Dr. Christian Schwartz, Michael Seufert, Prof. Dr. Barbara Staehle, Prof. Dr. Dirk Staehle, Dr. Florian Wamser und Dr. Thomas Zinner nicht in dieser Form möglich gewesen. fand man immer ein oenes Ohr, sowohl bei fach- lichen Fragen oder schlicht wenn die Technik einmal gestreikt hat. Besonders möchte ich hier Prof. Dr. Hoßfeld nennen, der mir jahrelang als Gruppenleiter mit Rat und Tat zur Seite stand und der meine bisherige wissenschaftliche Arbeit stark geprägt hat. Ebenso möchte ich hier Prof. Dr. Barbara Staehle erwähnen. Sie hat mich als Betreuerin meiner Diplomarbeit zu Beginn meiner Tätigkeit am Lehrstuhl fachlich geleitet und gab mir nun wertvolle Kommentare bei der Anfertigung der Dissertation. Ein weiterer zentraler Anlaufpunkt in fachlichen Fragen und Diskussionen ist in den letzten Jahren Dr. Thomas Zinner für mich geworden, wofür ich mich bedanken möchte. ii Danksagung Der guten Atmosphäre am Lehrstuhl ist es auch zu verdanken, dass die gemeinsamen Aktivitäten oft nicht mit dem Arbeitstag endeten. So fanden sich immer wieder Gelegenheiten für gemeinsame Programmierprojekte mit Dr. Christian Schwartz, oder Abenteuer in digitalen Welten mit Valentin Burger, Dr. Michael Jarschel und Dr. Christian Schwartz. Ebenso kamen auch sportliche Aktivitäten wie etwa gemeinsames Klettern mit Valentin Burger, Dr. Matthias Hartmann, Stanislav Lange, Dr. Frank Lehrieder und Prof. Dr. Barbara, sowie Sparring beim Judo Training mit Prof. Dr. Michael Menth und Dr. Daniel Schlosser oft nicht zu kurz. Nicht unerwähnt bleiben sollen hier natürlich auch die Skiausüge und die vielen gemeinsamen Abende mit all den anderen Lehrstuhlmitgliedern. Vielen Dank für die vielen schönen Stunden. Weiterhin bedanke ich mich bei unserer Sekretärin Alison Wichmann für die unentwegte Unterstützung in Verwaltungsangelegenheiten und bei der Hi- wiverwaltung. Ein Dankeschön gebührt natürlich auch den damaligen Stu- dentinnen und Studenten Philipp Amrehn, Armin Beutel, Kathrin Borchert, Nicholas Kuhn, Veronika Lesch, Stephan Oberste-Vorth, Anh-Ngoc Phung, Johann Scherer, Sven Scheuring, Martin Scholz, Michael Seufert, Susanna Schwarzmann die in den vergangenen Jahren bei mir ihrer Abschlussarbeit angefertigt haben, sowie allen Hiwis die mich unter Anderem bei der Projek- tarbeit und der Lehre unterstützt haben. Schließlich möchte ich mich ganz besonders bei meinen Freunden und Fam- ilie bedanken. Allen voran meinen Eltern Gisela und Werner Hirth. Sie haben mir während der Schule-, Universitäts- und Promotionszeit alle nur erdenkliche Unterstützung geboten die notwendig war diese erfolgreich abzuschließen. Ab- schließend möchte ich mich bei meiner Partnerin Franziska Winkler bedanken. Obwohl sie mich in den vergangenen Jahren oft auch abends und an Wochenen- den mit meiner Arbeit hat teilen müusste, bestärke sie mich doch stets in meinen Zielen und gab mir den notwendigen Rückhalt. iii Contents 1 Introduction 1 1.1 Scientic Contribution . 3 1.2 Outline . 5 2 Crowdsourcing Platforms: Background and Challenges 7 2.1 Crowdsourcing and the Granularity of Work . 8 2.1.1 Evolution of Work Organization . 8 2.1.2 The Crowdsourcing Scheme . 11 2.1.3 Categorization of Crowdsourcing Tasks . 12 2.1.4 Categorization of Crowdsourcing Platform Types . 14 2.2 Crowdsourcing and its Potential Impact on Future Internet Usage 17 2.2.1 Implications of Crowdsourcing on Internet Trac . 18 2.2.2 Connecting Human and Machine Clouds . 20 2.3 Challenges for Current Crowdsourcing Systems . 23 3 Modeling and Analysis of Crowdsourcing Platforms 27 3.1 Crowdsourcing Platforms Demographics and Usage . 28 3.1.1 Demographic Background of Crowdsourcing Users . 30 3.1.2 Tasks Statistics in Crowdsourcing Platforms . 35 3.1.3 Inuence of Individual Employers and Workers . 35 3.1.4 Actor-Centric Analyses . 39 3.2 Modeling Crowdsourcing Platforms . 45 3.2.1 Population Growth . 46 3.2.2 Platform Dynamics . 52 3.3 Lessons Learned . 59 v Contents 4 Optimizing Result ality in Crowdsourcing Systems 63 4.1 Task Interaction Monitoring for Assessing Worker Quality . 64 4.1.1 Language Qualication Test as Exemplary Use Case . 66 4.1.2 Application Layer Monitoring in Crowdsourcing Tasks 69 4.1.3 Evaluation of Application Layer Measurements . 72 4.1.4 Predicting Task Result Quality . 79 4.2 Accuracy and Costs of Group-based Validation Mechanisms . 81 4.2.1 Modeling Group-based Quality Assurance Mechanisms 82 4.2.2 Evaluation of the MD and the CG Approach . 85 4.2.3 Cost Model for the MD and CG approach . 91 4.2.4 Identication of Optimal Validation Mechanisms . 98 4.3 Lessons Learned . 106 5 Use-Cases of Crowdsourcing 111 5.1 Crowdsourcing-Based Network Measurements . 112 5.1.1 Existing Network Measurement Techniques . 113 5.1.2 Crowdsourcing-Based Network Measurements . 115 5.1.3 Comparison of Existing and Crowdsourcing-Based Net- work Measurement Techniques . 119 5.1.4 Exemplary Use-Cases for Crowdsourcing-Based Net- work Measurements . 126 5.1.5 Best Practices for Crowdsourcing-Based Network Mea- surements . 130 5.2 Crowdsourcing Based Quality of Experience Tests . 135 5.2.1 Background on Quality of Experience and Video Quality Assessment . 137 5.2.2 Key Issues in QoE Crowdtesting . 140 5.2.3 Implementation and Design of QoE Crowdtesting Cam- paigns . 147 5.2.4 Statistical Analysis of Test Results . 152 5.2.5 Best Practices for QoE Crowdtesting . 161 vi Contents 5.3 Lessons Learned . 164