Dissertation
Total Page：16
File Type：pdf, Size：1020Kb
DISSERTATION zur Erlangung des akademischen Grades Doktor der Naturwissenschaften (Dr. rer. nat.) Experimental Study and Modeling of Three Classes of Collective Problem-Solving Methods vorgelegt von Kyanoush Seyed Yahosseini, M.Sc. am Fachbereich Erziehungswissenschaft und Psychologie der Freien Universität Berlin. Berlin, 2019 Erstgutachter: Prof. Dr. Ralph Hertwig Zweitgutachter: Prof. Dr. Felix Blankenburg Datum der Disputation: 27.04.2020 Summary People working together can be very successful problem-solvers. Many real-life exam- ples, from Wikipedia to citizen science projects, show that, under the right conditions, crowds can find remarkable solutions to complex problems. Yet, joining the capabilities of many people can be challenging. What factors make some groups more successful than others? How does the nature of the problem and the structure of the environment influ- ence the group’s performance? To answer these questions, I consider problem-solving as a search process – a situation in which individuals are searching for a good solution. I describe and compare three different methods for structuring groups: (1) non-interacting groups, where individuals search independently without exchanging any information, (2) social groups, where individuals freely exchange information during their search, and (3) solution-influenced groups, where individuals repeatedly contribute to a shared collective solution. First, I introduce the idea of transmission chains – a specific type of solution-influenced group where individuals tackle the problem one after another, each one starting from the solution of its predecessor. I apply this method to binary choice problems and compare it to majority voting rules in non-interacting groups. The results show that transmission chains are superior in environments where individual accuracy is low and confidence is a reliable indicator of performance. This type of environment, however, is rarely observed in two experimental datasets. Then, I evaluate the performance of transmission chains for problems that have a com- plex structure, such as multidimensional optimization tasks. Again, I use non-interacting groups as a comparison, this time by selecting the best out of multiple independent solutions. Simulations and experimental data show that transmission chains outperform independent groups under two environmental conditions: either when problems are rather easy, or when group members are relatively unskilled. Next, I focus on social groups, where individuals influence each other during the search. To understand the social dynamics that operate in such groups, I conduct two studies: I first examine how people search for a solution independently from others, and then study how this individual process is impacted by social influence. The first study presents experimental data to show that the individual search behavior can be described by a take-the-best heuristic, that is, a simple rule-of-thumb that ignores all but one cue at a time. This heuristic reproduces a variety of behavioral patterns observed in different iv environments. Then, I extend this heuristic to include social interactions where multiple individuals exchange information during their search. My results show that, in this case, individuals tend to converge towards similar solutions. This induces a collective search dilemma: compared to non-interacting groups, the quality of the average individual’s solution is improved at the expense of the best solution of the group. Nevertheless, further analyses show that this dilemma disappears for more difficult problems. Overall, this thesis shows that no collective problem-solving method is superior to the others in all environments and for all problems. Instead, the performance of each method depends on numerous factors, such as the nature of the task, the problem difficulty, the group composition, and the skill levels of the individuals. My work helps understanding the role of these different factors and their influence on collective problem-solving. v Zusammenfassung Menschen, die zusammenarbeiten, sind in der Lage, Probleme erfolgreich zu lösen. Viele Beispiele aus der Praxis, von Wikipedia bis hin zu bürgerwissenschaftlichen Projekten, zeigen, dass Menschenmengen unter den richtigen Bedingungen bemerkenswerte Lösun- gen für komplexe Probleme finden können. Dennoch kann es eine Herausforderung sein, die Fähigkeiten vieler Menschen zu kombinieren. Welche Faktoren machen einige Grup- pen erfolgreicher als andere? Wie beeinflusst die Art des Problems und die Struktur des Umfelds die Leistung der Gruppe? Um diese Fragen zu beantworten, betrachte ich die Problemlösung als einen Suchprozess - eine Situation, in der Einzelpersonen nach einer guten Lösung suchen. Ich beschreibe und vergleiche in dieser Doktorarbeit drei verschiede- ne Verfahren zur Strukturierung von Gruppen: (1) nicht interagierende Gruppen, in denen Einzelpersonen unabhängig voneinander suchen, ohne Informationen auszutauschen, (2) soziale Gruppen, in denen Einzelpersonen während ihrer Suche frei miteinander kommu- nizieren und Informationen austauschen und (3) lösungsbeeinflusste Gruppen, in denen Einzelpersonen mit ihrer Lösung zu einer gemeinsamen kollektiven Lösung beitragen. In dieser Doktorarbeit stelle ich zunächst die Übertragungskette vor. Es handelt sich dabei um eine spezifische Art einer lösungsbeeinflussten Gruppe, in der Einzelpersonen das Problem nacheinander angehen, jede ausgehend von der Lösung ihres Vorgängers. An- schließend wende ich die Übertragungskette auf binäre Entscheidungsfragen an und ver- gleiche sie mit Mehrheitsregeln in nicht-interagierenden Gruppen. Die Ergebnisse zeigen, dass Übertragungsketten in Umgebungen mit geringer individueller Genauigkeit überle- gen sind, wenn die Antwortsicherheit ein zuverlässiger Indikator für die Genauigkeit ist. Zwei experimentelle Datensätze zeigen, dass diese Art von Umgebungen selten gegeben ist. Ferner bewerte ich die Leistung von Übertragungsketten für Probleme, die eine kom- plexe Struktur haben, wie z.B. mehrdimensionale Optimierungsaufgaben. Auch hier be- nutze ich nicht-interagierende Gruppen als Vergleich. In diesem Fall wähle ich die bes- te Lösung aus den allen, unabhängig voneinander, gefunden Lösungen der Einzelperso- nen aus. Simulationen und experimentelle Daten zeigen, dass Übertragungsketten nicht- interagierende Gruppen in zwei Umgebungen übertreffen, zum einen, wenn die Probleme relativ einfach sind und zum anderen, wenn es den Gruppenmitgliedern an Fähigkeiten zur Lösung des Problems mangelt. Anschließend konzentriere ich mich auf soziale Gruppen, das heißt Gruppen, in de- vi nen sich Einzelpersonen bei der Suche gegenseitig beeinflussen können. Um die soziale Dynamik zu verstehen, die in solchen Gruppen entstehen, führe ich zwei Studien durch: Erstens untersuche ich, wie Menschen unabhängig von anderen nach einer Lösung suchen. Zweitens teste ich, wie diese individuelle Suche durch soziale Einflüsse verändert wird. Die erste Studie umfasst ein Experiment, welches aufzeigt, dass das individuelle Such- verhalten durch eine Take-the-best Heuristik beschrieben werden kann. Bei einer solchen Heuristik handelt es sich um eine einfache Faustregel, die jeweils alle bis auf einen Hinweis ignoriert. Diese Heuristik reproduziert die Art und Weise der Suche der Versuchspersonen in verschiedenen Umgebungen. Zusätzlich erweitere ich diese Heuristik, um soziale Interaktionen abzubilden, bei de- nen Personen während ihrer Suche Informationen austauschen. Meine Ergebnisse zeigen, dass durch den Einfluss solcher sozialen Informationen die Lösungen der verschiedenen Personen ähnlicher werden. Dies führt zu einem kollektiven Suchdilemma: Im Vergleich zu nicht-interagierenden Gruppen wird die durchschnittliche Qualität der Lösung der Einzelpersonen verbessert, während sich die Qualität der besten Lösung der Gruppe ver- schlechtert. Meine weiteren Analysen zeigen, dass dieses Dilemma bei sehr schwierigen Problemen verschwindet. Insgesamt verdeutlicht meine Arbeit, dass kein kollektiver Problemlösungsprozess allen anderen Prozessen in allen Umgebungen und für alle Probleme überlegen ist. Stattdessen hängt die Leistung jedes Prozesses von zahlreichen Faktoren ab wie beispielsweise von der Art der Aufgabe, der Schwierigkeit des Problems, der Gruppenzusammensetzung und den Fähigkeiten der einzelnen Personen. Meine Arbeit trägt zu einem besseren Verständnis über die Rolle dieser verschiedenen Faktoren sowie deren Auswirkungen auf das kollektive Lösen von Problemen bei. vii Acknowledgments First of all, I would like to thank my supervisor Mehdi Moussaïd for the support he offered me during the last 3.5 years. Mehdi, thank you for the countless hours of revising my drafts, for your invaluable advice, your assistance in developing my skills as a scientist, and for sharing your optimistic perspective on research. This thesis would not have been possible without your support. I am grateful to Ralph Hertwig who gave me the opportunity to do my PhD at the Center for Adaptive Rationality. Thank you very much for asking the big questions, challenging me, and teaching me to think deeply. I would also like to express my gratitude to Felix Blankenburg for agreeing to assess my dissertation, as well as to Steffi Pohl and Jens Krause for being part of my PhD committee. Many more people helped me along the way. I am thankful to: The administrative staff of ARC, including the IT, for always assisting me. Jann Wäscher and Chantal Wysocki for running my group experiments in no time. All current and former