Social Bots: Gefahr Für Die Demokratie?

www.pwc.de www.pwclegal.de

Social Bots: Gefahr für die Demokratie?

Whitepaper mit Handlungsempfehlungen für Unternehmen, Medien und Politik.

August 2017

Social Bots: Gefahr für die Demokratie?

Whitepaper mit Handlungsempfehlungen für Unternehmen, Medien und Politik.

August 2017 Social Bots: Gefahr für die Demokratie?

Herausgegeben von der PricewaterhouseCoopers GmbH Wirtschaftsprüfungsgesellschaft (PwC)

August 2017, 36 Seiten, 11 Abbildungen, Softcover

Alle Rechte vorbehalten. Vervielfältigungen, Mikroverfilmung, die Einspeicherung und Verarbeitung in elektronischen Medien sind ohne Zustimmung des Herausgebers nicht gestattet.

Die Inhalte dieser Publikation sind zur Information unserer Mandanten bestimmt. Sie entsprechen dem Kenntnisstand der Autoren zum Zeitpunkt der Veröffentlichung. Für die Lösung einschlägiger Probleme greifen Sie bitte auf die in der Publikation angegebenen Quellen zurück oder wenden sich an die genannten Ansprechpartner. Meinungsbeiträge geben die Auffassung der einzelnen Autoren wieder. In den Grafiken kann es zu Rundungsdifferenzen kommen.

© August 2017 PricewaterhouseCoopers GmbH Wirtschaftsprüfungsgesellschaft. Alle Rechte vorbehalten. „PwC“ bezeichnet in diesem Dokument die PricewaterhouseCoopers GmbH Wirtschafts­ prüfungsgesellschaft, die eine Mitgliedsgesellschaft der PricewaterhouseCoopers International Limited (PwCIL) ist. Jede der Mitgliedsgesellschaften der PwCIL ist eine rechtlich selbstständige Gesellschaft. Inhaltsverzeichnis

Inhaltsverzeichnis

Abbildungsverzeichnis...... 6

Vorwort...... 7

A Was sind Social Bots?...... 9

B Wie lassen sich Social Bots identifizieren?...... 11

C G astbeitrag: Zum technischen Hintergrund von Social Bots...... 13

D Welche Risiken bergen Social Bots?...... 17

E Welche Chancen bieten Social Bots?...... 20

F Fake News, Social Bots und die Rolle der Medien...... 23

G Wie können sich Unternehmen und Institutionen schützen?...... 26

H Gastbeitrag: Zwei technische Ansätze zur Identifizierung von Social Bots...... 28

Quellenverzeichnis...... 30

Ihre Ansprechpartner...... 33

Social Bots: Gefahr für die Demokratie? 5 Abbildungsverzeichnis

Abbildungsverzeichnis

Abb. 1 Wahrnehmung von Social Bots...... 9

Abb. 2 Erkennen von Social Bots...... 12

Abb. 3 AIML-Regeln für Chatbot ALICE...... 13

Abb. 4 Dialogausschnitt Chatbot ALICE...... 14

Abb. 5 ChatScript-Regeln und Konzepte für Chatbot Rose...... 14

Abb. 6 Dialogausschnitt Chatbot Rose...... 15

Abb. 7 Sequence-to-Sequence Verarbeitung...... 16

Abb. 8 Akzeptierter Einsatz von Social Bots...... 21

Abb. 9 Bekanntheit von Begriffen...... 24

Abb. 10 Aufklärung über Social Bots und Fakes News...... 25

Abb. 11 Darstellung eines sozialen Netzes als Graph...... 28

6 Social Bots: Gefahr für die Demokratie? Vorwort

Vorwort

Als eine Jury von Sprachexperten jüngst über den Anglizismus des Jahres 2016 zu entscheiden hatte, fiel die Wahl wenig überraschend – und noch vor „Darknet“ und „Hate Speech“ – auf „Fake News“. Tatsächlich hat sich selten zuvor ein englischstämmiger Begriff derart rasch in der deutschen Sprache etabliert wie dieser. Das lag zum einen natürlich an der prominenten Rolle, die dem Phänomen während des US-Präsidentschaftswahlkampfs zugeschrieben wurde. Es dürfte zum anderen aber auch damit zu tun haben, dass es für Fake News im Deutschen keine echte Entsprechung gibt. Begriffe wie „Propaganda“ oder „Desinformation“ zielen zwar in eine ähnliche Richtung, haben jedoch nicht dieselbe Bedeutung. „Falschmeldung“ wäre zwar eine naheliegende Übersetzung, allerdings schwingt bei diesem Wort nicht zwingend mit, was ganz entscheidend das Wesen von Fake News ausmacht: Es geht um Falschmeldungen (früher sagte man auch „Enten“), die nicht irrtümlich, sondern bewusst verbreitet werden, mit dem Ziel, die öffentliche Meinung zu manipulieren.

Neben dieser intentionalen Verbreitung lässt sich noch ein zweites Merkmal definieren, das Fake News von klassischen Falschmeldungen unterscheidet, nämlich, dass es sich bei Fake News um eine Erscheinung des Internetzeitalters oder, genauer noch, der Social-Media-Ära handelt. Das heißt natürlich nicht, dass es analoge Formen der Fake News nicht zu allen Zeiten gegeben hätte. Schon im alten Rom versuchten Octavian und Marcus Antonius, sich gegenseitig durch das Streuen von Lügengeschichten zu diskreditieren. Und spätestens mit der Erfindung des Buchdrucks wurden Fake News zu einem immer machtvolleren Mittel der Meinungsmanipulation. Als eines der bekanntesten Beispiele gelten die reißerischen und teils wohl auch falschen Berichte, mit denen die Regenbogen­ presse in den USA den spanisch-amerikanischen Krieg 1898 heraufbeschwor.

Dennoch wäre es falsch, so zu tun, als wären Fake News, wie sie speziell das vergangene Jahr geprägt haben, ein längst bekanntes Phänomen. War die großflächige Beeinflussung der öffentlichen Meinung bislang den Massenmedien oder Regierungen (in autokratischen Ländern mit entsprechendem Zugriff auf Fernsehen und Radio) vorbehalten, steht diese Möglichkeit in Zeiten von Facebook, Twitter und Instagram theoretisch jedem zur Verfügung. Dies gilt umso mehr – und darin liegt eine neue Qualität –, als hinter der Verbreitung falscher Nachrichten nicht mehr unbedingt Menschen stehen müssen. Stattdessen wird die Meinungsschlacht in den sozialen Medien inzwischen zu einem (zumindest quantitativ) beträchtlichen Teil von sogenannten Social Bots geführt. Das sind automatisierte Programme, die sich zum Beispiel bei Twitter als echte Menschen ausgeben und versuchen, die dort geführten Debatten durch Likes, Tweets oder Retweets in die von ihren Urhebern gewünschte Richtung zu lenken.

In größerem Ausmaß traten Social Bots erstmals während des Arabischen Frühlings in Erscheinung. Danach spielten sie auch in der Ukrainekrise, bei der Brexit- Entscheidung und vor allem bei der US-Präsidentenwahl eine Rolle. So soll der Anteil echter Twitter-Follower sowohl beim republikanischen Kandidaten Donald

Social Bots: Gefahr für die Demokratie? 7 Vorwort

Trump als auch bei der demokratischen Bewerberin Hillary Clinton zeitweise gerade einmal bei 60 % gelegen haben.1 Das US-Magazin Wired berichtete zudem, dass mitunter 50 bis 55 % der Clintonschen Twitter-Aktivität (also bei den Likes, Follows oder Retweets, die sie über die Plattform erhielt) von Social Bots gestammt hätten. Bei Trump seien es bisweilen sogar 80 % gewesen.2

Nun sind die hohen quantitativen Werte noch kein Beleg dafür, dass Social Bots die US-Wahl entscheidend beeinflusst hätten – schließlich kommt es ja in einem Meinungsbildungsprozess auch und vor allem auf die Qualität der Beiträge an. Trotzdem haben wir es bei Social Bots als Urhebern und Multiplikatoren mutmaßlicher Fake News inzwischen mit einem signifikanten Phänomen zu tun, dem durch die weitere Verfeinerung von Big-Data- oder Artificial-Intelligence- Technologien in den kommenden Jahren eine nochmals wachsende Bedeutung zukommen könnte.

Als Nischenphänomen lassen sich die neuen Formen der Meinungsmache jedenfalls nicht mehr abtun. Wie aus einer aktuellen PwC-Umfrage hervorgeht, glaubt inzwischen jeder zweite Bundesbürger, über Fake News „relativ gut Bescheid zu wissen“. Weitere 34 Prozent meinen, sie wüssten zumindest „ungefähr, was sich dahinter verbirgt“. Der Bekanntheitsgrad von Social Bots ist zwar deutlich geringer, allerdings auch nicht zu vernachlässigen: 14 Prozent sagten, sie wüssten darüber „relativ gut Bescheid“, 22 Prozent geben an, dass sie „ungefähr wissen, was sich dahinter verbirgt“. Aus derselben Umfrage geht zudem hervor, dass 68 Prozent der Deutschen Plattformbetreiber wie Facebook oder Twitter verpflichten wollen, Fake News auf ihren Kanälen grundsätzlich zu löschen. Bei Social Bots wiederum befürworten 90 Prozent eine stärkere Reglementierung – und sogar 43 Prozent ein gesetzliches Verbot.

Ob solche Mittel tatsächlich geeignet sind, Meinungsmache im Internet zu bekämpfen – darüber lässt sich sicherlich streiten. Zweifelsohne allerdings stellen sich eine Reihe von Fragen: Wie lassen sich Social Bots identifizieren? Welche Risiken, aber womöglich auch Chancen bergen sie – und zwar nicht nur für politische Institutionen, sondern auch für Unternehmen? Welche Rolle werden sie bei der bevorstehenden Bundestagswahl spielen? Und vor allem: Wie kann man sich vor den Gefahren durch Social Bots wirksam schützen?

Das vorliegende Whitepaper soll Ihnen, liebe Leserinnen und Leser, erste Antworten auf diese Fragen geben und einen Diskussions- und Debattenbeitrag sein. Ich wünsche Ihnen eine aufschlussreiche Lektüre!

Werner Ballhaus Leiter Technologie, Medien und Telekommunikation

1 Vgl. S. Hegelich, „Invasion der Meinungs-Roboter“, Analysen und Argumente, Nr. 221, 2016. 2 Vgl. D. Alba, „The Political Twitter Bots Will Rage This Election Day“, Wired.com, 2016.

8 Social Bots: Gefahr für die Demokratie? Was sind Social Bots?

A Was sind Social Bots?

Social Bots sind Computer­programme, Gleichwohl – so viel schon vorweg – beiden Begriffen siehe Abb. 1) offen die in sozialen Medien in automatisierter werden wir im weiteren Verlauf zu erkennen geben? Daran knüpft sich Form Nachrichten oder Meinungen auch der Frage nachgehen, ob es eine weitere Frage an: Sind Social Bots verbreiten – zum Beispiel durch Likes, sozusagen „gute“ Social Bots geben für politische oder wirtschaftliche Tweets oder Retweets bei Diensten kann. Womit wiederum die Frage Institutionen nur ein Abwehrthema wie Twitter. Dabei wird der Eindruck verbunden ist, ob Social Bots ihr (Wie kann ich mich schützen?) – oder erweckt, hinter den entsprechenden wahres Wesen zwingend verschleiern werden sich in den kommenden Jahren Social-Media-Profilen stünden reale müssen. Denn warum sollen sich die auch legitime Möglichkeiten ergeben, Menschen. Tatsächlich sind es aber Urheber nicht wie die artverwandten Social Bots selbst zu nutzen? Maschinen, die von ihren Betreibern Chatbots (zum Unterschied zwischen gezielt eingesetzt werden, um die öffentliche Meinung zu manipulieren. Abb. 1 Wahrnehmung von Social Bots

Diese Definition ist nicht neutral. Denn Fast vier von zehn Deutschen haben bereits Social Bots wahrgenommen. das Wort „manipulieren“ ist negativ konnotiert und deutet an, dass hinter Haben Sie in letzter Zeit schon einmal Beiträge von derartigen Social Bots zu politischen dem Einsatz von Social Bots generell Themen in sozialen Netzwerken wahrgenommen? schlechte Absichten stehen. Ob das im Einzelfall immer zutrifft, wird zu Basis: Alle Befragten (Einfachnennung), n = 1.000 überprüfen sein – und ist in letzter Schon einmal Social Bots wahrgenommen Konsequenz natürlich auch eine Frage des Standpunkts. Was man allerdings % festhalten kann: Der irreführende ∑ 37 Charakter von Social Bots (sie geben 28 % vor, jemand zu sein, der sie nicht sind) % % 25 widerspricht den Gepflogenheiten 24 des demokratischen Diskurses. Wir gehen in diesem Whitepaper deshalb grundsätzlich davon aus, dass die Motive der Betreiber von Social Bots 14 % kritisch zu betrachten sind. 9 %

ja, vermutlich, vermutlich ganz ich nutze ganz sicher aber ich bin mir nicht sicher nicht keine Sozialen nicht sicher Medien

Social Bots: Gefahr für die Demokratie? 9 Was sind Social Bots?

Rein technisch sind die Meinungs­ Darüber hinaus benötigen die Die Qualität der Meinungsroboter roboter relativ leicht zu kreieren Betreiber ein Algorithmus-basiertes ist sehr unterschiedlich. Simpel und praktisch beliebig vermehrbar. Programm, das den Social Bot steuert. programmierte Bots beschränken Voraussetzung für die Erstellung Die letzte Hürde ist schließlich die sich in erster Linie auf die Streuung sind Nutzer-Accounts, die in den Programmierschnittstelle, kurz API, bereits vorformulierter Mitteilungen. entsprechenden sozialen Netzwerken die Betreiber von sozialen Netzwerken Es gibt aber auch Bots, die mit anderen, bereits registriert sind. Sie werden externen Entwicklern kostenlos zur auch echten, Nutzern kommunizieren auf dem Schwarzmarkt inzwischen Verfügung stellen, um die eigene und in der Lage sind, eigenständig in großen Stückzahlen gehandelt. Plattform erweiterbar zu machen. immer wieder neue Nachrichten zu So kosten 1.000 falsche Accounts Diese APIs sind es, die auch dem generieren. Insgesamt haben sich laut dem Data-Science-Experten Social-Bot-Account den Zugang zum die Social Bots in den vergangenen Simon Hegelich von der TU München Netzwerk ermöglichen. Als besonders Jahren stark weiterentwickelt. zwischen 45 US-Dollar (für einfache roboterfreundlich gelten die APIs von Dadurch – und aufgrund ihrer schieren Twitter-Konten) und 150 US-Dollar Twitter – was auch ein Grund dafür ist, Masse – wird es immer schwieriger, (für „gealterte“ Facebook-Konten).3 Die dass Social Bots auf Twitter deutlich die automatisierten von den realen Anbieter solcher Account-Sammlungen stärker verbreitet sind als auf anderen Accounts zu unterscheiden. Angesichts sitzen vor allem in Russland. Plattformen. der rasanten Fortschritte im Bereich der künstlichen Intelligenz dürften Social Bots ihre kommunikativen Fähigkeiten in den kommenden Jahren weiter verbessern.

Worin unterscheiden sich Bots, Botnets, Chatbots und Social Bots?

„Bot“ ist eine Kurzform von Roboter. Inzwischen wird der Begriff „Bot“ Zur Unterscheidung von Chatbots Ursprünglich wurde der Begriff tendenziell eher mit automatisierten und Social Bots bieten sich die beiden vor allem für Computer verwendet, Computerprogrammen bzw. Social- folgenden Merkmale an: die von einer Schadsoftware Media-Accounts assoziiert. Am 1. Chatbots kommunizieren in der befallen wurden und darum bekanntesten sind Dialogsysteme, Regel reaktiv, während Social Bots nun ein Eigenleben führen. Für wie sie als sogenannte Chatbots auch selbst aktiv werden. eine Vielzahl untereinander von immer mehr Unternehmen 2. Chatbots lassen sich in der Regel verbundener Schadprogramme in der Kundenkommunikation einer Quelle zuordnen, während bürgerte sich deshalb auch eingesetzt werden. Ein Beispiel ist Social Bots ihre Urheberschaft zu die Bezeichnung „Botnet“ ein. Ikeas virtueller Assistent „Anna“. verschleiern suchen.

3 Vgl. Hegelich, 2016.

10 Social Bots: Gefahr für die Demokratie? Wie lassen sich Social Bots identifizieren?

B Wie lassen sich Social Bots identifizieren?

Bei einer Untersuchung der Universität Tatsächlich lassen sich die meisten Fest steht, dass die Grenze zwischen Reading im Jahr 2014 konnten gut Bots noch immer anhand einfacher eindeutig menschlichen und eindeutig 30 % der Testpersonen den Chatbot Checklisten identifizieren: Formuliert maschinellen Verhaltensweisen „Eugene Goostman“ – er imitiert er wirklich wie ein Mensch? Macht er undeutlicher wird. Dank steigender die Persönlichkeit eines 13-jährigen auch mal eine Pause? Und warum hat Rechnerkapazitäten können Social Jungen – angeblich nicht von einem sein Profil kein Foto? Geht es daher Bots auf immer größere Datenbestände menschlichen Konversationspartner um einen einzigen Social Bot, der zugreifen. Durch den kombinierten unterscheiden.4 Das Ergebnis erlangte Fake News via Twitter oder Facebook Einsatz von Big-Data- und Artificial- große Aufmerksamkeit. Es lässt sich verbreitet, dann sind Journalisten Intelligence-Technologien sind die in allerdings auch andersherum lesen: oder andere Profis in der Lage, diesen der Lage, humanoide Verhaltensmuster Sieben von zehn Testpersonen, also die Täuschungsversuch zu enttarnen. Was immer überzeugender nachzuahmen. klare Mehrheit, erkannten den Roboter aber, wenn es nicht mehr nur um einen, Manche Meinungsroboter werden offenbar als das, was er ist, nämlich eine sondern um Abertausende von Social inzwischen so programmiert, dass ihre Maschine. Und: Bei vier anderen Bots Bots geht, die versuchen, politische Accounts ähnliche Aktivitätskurven schnitten die Testpersonen teils sogar Debatten in bestimmte Richtungen zu aufweisen wie die Social-Media- deutlich besser ab. lenken? Was, wenn die schiere Menge Profile menschlicher Nutzer, inklusive von frisierten Tweets, Retweets oder entsprechender Ruhephasen (die der Dieses Resultat deckt sich mit der Likes dazu führt, dass die sogenannten Bot in Wirklichkeit gar nicht braucht). Einschätzung von Experten, wonach Trending Topics – die viel beachteten Inzwischen gibt es sogar Social Bots – ein geschulter Internetnutzer einen Listen, die bei Twitter die aktuell sogenannte Cyborgs –, die zumindest Chatbot oder Social Bot in aller Regel meistdiskutieren Themen anzeigen – partiell von Menschen unterstützt identifizieren kann. Wie überlegen die manipuliert werden? Ist die menschliche werden. Ihre Wirkung lässt sich noch menschliche Intelligenz der künstlichen Intelligenz dann immer noch in der verstärken, wenn sich die Cyborgs in dieser Hinsicht noch immer ist, Lage, den Überblick zu behalten? Und gehackter Profile einer authentischen zeigt auch der Irrlauf des Microsoft- was passiert, wenn die Urheber ihre Historie bedienen. Chatbots Tay im Frühjahr 2016. Den Social Bots in den kommenden Jahren hatten menschliche Chatpartner technisch weiter aufrüsten? mit ihren Fragen solange fehlgeleitet, bis der Roboter irgendwann – zum Entsetzen seiner Programmierer – sogar rassistische Bemerkungen von sich gab.5

4 Vgl. The Guardian, „Computer simulating 13-years-old boy becomes first to pass Turing test“, Guardian.com, 2014. 5 Vgl. E. Hunt, „Tay, Microsoft’s AI chatbot, gets a crash course in racism from Twitter“, Guardian.com, 2016.

Social Bots: Gefahr für die Demokratie? 11 Wie lassen sich Social Bots identifizieren?

Um Social Bots zuverlässig zu Abb. 2 Erkennen von Social Bots identifizieren, wird es auch in Zukunft auf das menschliche Urteilsvermögen Social Bots wurden vor allem wegen ihrer vielen vergebenen „Likes“ und ihres ankommen. Daneben gilt es aber – verdächtigen Profils „enttarnt“. ebenfalls auf Basis von Big Data und künstlicher Intelligenz – technische Wie sind Ihnen die Social Bots aufgefallen? Lösungen zu entwickeln, die den Meinungsrobotern auch im großen Mehrfachnennung waren möglich Umfang gewachsen sind. Ein bereits existierendes Tool ist die Web-API Basis: Befragte, die Social Bots wahrgenommen haben, n = 371 BotOrNot für Twitter (inzwischen Social Bots sind aufgefallen durch … Botometer genannt; siehe dazu Kapitel H). Bei Tests kam sie auf eine … eine sehr hohe Anzahl an 6 34 % Treffsicherheit von rund 95 %. vergebenen „Likes“.

Trotz solcher Erfolge steht die … unsinnige, nicht plausible oder fast 30 % Entwicklung von Anti-Bot-Technologien keine Angaben im Profil eines Accounts. allerdings noch am Anfang. Zudem gilt für die Social-Bot-Enttarnung, was … Nachricht oder Freundschaftsanfrage analog zum Beispiel auch für Anti- einer mir unbekannten Person, deren 26 % Virus-Programme gilt: Um einen Bot zu Freunde/Follower ich auch nicht kenne. bekämpfen, muss man ihn erst einmal … hohe Anzahl von Tweets, Retweets 23 % kennen. Diese Regel impliziert, dass die oder Postings am Tag. Entwickler von Meinungsrobotern den Entwicklern von Identifikationstools … die erhaltene Nachricht wurde parallel 22 % notwendigerweise immer mindestens an viele Nutzer verschickt. einen Schritt voraus sein werden. Was Unternehmen und politische … unpassende Antworten auch bei 22 % Institutionen tun können, um sich einfachen Fragen. dennoch gegen Social Bots zu schützen, werden wir in Kapitel G ausführlicher … extrem schnelle Retweets oder 21 % diskutieren. Zuvor werden Professor Reaktion auf Beiträge. Dr. Jens Lehmann, Lead Scientist am Fraunhofer-Institut für Intelligente Ein Account schreibt/twittert immer Analyse- und Informationssysteme ungefähr dasselbe oder teilt immer 18 % (IAIS), und seine Kollegin Klaudia Nachrichten desselben Accounts/Mediums. Thellmann die technologischen Auf Websites von Online-Shops etc., z. B. 13 % Hintergründe von Social Bots in einem bei Fragen zu einem Produkt. Gastbeitrag erklären. u. a. Werbung auf … sonstiges. 1 % Seiten von Facebook- Freunden

Weiß ich nicht mehr. 20 %

6 Vgl. E. Ferrara et al., „The Rise of Social Bots“, Communications of the ACM, Bd. 59 Nr. 7, S. 96–104, 2016.

12 Social Bots: Gefahr für die Demokratie? Gastbeitrag: Zum technischen Hintergrund von Social Bots

C Gastbeitrag: Zum technischen Hintergrund von Social Bots

Von Prof. Dr. Jens Lehmann Der erste wissenschaftlich beschriebene Zur Erstellung von Retrieval-basierten und Klaudia Thellmann, Chatbot nannte sich Eliza. Er wurde Chatbots führte der US-Informatiker Fraunhofer IAIS. bereits 1966 von dem deutsch- Richard Wallace in den 90er Jahren amerikanischen Informatiker Joseph die Chatbot-Sprache AIML (Artificial Die technische Komplexität von Chat­ Weizenbaum entwickelt.8 Eliza Intelligence Markup Language) ein. bots reicht von einfachen Bots, die war Retrieval-basiert und baute auf Auf ihrer Grundlage wurde der Chatbot anhand einer Heuristik bestimmte einfachen Regeln zur Erkennung von ALICE9 programmiert, mit dem Wallace Muster in einer Nachricht erkennen Mustern in Eingaben auf. Der Bot war mehrmals den Loebner-Preis für die und darauf mit einer entsprechenden vor allem darauf ausgelegt, Aussagen menschenähnlichste Dialogführung vorgefertigten Antwort reagieren, geschickt in Rückfragen umzuwandeln. erhielt (siehe Abb. 3). bis hin zu solchen, die auf Grundlage Dadurch konnte trotz einfacher Mittel erlernter Modelle selbstständig eine kontinuierliche Konversation Antworten generieren.7 Dabei stattfinden. werden Dialogsysteme, die auf eine Reihe von präparierten Antworten Abb. 3 AIML-Regeln für Chatbot ALICE zurückgreifen, als Retrieval-basiert bezeichnet. Systeme, die ohne ein solches Korpus von präparierten Antworten auskommen, heißen WHAT IS YOUR NAME generative Systeme. dazu dienen, Muster in der Eingabe zu erkennen. Diese Systeme liefern vorhersehbare, grammatikalisch Quelle: ALICE. korrekte Antworten. Sie sind einfach zu programmieren, da es bereits zahlreiche Bibliotheken mit Regeln gibt. Im Gegensatz zu den generativen Systemen sind sie aber bei nicht vorgesehenen Eingaben weniger flexibel. Der erste wissenschaftlich beschriebene Chatbot nannte sich Eliza.

7 M. L. Mauldin, „Chatterbots, tinymuds, and the turing test: Entering the Loebner prize competition“, AAAI, Bd. 94, 1994. 8 D. Britz, „Deep Learning for Chatbots“, WILDML, www.wildml.com/2016/04/, 2016. 9 L. Bradesko und D. Mladenic, „A survey of chatbot systems through a loebner prize competition“, Proceedings of Slovenian Language Technologies Society Eighth Conference of Language Technologies, 2012.

Social Bots: Gefahr für die Demokratie? 13 Gastbeitrag: Zum technischen Hintergrund von Social Bots

AIML besteht im Grunde aus einer Abb. 4 Dialogausschnitt Chatbot ALICE1 Ansammlung von in Kategorien gruppierten Mustern mit entsprechenden vorformulierten Human: What is your name? Antworten. Die Muster decken jeweils ALICE: My name is Alice. eine oder auch mehrere mögliche Human: Are you evil? Benutzereingaben ab, auf die der ALICE: No. I try to be good, but at worst I’m harmless. Chatbot mit einer vorgegebenen Human: Are you harmless? Antwort reagiert. ALICE: I don’t know whether or not I am harmless. I am a Homo Sapiens. You say:

Say

1 ALICE: http://alice.pandorabots.com/.

Quelle: ALICE.

Eine weitere regelbasierte Chatbot- Abb. 5 ChatScript-Regeln und Konzepte für Chatbot Rose Sprache mit einer ausgereifteren Umsetzung für das Pattern-Matching und die Kontexterkennung ist das #!CONCEPTS 2011 von Bruce Wilcox – einem auf concept:~like[adore admire love] künstliche Intelligenz spezialisierten Programmierer – veröffentlichte concept:~meat[bacon ham beef chicken] ChatScript. Auf dieser Sprache basieren auch die Chatbots Suzette und Rosette, #!RULE mit denen Wilcox 2010 und 2011 den ?: MEAT ( << you ~like ~meat >>) I love bacon Loebner-Preis gewann. Quelle: Rose. Im Unterschied zu AIML setzt das Programm ChatScript Textanalyse­ techniken (Techniken des neuro­ linguistischen Programmierens) zum Verarbeiten der Eingabe ein. So etwa ? erkennt es Wortarten (POS-Tagging) und Synonyme. Darüber hinaus ist ChatScript zustandsbehaftet, das heißt, es kann sich Gesprächsverläufe merken.

! @

14 Social Bots: Gefahr für die Demokratie? Gastbeitrag: Zum technischen Hintergrund von Social Bots

Ähnlich wie bei AIML bestehen Abb. 6 Dialogausschnitt Chatbot Rose1 ChatScript-Regeln aus einem Muster für die Eingabe und einer Vorlage für die Antwort. Zusätzlich zu User: What is your name? den Regeln unterstützt ChatScript Rose: My name is Rose. Begriffshierarchien und Synonyme User: Are you evil? durch Definition von Konzepten Rose: Of course not. (siehe Abb. 5). User: Are you harmless? Rose: Absolutely. User: Why not? Rose: I’d love to really dig down deep into all my thoughts about that, but it’s really not appropriate right now.

Name: User

Message: Send Input

1 Rose: http://brilligunderstanding.com/rosedemo.html.

Quelle: Rose.

Zum Finden von Synonymen, Unter­ Generative Dialogsysteme Für generative Dialogsysteme können begriffen und Beziehungen zwischen Generative Systeme bauen häufig neuronale Netze mit sogenannten Begriffen können maschinen­ auf künstlichen neuronalen Netzen Sequence-to-Sequence-Modellen auswertbare Wissensdatenbanken wie (KNN) auf.11 Diese wurden in den eingesetzt werden. Eine Sequenz kann WordNet oder OpenCyc verwendet vergangenen Jahren sehr erfolgreich dabei eine nahezu beliebige Eingabe werden. WordNet enthält semantische in verschiedenen Bereichen der sein; zum Beispiel kann es sich bei der und lexikalische Beziehungen zwischen künstlichen Intelligenz eingesetzt, Eingabesequenz um einen deutschen den Wörtern der englischen Sprache. mit teilweise beeindruckenden Text und bei der Ausgabesequenz OpenCyce ermöglicht über die Resultaten. Das Spektrum reicht von um einen englischen Text handeln. zugrunde liegende Ontologiesprache der Erkennung von Objekten auf Bildern In diesem Fall würde das neuronale CycL logisches Schlussfolgern über über das autonome Fahren bis hin zur Netz lernen, Texte vom Deutschen ins Sachverhalte.10 Identifizierung menschlicher Sprache Englische zu übersetzen. Damit dies und noch vielem mehr. Oft werden gelingt, muss das neuronale Netz seine Um eine Konversation menschlicher dabei Resultate erzielt, die Leistungen Fähigkeiten anhand einer Unmenge erscheinen zu lassen, werden darüber von Menschen nahekommen oder diese vorgegebener korrekter Beispiele hinaus diverse Tricks wie etwa Tipp­ sogar übertreffen. trainieren. Ein Beispiel besteht dabei fehler, die Simulation von Tastatur­ aus einer richtigen Übersetzung eingaben, biografische Modelle oder von einer Eingabesequenz in eine Sprünge von einem Thema zum anderen Ausgabesequenz. Dafür wären in diesem eingesetzt.10 Fall Tausende von richtig übersetzten Texten aus Trainingsmaterial nötig.

10 L. Bradesko und D. Mladenic, „A survey of chatbot systems through a loebner prize competition“, Proceedings of Slovenian Language Technologies Society Eighth Conference of Language Technologies, 2012. 11 O. Vinyals und V. L. Quoc, „A neural conversational model“, arXiv preprint, 2015.

Social Bots: Gefahr für die Demokratie? 15 Gastbeitrag: Zum technischen Hintergrund von Social Bots

Abb. 7 Sequence-to-Sequence Verarbeitung

ENCODER Antwort

Gut, danke!

Wie geht’s?

Eingabe DECODER

Das gleiche Prinzip lässt sich auch auf anders aussehen, als wenn man das an Trainingsdaten bietet. Nachteilig ist, Dialogsysteme anwenden: In dem Fall Netzwerk mit Werken von Shakespeare dass die aktuellen Systeme oft noch sehr ist die Eingabe der zuletzt gesprochene trainiert. Das bedeutet natürlich allgemeine Antworten erzeugen, etwa Dialogteil und die Ausgabe eine Antwort auch, dass man die Trainingsbeispiele „OK“ oder „Wie geht es Dir?“, statt auf darauf. Ein derartiges neuronales vorsichtig auswählen sollte. Kann die individuelle Situation einzugehen. Netz muss also mit Hunderttausenden ein System wie der bereits erwähnte Zudem werden die neuronalen Netze von existierenden Dialogen trainiert Chatbot Tay (siehe dazu Kapitel B) durch die riesige Menge an benötigten werden. Interessant ist dabei, dass unkontrolliert mit Beispielen „gefüttert“ Trainingsdaten oft mit Dialogen das neuronale Netz – vergleichbar werden, dann lässt sich sein Verhalten verschiedener Personen trainiert. mit einem neugeborenen Kind – ohne manipulieren. Dadurch entsteht ein uneinheitliches vorheriges Wissen erlernt, wie Sprache Persönlichkeitsbild. Nach unserer funktioniert und Dialoge geführt Der Vorteil von generativen Systemen Einschätzung wird die Forschung in werden. Dabei passt es sich stark an die ist, dass man die Zuordnung zwischen diesem Bereich jedoch in den nächsten Trainingsdialoge an. Wenn man für das Eingabe und Antwort nicht durch Regeln zehn Jahren große Fortschritte erzielen Training also Texte aus einer sozialen abbilden muss, da das neuronale Netz und in der Lage sein, beeindruckend Netzwerkplattform wie Facebook diese Zusammenhänge selbstständig menschenähnliche Chatbots zu verwendet, wird das Resultat völlig erlernt, wenn man ihm große Mengen entwickeln.

Turing-Test und Loebner-Preis

Der Turing-Test ist benannt nach dem ohne Sicht- und Hörkontakt mittels berühmten britischen Informatiker einer Tastatur Fragen. Weiß er am Alan Turing (1912–1954). Der Test Ende nicht, bei welchem seiner soll ermitteln, ob eine Maschine Konversationspartner es sich um dank künstlicher Intelligenz ein den Menschen handelte, hat die Denkvermögen entwickeln kann, Maschine den Test bestanden. das mit dem eines Menschen Mit dem Loebner-Preis wird seit vergleichbar ist. Klassischerweise 1991 der Entwickler jener Maschine stellt in dem Test ein Mensch zwei (bzw. jenes Chatbots) ausgezeichnet, Gesprächspartnern – einer ist ein die im Turing-Test das beste Ergebnis Mensch, der andere eine Maschine – verzeichnet.

16 Social Bots: Gefahr für die Demokratie? Welche Risiken bergen Social Bots?

D Welche Risiken bergen Social Bots?

Auch wenn Social Bots spätestens im Eine Untersuchung der insgesamt rund Dabei folgten die Bots offensichtlich Zuge der US-Präsidentschaftswahl zu 60.000 versandten Tweets förderte nicht nur stupiden Befehlen ihrer einem viel beachteten Medienthema aufschlussreiche Muster zutage. So ging menschlichen „Botmaster“. Stattdessen wurden, gibt es nur eine begrenzte es in den Beiträgen nicht nur um Politik, sorgten hochkomplexe Algorithmen Zahl von wissenschaftlich sondern die Bots „sprachen“ über dafür, dass die Meinungsroboter einen nachgewiesenen Fallbeispielen. Zu populäre Themen wie Fußball, machten „hohen Grad an Autonomie“ aufwiesen den am besten dokumentierten Fällen sexistische Witze und verbreiteten und lediglich abstrakten Regeln gehört der großflächige Einsatz von Links zum Download amerikanischer folgten, im Sinne von „Mache Dir einen Meinungsrobotern während des Kinofilme.13 Damit zielten sie vermutlich populären Tweet zu eigen und versieh Ukrainekonflikts im Jahr 2014. Dabei auf den Geschmack der anvisierten ihn mit den folgenden Hashtags“14. wiesen zwei deutsche Wissenschaftler, Zielgruppe. Die rechte Propaganda, Aufgrund dieser Strategie wurde es für ausgehend von einer Analyse von um die es den Urhebern des Netzwerks normale Nutzer extrem schwierig, die abgesetzten Twitter-Beiträgen mit in Wirklichkeit ging, wurde in tatsächlichen Motive der Urheber zu dem Hashtag #Ukraine, die Existenz diese Konversationen sozusagen erkennen. eines mutmaßlich von ukrainischen in homöopathischen Dosierungen Rechtsnationalisten gesteuerten Social- eingestreut. Das gleiche galt für Bots-Netzwerks mit rund 15.000 aktiven gezielte Falschinformationen wie die Twitter-Accounts nach.12 Behauptung, die Separatisten in der Ostukraine planten, russische Raketen auf die Hauptstadt Kiew zu richten.

12 Vgl. S. Hegelich und D. Janetzko, „Are social bots on twitter political actors? Empirical evidence from a Ukrainian social botnet“, Tenth International AAAI Conference on Web and Social Media, 2016. 13 Vgl. Hegelich, 2016. 14 Vgl. Hegelich, Janetzko, 2016.

Social Bots: Gefahr für die Demokratie? 17 Welche Risiken bergen Social Bots?

Aus diesem Beispiel und ähnlichen Die potenziellen Gefahren durch Wie real die Gefahr von Finanz­ dokumentierten Fällen – unter anderem Meinungsroboter sind allerdings nicht manipulation durch Social Bots während der Brexit-Kampagne – auf die politische Sphäre beschränkt. tatsächlich ist, lässt sich vorerst zwar lassen sich zumindest drei potenzielle So ist denkbar, dass Social Bots nicht mit Bestimmtheit sagen, das Gefahren ableiten, die Social Bots für eingesetzt werden, um Aktienkurse Bundeskriminalamt hat jedoch jüngst die demokratische Debattenkultur gezielt zu manipulieren. In der bereits zwei weitere Gefahrenszenarien bergen: wissenschaftlichen Literatur wird benannt:18 • Durch die massenhafte Verbreitung in diesem Zusammenhang auf den • Die Schaffung künstlicher Märkte, von Fake News sind Social Bots in mysteriösen Fall des Technologie-Start- um Anleger durch Bot-Kampagnen der Lage, gezielt „falsche Tatsachen“ ups Cynk aus dem USA verwiesen. Die gezielt in beworbene (nicht existente) in Umlauf zu bringen, was vor allem Firma hatte zwar nur einen Mitarbeiter Kapitalanlagen zu treiben. in angespannten politischen Lagen und erwirtschaftete keinerlei Umsätze, • Die Infiltrierung klassischer potenziell dramatische Folgen haben trotzdem stieg die Aktie im Jahr 2014 Vertriebs- und Beratungsmodelle kann. binnen weniger Wochen um rund durch von Social Bots verbreitete • Durch die schiere Menge verbreiteter 36.000 %, was Cynk zwischenzeitlich Falschnachrichten. Beiträge können Social Bots die einen Börsenwert von rund sechs Trends in den sozialen Netzwerken Milliarden Dollar bescherte (bevor die manipulieren und so die öffentliche Aktie kurz danach zusammenbrach).15 Meinung in eine bestimmte Richtung Auffällig ist hier, dass die Rallye des lenken. Wertpapiers mit vielen positiven • Mit ihren oftmals radikalen Positionen Twitter-Kommentaren zusammenfiel. tragen Social Bots dazu bei, dass sich Eine Erklärung für den wundersamen (menschliche) User aus politischen Kursanstieg könnte deshalb darin Debatten zurückziehen. Im Ergebnis bestehen, dass Handelsroboter die Aktie betreiben die Meinungsroboter eine aufgrund der Twitter-Empfehlungen Verrohung des öffentlichen Diskurses. auch dann noch orderten, als menschliche Marktteilnehmer längst Verdacht schöpften.16,17

15 Vgl. T. Alloway, T. Bradshaw, „Cynk sinks after 36.000 % climb“, Financial Times, 2014. 16 Vgl. E. Ferrara et al., „The Rise of Social Bots“, Communications of the ACM, 2017. 17 Vgl. M. Levine, „Cynk makes the case for buying friends“, Naked Short Selling, Bloomberg, 2014. 18 Vgl. S. Kind et al., Thesenpapier zum öffentlichen Fachgespräch „Social Bots – Diskussion und Validierung von Zwischenergebnissen“ am 26. Januar 2017 im Deutschen Bundestag, 2017.

18 Social Bots: Gefahr für die Demokratie? Welche Risiken bergen Social Bots?

Daneben sind weitere Bereiche Solche „Speer-Attacken“ sind nur denkbar, in denen Social Bots in ein Beispiel denkbarer Cyberwar- betrügerischer Absicht eingesetzt Aktivitäten. Es ist zumindest theoretisch werden können – und wirtschaftliche möglich, über den Einsatz von Social oder sonstige Schäden anrichten. Ein Bots Schadsoftware zu verbreiten – relativ banales Beispiel ist der Fall der bis hin zu sogenannten DDoS-Angriffen US-Datingplattform Ashley Madison. (DDoS: Distributed Denial of Service), Dort verbargen sich hinter angeblich bei denen mit Massenanfragen rund 70.00019 Frauen in Wirklichkeit die Homepage des Unternehmens Bots, deren Aufgabe darin bestand, lahmgelegt wird. Dabei müssen die Männer in bezahlpflichtige Chats zu Cyberwarfare-Methoden gar nicht verwickeln. Weniger anschaulich, immer hochkomplex sein. Denn wenn aber potenziell deutlich teurer sind Social Bots im politischen Kontext zur sogenannte Spear-Phishing-Attacken, Meinungsmanipulation eingesetzt die sich nicht nur gegen Einzelpersonen, werden – warum dann nicht auch in der sondern mit dem Ziel der Infiltrierung Wirtschaft? Das Risiko jedenfalls ist auch gegen Unternehmen einsetzen evident und potenziell extrem teuer, von lassen. Bei dieser Methode werden der Streuung von Insolvenzgerüchten ausgewählte Mitarbeiter gezielt bis hin zu Rufmordkampagnen gegen über soziale Netzwerke kontaktiert. handelnde Personen. Das Vorgehen ist vergleichbar mit Spammails – durch den Einsatz von Bots Wie Unternehmen auf die potenziellen lassen sich die Nachrichten allerdings Bedrohungen reagieren können, wird viel gezielter auf den Adressaten in Kapitel G erläutert. Zunächst wollen zuschneiden. Dadurch erhöht sich das wir uns einer anderen Frage widmen: Risiko, dass der Mitarbeiter auf den Bergen Social Bots neben Risiken nicht Angriff hereinfällt. auch Chancen?

Social Bots und die Bundestagswahl

Sind Bot-Kampagnen wie im werden wir Social Bots in unsere Ukrainekonflikt auch im Zuge der Strategie im Bundestagswahlkampf Bundestagswahl denkbar? Die einbeziehen.“20 Kurz darauf stellte politischen Parteien sind jedenfalls die AfD klar, sie plane „keinen sensibilisiert für das Thema – Einsatz sogenannter Social Bots im spätestens seitdem die AfD im Wahlkampf“. Bei einer Umfrage Herbst 2016 heftig kritisiert wurde, der Nachrichtenagentur Reuters nachdem ihr Vorstandsmitglied betonten auch CDU, CSU, SPD, Alice Weidel in einem Interview Grüne und FDP, im Wahlkampf keine erklärt hatte: „Selbstverständlich Meinungsroboter zu verwenden.21

19 Vgl. A. Newitz, „Ashley Madison code shows more women, and more bots“, Gizmodo.com, 2015. 20 Zeit Online, „AfD will Social Bots im Wahlkampf einsetzen“, Zeit Online, 2016. 21 Vgl. A. Rinke, „Sorge um gekaufte digitale Hilfe im Wahlkampf“, Reuters, 2016.

Social Bots: Gefahr für die Demokratie? 19 Welche Chancen bieten Social Bots?

E Welche Chancen bieten Social Bots?

Nicht nur Parteien betonen, dass sie Gleichwohl: Als irgendwann immer keine Social Bots einsetzen – auch aus mehr Mitglieder den Verdacht der Unternehmenswelt sind bislang äußerten, Lajello sei in Wirklichkeit keine prominenten Fälle bekannt. Dabei eine Maschine, wurde das Profil vom braucht es eigentlich nicht viel Fantasie, Betreiber des Netzwerks gesperrt. Ganz um sich das theoretische Potenzial von abgesehen von den rechtlichen Fragen Meinungsrobotern im Marketingbereich zeigte sich an diesem Punkt, warum auszumalen. Ein gutes Beispiel hierfür Unternehmen beim Thema Social ist der Fall Lajello.22 Bots aus gutem Grund zurückhaltend sind. Hätte hinter Lajello tatsächlich Unter diesem Namen tummelte sich ein Verlag gestanden, wäre der vor ein paar Jahren ein Mitglied bei Imageschaden vermutlich sehr viel aNobii.com, einem sozialen Netzwerk, größer gewesen als der Nutzen durch in dem sich Literaturfreunde über den Mehrverkauf von Büchern. Deshalb Bücher austauschen. Indem Lajello stellt sich die Frage: Sind Social Bots anderen Mitgliedern immer wieder als Instrument für Unternehmen Lesetipps gab, mutierte das Profil im und andere seriöse Institutionen von Lauf der Zeit zum zweiteinflussreichsten vornherein diskreditiert? User auf aNobii.com überhaupt. Doch bei Lajello handelte es sich nicht um einen Menschen, sondern um einen Social Bot. Hinter dem Fake-Profil stand eine Gruppe von Programmierern der Universität Turin. Sie betrachteten das Ganze lediglich als Experiment. Ein Literaturverlag hingegen könnte sich solch einen Bücher-Bot beispielsweise als Vertriebsinstrument zu Eigen machen.

Auch viele Buchungsportale setzen inzwischen auf Chatbots.

22 Vgl. MIT Technology Review, „How a Simple Spambot Became the Second Most Powerful Member of an Italien Social Network“, MIT Technology Review, 2014.

20 Social Bots: Gefahr für die Demokratie? Welche Chancen bieten Social Bots?

So einfach kann man das nicht sagen. Abb. 8 Akzeptierter Einsatz von Social Bots Denn wie bereits erläutert, handelt es sich bei Social Bots technisch Über vier von zehn Deutschen sind für ein generelles Verbot von Social Bots. betrachtet lediglich um eine Spielart der Chatbots. Wenn man von Social Zu welchen Zwecken sollten Social Bots Ihrer Meinung nach eingesetzt werden dürfen? Bots als Meinungsrobotern spricht, lassen sich Chatbots analog als Mehrfachnennung waren möglich Kommunikationsroboter bezeichnen. Letztere indes werden inzwischen von Basis: Alle Befragten, n = 1.000 vielen Unternehmen verwendet – eine Social Bots dürften eingesetzt werden für … Entwicklung, die enorm beschleunigt wurde dadurch, dass Facebook seine … automatisierte politische Aufklärung, 17 % Messenger-App im vergangenen Jahr für z. B. zum Wahlrecht. die Chatbots von Fremdfirmen öffnete.23 … automatisierte Verbreitung 13 % Die Einsatzfelder werden dabei immer von Werbung. vielfältiger. Bei Taco Bell (einer US- Kette im Bereich Systemgastronomie) 41 % … automatisierte Erstellung von 13 % akzeptieren nimmt der Roboter inzwischen nicht Nachrichten. nur die Essensbestellung entgegen, er Einsatz­felder kümmert sich auch um die Rechnung, … automatisierte Meinungsmache, z. B. für Social Bots. gibt kulinarische Tipps und organisiert durch Likes bei Facebook, Retweets bei 12 % Gruppenbestellungen.24 Auch viele Twitter, Rezensionen in Online-Shops etc. Buchungsportale setzen inzwischen … automatisierte Verbreitung 8 % auf Chatbots, ebenso wie Wetterdienste von Fake News. oder Anbieter für Gesundheitstipps. Entsprechende Fortschritte … Sammeln von Informationen von u. a. Kundenanfragen bei künstlicher Intelligenz und 7 % Usern, z. B. als Facebook‑Freunde. beantworten, maschinellem Lernen vorausgesetzt, Verbrechensbekämpfung,­­ könnten die Kommunikationsroboter in im Notfall, alles – Teil der … andere Einsatzfelder. den kommenden Jahren zu virtuellen 1 % Meinungsfreiheit­ Assistenten mutieren, die menschlichen Servicemitarbeitern sowohl in der Kundenkommunikation als auch im Weiß nicht. 16 % Kundenservice immer mehr Aufgaben abnehmen. Social Bots sollten ganz 43 % verboten werden.

23 Vgl. J. Sablich, „How to plan your next travel with a chatbot“, New York Times, 2017. 24 Vgl. S. Kirchhof, „Was der Hype um Social Bots bedeutet“, Horizont, 2016.

Social Bots: Gefahr für die Demokratie? 21 Welche Chancen bieten Social Bots?

Die Grenze zwischen Chatbot und Wie sich Mischformen aus Chatbot Social Bot dürfte im Zuge dieser und Social Bots (wir wollen dafür den Entwicklung fließender werden – Begriff „Influencer-Bot“ einführen) und der kontrollierte Einsatz von in solche Strategien einbinden lassen, Meinungsrobotern eine durchaus lässt sich noch nicht konkret sagen. realistische Option. Ein potenzielles Allerdings steht außer Frage, dass Verwendungsgebiet, für Unternehmen der Einsatz einem nicht nur rechtlich, wie auch für politische Institutionen, sondern auch ethisch eindeutigen ist das sogenannte Influencer- Kriterienkatalog zu folgen hätte. Daher Marketing. Damit ist die Methode wollen wir anhand von zwei Merkmalen gemeint, das Marketing im Internet skizzieren, welchen Anforderungen bzw. in den sozialen Medien gezielt eine solche Mischform genügen müsste, darauf auszurichten, einflussreiche um sowohl einen klaren Mehrwert Multiplikatoren für das eigene zu generieren als auch öffentliche Produkt, die eigene Marke oder eben Akzeptanz zu erhalten: auch die eigene Partei zu gewinnen. • In Kapitel A haben wir definiert, dass Klassischerweise handelt es sich bei Chatbots reaktiv kommunizieren, diesen Influencern um Journalisten während Social Bots auch selbst oder Blogger. Daneben können aber zum aktiv werden. Influencer-Bots wären Beispiel auch „Fans“ (also etwa Kunden, demgemäß Social Bots. die einem Unternehmen bei Facebook • Zudem definierten wir, dass sich oder Twitter folgen) zu wertvollen Chatbots einer Quelle zuordnen Multiplikatoren werden. lassen, während Social Bots ihre Urheberschaft zu verschleiern suchen. Angesichts dessen würde es sich bei Influencer-Bots um Chatbots handeln.

22 Social Bots: Gefahr für die Demokratie? Fake News, Social Bots und die Rolle der Medien

F Fake News, Social Bots und die Rolle der Medien

Während in den 1980er-Jahren in den Erschwerend müssen sich die Um die Debatte mit einer soliden USA angeblich auf einen Journalisten Redaktionen nun auch mit neuen Faktengrundlage zu untermauern, ein PR-Experte kam, soll das Verhältnis Phänomenen wie Fake News oder Social hat PwC im April und Mai 2017 eine mittlerweile bei eins zu fünf liegen.25 Bots auseinandersetzen. Dabei stehen repräsentative Bevölkerungsumfrage Doch nicht nur die Übermacht sie vor dem zusätzlichen Problem, zum Thema „Social Bots und Fake professioneller Einflüsterer erschwert dass ein Teil der Bevölkerung die News“ durchführen lassen; daran den traditionellen Medien das Leben. Arbeit von Journalisten zunehmend nahmen 1.000 Bundesbürger ab 18 Das Internet hat aus dem einstigen kritisch betrachtet – oder zumindest Jahren teil. Dabei zeigte sich, dass die Tagesgeschäft ein Minutengeschäft in der Lage ist, diese Kritik (Stichwort meisten Befragten mit dem Begriff gemacht. Während Zeitungsredakteure „Lügenpresse“) via Internet direkter Fake News deutlich mehr anzufangen früher die Nachrichten für den nächsten und heftiger zu artikulieren, als dies wissen als mit dem Begriff Social Morgen aufbereiteten, sollen Online­ früher die Leserbriefschreiber konnten. Bots. So meinten 84 %, sie wüssten journalisten heute quasi in Echtzeit Charakteristisch für diese Entwicklung über Fake News „relativ gut“ oder nicht nur die News, sondern im ist, dass der neue US-Präsident via zumindest „ungefähr“ Bescheid; bei besten Fall auch die Analyse liefern. Twitter regelmäßig gegen Medien Social Bots waren es hingegen nur Parallel dazu sind die Werbeerlöse wie die New York Times den Vorwurf 36 %. Demgegenüber meinten 25 %, der klassischen Medien eingebrochen, erhebt, sie selbst seien es, die Fake sie würden Social Bots nur dem während die Bereitschaft des News produzierten. Haben Journalisten Namen nach kennen, während 39 % Publikums, für journalistische Inhalte angesichts dieser schwierigen angaben, sie könnten mit dem Stichwort zu zahlen, tendenziell sinkt. Bedingungen überhaupt noch eine gar nichts anfangen. Nachdem die Chance, ihre angestammte Rolle Befragten aufgeklärt wurden, was es als Gate­keeper des demokratischen mit den Meinungsrobotern auf sich Diskurses zu verteidigen? Oder drohen hat, meinten 9 %, sie hätten Social sie im angeblich postfaktischen Zeitalter Bots „ganz sicher“ schon einmal in den in einer Flut bewusst verbreiteter sozialen Netzwerken wahrgenommen. Falschnachrichten und böswilliger 28 % meinten, dies sei „vermutlich“ der Meinungsroboter zu versinken? Fall, ganz sicher waren sie aber nicht.

25 Vgl. S. Russ-Mohl, „Am Ende des Aufklärungszeitalters“, Neue Zürcher Zeitung, 2016.

Social Bots: Gefahr für die Demokratie? 23 Fake News, Social Bots und die Rolle der Medien

Abb. 9 Bekanntheit von Begriffen

Die Hälfte der Deutschen weiß über Fake News relativ gut Bescheid. Social Bots sind hingegen vier von zehn Befragten nicht bekannt.

Inwieweit kennen Sie die folgenden Begriffe?

Basis: Alle Befragten (Skalierte Abfrage), n = 1.000

Bekanntheit der Begriffe Fake News und Social Bots

Fake News Social Bots

Ich weiß darüber 50 % 14 % relativ gut Bescheid.

Ich weiß ungefähr, was 34 % 22 % sich dahinter verbirgt.

Kenne ich nur dem 9 % 25 % Namen nach.

Gar nicht. 7 % 39 %

Interessanterweise bietet die Umfrage originäre Aufgabe klassischer Medien starke Hinweise darauf, dass Fake (Zeitungen, Magazine, Fernsehen, News oder Social Bots die Arbeit Radio), die Öffentlichkeit über etablierter Medien nicht zwingend Phänomene wie Fake News und Social unterminieren müssen, sondern Bots aufzuklären. Dagegen sahen nur im Gegenteil sogar dazu beitragen 57 % die Plattformbetreiber selbst könnten, das Vertrauen in die klassische (also z. B. Twitter oder Facebook) und journalistische Arbeit wieder zu auch nur 53 % den Gesetzgeber in der stärken. So rechnen nur 5 % der Verantwortung. Tatsächlich wünschten Deutschen damit, in kostenpflichtigen sich neun von zehn Befragten, dass Tages- oder Wochenzeitungen auf die Redaktionen personell aufgestockt Fake News zu treffen – während dies werden, damit sie Informationen bei Twitter 66 % und Facebook sogar intensiver prüfen können. Allerdings: 79 % tun. Dazu passt, dass 61 % der Nur ein Viertel zeigte sich bereit, dafür Befragten meinte, es sei sogar eine auch zu zahlen.

24 Social Bots: Gefahr für die Demokratie? Fake News, Social Bots und die Rolle der Medien

Abb. 10 Aufklärung über Social Bots und Fakes News

Die Aufklärung über Social Bots und Fake News sollte in erster Linie durch die klassischen Medien erfolgen.

Wer sollte Ihrer Meinung nach über Fake News und Social Bots aufklären?

Mehrfachnennung waren möglich

Basis: Alle Befragten, n = 1.000

Über Social Bots und Fake News sollten aufklären: klassische Medien (Zeitungen, 61 % Magazine, Fernsehen, Radio)

Plattformbetreiber, 57 % z. B. Twitter, Facebook, etc.

der Gesetzgeber 53 %

Online -Medien 49 %

jemand anderes 1 % u. a. Schulen

niemand/jeder ist selbst 8 % verantwortlich

Hier zeigt sich ein grundsätzlicher Zugleich ist im Zuge von Fake News und Aus Deutschland gehören unter Widerspruch. Denn dass insbesondere Social Bots aber auch die Sensibilität anderem ARD und ZDF diesem Verbund Twitter von immer mehr Journalisten im Umgang mit den neuen Quellen an, aus den USA die Nachrichtenagentur als Informationsquelle genutzt wird, enorm gestiegen. Auch hier ist die dpa AP und aus Großbritannien die Tages­ liegt nicht nur an den Geschwindigkeits­ ein gutes Beispiel. Denn parallel zum zeitung Guardian. Das vielleicht vorteilen, die der Kurznachrichtendienst Listening Officer wollte die Agentur in Bemerkenswerteste allerdings ist: etwa gegenüber Korrespondenten diesem Jahr die Rolle eines sogenannten Neben klassischen Medien schlossen oder Nachrichtenagenturen bietet – Verification Officers einführen, „der sich auch Technologieunternehmen sondern auch daran, dass soziale große Erfahrung darin hat, zu erkennen, wie Facebook und Twitter der First Medien als Rechercheinstrument ob Meldungen plausibel sind“.27 Draft Coalition an. Quasi parallel günstig sind. Viele Redaktionen haben hat Facebook Anfang dieses Jahres – das Scannen der Social-Media-Kanäle Redaktionen, die es sich leisten offenbar als Reaktion auf die Kritik an längst institutionalisiert. So gibt es können (oder wollen), haben den der Verbreitung von Fake News während beispielsweise bei der Deutschen Kampf gegen Fake News und Social des US-Präsidentschaftswahlkampfs – Presseagentur (dpa) einen Listening Bots jedenfalls aufgenommen. Das das Facebook Journalism Project Officer, der „soziale Medien jedweder vielleicht beste Beispiel ist die First ausgerufen.29 Art auf Klumpen von Nachrichten Draft Coalition, deren Mitglieder sich [beobachtet], die darauf hindeuten, in Zukunft gegenseitig bei Recherche dass irgendwo etwas passiert“.26 und Verifikation unterstützen wollen.28

26 News Aktuell, „Die große Falle: Was das Phänomen Fake News für Kommunikation und PR bedeutet“, News Aktuell, 2017. 27 Ebenda. 28 Vgl. Meedia, „Große Koalition gegen Fake News: Globales Bündnis von über 40 Medien und Web-Konzernen geht an den Start“, Meedia, 2017. 29 Vgl. Zeit Online, „Facebook startet Projekt gegen Falschmeldungen“, Zeit Online, 2017.

Social Bots: Gefahr für die Demokratie? 25 Wie können sich Unternehmen und Institutionen schützen?

G Wie können sich Unternehmen und Institutionen schützen?

Handelt es sich bei Social Bots in erster Wie können sich Regierungen, Beispiel dadurch das Handwerk zu Linie um Instrumente zur Manipulation Parteien, Unternehmen und andere legen, dass sie ihnen den Zugang zu der öffentlichen Meinung – oder sind Organisationen gegen solche Angriffe den Schnittstellen (siehe Kapitel A) sie längst auch zur Waffe in einem zur Wehr setzen? Die Betreiber der erschweren. Auch andere theoretisch immer undurchsichtigeren Cyberwar sozialen Netzwerke – also Milliarden­ denkbare Abwehrmaßnahmen dürften mutiert? Mitte Mai berichtete das konzerne wie Facebook oder Twitter – aufgrund ihrer Radikalität den US‑Magazin Time von einer russischen müssten zum Schutz der eigenen Plattformbetreibern kaum gefallen. Cyberattacke auf das amerikanische Glaubwürdigkeit eigentlich ein vitales Dazu würde zum Beispiel eine Art Verteidigungsministerium.30 Demnach Interesse daran haben, Phänomene wie „Ausweispflicht“ gehören. Sie würde hatten zwei Monate zuvor mehr als Fake News, Social Bots oder Spear- darauf hinauslaufen, dass Nutzer bei 10.000 Ministeriumsmitarbeiter Attacken mit aller Macht zu bekämpfen. der Eröffnung eines Facebook- oder über Twitter scheinbar harmlose Tatsächlich veränderte Facebook Twitter-Accounts einen ähnlichen Mitteilungen erhalten, deren Inhalt jüngst seine Algorithmen, um mögliche Identifizierungsprozess durchlaufen exakt auf die Interessen ihrer Falschnachrichten leichter erkennen wie etwa bei einem Girokonto. Empfänger zugeschnitten war. Wer sich zu können. Fast zeitgleich ergriff auch bei Twitter zum Beispiel als Sportfan zu Google eine Reihe von Maßnahmen, Darüber hinaus befinden sich die erkennen gab, der erhielt einen Link, um die Verbreitung von Fake News Netzwerkbetreiber auch politisch der angeblich zu einem Bericht über zu erschweren. Trotzdem drängt auf schwierigem Terrain: Sollen zum ein Sportereignis führte. Tatsächlich sich bisweilen der Eindruck auf, dass Beispiel in den USA beheimatete jedoch verbargen sich hinter den Links die Schlacht nur halbherzig geführt Unternehmen wie Facebook, Twitter gefährliche Schadprogramme. Es wird. Zwar betont auch Twitter, dass oder Instagram in ihrem Kampf gegen handelte sich mithin um eine Spear- die eigenen Algorithmen darauf Social Bots, Spear-Phishing- oder Attacke (siehe Kapitel D) auf eine der ausgerichtet würden, Manipulationen DDoS-Attacken mit den amerikanischen mächtigsten Behörden der Welt. der Trendliste zu erkennen und Geheimdiensten kooperieren – oder gegebenenfalls reagieren zu können. dürfen sie gerade das nicht tun? Ein Dass die sozialen Medien nicht nur Als das Unternehmen zu dem Angriff anderes Beispiel: Wie sieht der richtige ein Verbreitungskanal für Fake News, auf das Verteidigungsministerium Umgang mit falschen Nachrichten sondern auch ein potenzielles Einfallstor gefragt wurde, gab es jedoch keinen aus? Wer entscheidet überhaupt, für Cyberangriffe darstellen, liegt auf Kommentar ab.31 was eine Fake News ist und was der Hand. Über Netzwerke wie LinkedIn nicht? Welche Geschichte ist objektiv oder Xing lassen sich für Außenstehende Der Fairness halber muss gesagt falsch – und welche lediglich politisch heutzutage die Organigramme ganzer werden, dass das Thema für die „gespinnt“. Bei Facebook weiß man Unternehmen nachvollziehen. Und bei Plattformbetreiber heikel ist. Zum um die enorme Brisanz solcher Fragen. Twitter kommunizieren „Professionals“ einen geht es natürlich um monetäre Während des US-Wahlkampfs sah sich häufig sehr offen mit „Kontakten“, Fragen – der Kampf gegen Fake News das Unternehmen sogar Vorwürfen deren Identität sie in vielen Fällen oder Social Bots kostet Geld. Zum ausgesetzt, bei der redaktionellen vermutlich nicht wirklich überprüft anderen geht es aber auch um sehr Kuratierung der Trending News haben. Wenn selbst das amerikanische grundsätzliche Erwägungen. Netzwerke „liberal“ geprägte Storys gegenüber Verteidigungsministerium zum Ziel wie Twitter oder auch Instagram „konservativen“ gezielt zu bevorzugen.32 einer über Social Media lancierten basieren technologisch gesehen ganz Cyberattacke wird – dann kann entscheidend auf dem Prinzip offener potenziell auch jede andere Institution Schnittstellen. Deshalb dürften sich zum Opfer eines solchen Angriffs die Betreiber dagegen sträuben, werden. den Urhebern von Social Bots zum

30 Vgl. M. Calabresi, „Inside Russia’s social media war on America“, Time, 2017. 31 Vgl. A. Breland, „Social media fights back against fake news“, The Hill, 2017. 32 Vgl. M. Nunez, „Former Facebook workers: We routinely suppressed conservative news“, Gizmodo.com, 2016.

26 Social Bots: Gefahr für die Demokratie? Wie können sich Unternehmen und Institutionen schützen?

Natürlich spielen auch rechtliche In der Tat begibt sich die Bundes­ Die potenzielle Gefahr, die von Fake Aspekte eine Rolle. Zum Zeitpunkt regierung mit dem Hate-Speech-Gesetz News, Social Bots oder Cyberattacken der Fertigstellung des vorliegenden auf rechtliches Neuland. Denn der in den sozialen Medien ausgeht, Whitepapers wurde in Deutschland zuletzt diskutierte Ministeriums­ verlangt nach gesamtgesellschaftlichen erregt über das sogenannte Hate- entwurf läuft darauf hinaus, Ordnungs­ Antworten. Im Mittelpunkt muss Speech-Gesetz (offizielle Bezeichnung: widrigkeiten oder gar Straftatbestände dabei die Aufklärung stehen. Hier „Netzwerkdurchsetzungsgesetz“) von privater Seite – sprich: von ist zum Beispiel die ehrenamtliche diskutiert. Der Entwurf von Justiz­ Facebook, Twitter usw. – feststellen Initiative Botswatch zu nennen, minister Heiko Maas sah vor, dass zu lassen. Dieser Ansatz ist in der die sich zur Aufgabe gemacht hat, die Netzwerkbetreiber offenkundig deutschen Gesetzgebung bislang verdächtige Twitter-Aktivitäten bei strafbare Inhalte in der Regel binnen ohne Beispiel. Hinzu kommt, dass die politischen Ereignissen in Deutschland 24 Stunden, in komplexen Fällen Grenzen zwischen einer gesellschaftlich zu analysieren. Daneben gibt es zwei innerhalb von sieben Tagen löschen unerwünschten und einer rechtlich vom Bundesministerium für Bildung müssen; verstoßen sie gegen diese verbotenen Äußerung fließend sind. und Forschung geförderte Projekte, die Vorgaben, drohen Bußgelder von bis Der Entwurf von Heiko Maas fordert sich mit Fake News und verwandten zu 50 Millionen Euro. Medienberichten also im Extremfall eine sichere Phänomenen auseinandersetzen. Sie zufolge kritisierte Facebook das Bewertung nicht sicher zu bewertender heißen PropStop und Social Media Gesetz als verfassungswidrig. In Sachverhalte – und das von einem Forensics. Ziel muss es sein, solche einem Lobbypapier des Konzerns privatwirtschaftlichen Unternehmen Initiativen zukünftig auch auf breiter hieß es demnach: „Der Rechtsstaat unter Vorgabe einer zeitlich eng internationaler Ebene zu verankern. darf die eigenen Versäumnisse gefassten Frist. und die Verantwortung nicht auf Zudem muss das Problem nicht private Unternehmen abwälzen. Die Dieser juristische Drahtseilakt nur auf der Makro-, sondern auch Verhinderung und Bekämpfung von zeigt exemplarisch, wie schwierig auf der Mikroebene angegangen Hate Speech und Falschmeldungen es ist, Social-Media-Phänomene werden. So werden Parteien, Unter­ ist eine öffentliche Aufgabe, der sich wie Hate Speech, Fake News oder nehmen und sonstige Institutionen der Staat nicht entziehen darf.“33 Social Bots mit den Mitteln des nicht umhinkommen, eigene Rechts in den Griff zu bekommen. Schutzmechanismen gegen die Selbst wenn man annähme, die Linie hier beschriebenen Risiken zu zwischen Recht und Unrecht ließe sich entwickeln. Wir wollen an dieser trennscharf ziehen, bliebe das Problem Stelle noch keine komplette Roadmap der Durchsetzung. Die Urheber illegaler entwerfen. Klar allerdings ist, dass Handlungen sitzen häufig im fernen die entsprechenden Maßnahmen Ausland und entziehen sich so der von zusätzlichen Investitionen in nationalstaatlichen Rechtsprechung. die IT-Sicherheit über Vorkehrungen Auch die Macht der Plattformbetreiber zur Krisenkommunikation bis hin zu stößt hier an Grenzen. Denn was einer stärkeren Sensibilisierung der nützen schärfere AGBs, wenn kaum Mitarbeiterschaft reichen müssen. Wie Aussicht besteht, Rechtsverletzungen komplex die Probleme sind, vor denen zu sanktionieren? wir stehen, illustriert abschließend ein weiterer Gastbeitrag von Professor Dr. Jens Lehmann und Klaudia Thellmann.

33 Spiegel Online, „Facebook nennt Maas-Gesetz verfassungswidrig“, Spiegel Online, 2017.

Social Bots: Gefahr für die Demokratie? 27 Gastbeitrag: Zwei technische Ansätze zur Identifizierung von Social Bots

H Gastbeitrag: Zwei technische Ansätze zur Identifizierung von Social Bots

Von Prof. Dr. Jens Lehmann Bot-Erkennung über Bot-Profilen wird auf Grundlage der und Klaudia Thellmann, Graph‑basierte Ansätze Annahme vorgenommen, dass sich Fraunhofer IAIS. Die Ansätze, die in Richtung Graph­ Bots tendenziell mehr mit anderen analyse gehen, sind auf das Erkennen Bots vernetzen als mit legitimen Auf technischer Seite kann durch von Gemeinschaften ausgelegt. Dabei Nutzern. Das Verfahren ermöglicht Anwendungen und Dienste den Nutzern werden Cluster von Nutzerprofilen, somit eine Partitionierung des Graphen, eine Stütze zur Verfügung gestellt die überdurchschnittlich eng also des sozialen (Teil)-Netzes, in werden, um Bots, Falschinformationen miteinander verknüpft sind, um ein als Gruppen von Bots und von legitimen und Manipulationsversuche so sicher vertrauenswürdig gekennzeichnetes Nutzern beziehungsweise ein Ranking wie möglich zu erkennen. Profil herum identifiziert34. Diese von (wahrscheinlichen) Fake-Profilen38. Analyse der Vernetzung von Social- Dabei unterscheidet man grundsätzlich zwei Methoden: Die eine ist auf die Abb. 11 Darstellung eines sozialen Netzes als Graph zugrunde liegende Graphstruktur des sozialen Netzes ausgelegt. Es geht darum, mittels Graphalgorithmen Verbindungen von Profilen zu untersuchen, um Gruppen von Bots und Gruppen von legitimen Nutzern zu unterscheiden und somit Bot-Netzwerke ausfindig zu machen.34

Eine andere, etwas effektivere Gruppe von Ansätzen wertet zur Bot-Detektion Profilinformationen –sogenannte Features – aus. Zu den untersuchten Profilinformationen zählen unter anderem: Alter des Accounts, Vernetzungs- und Interaktionsverhalten, Anzahl der Beiträge pro Tag, Inhalt der Beiträge, Anzahl von Freunden und Followern oder plausible Timeline.35,36,37

34 B. Viswanath, A. Post, K. P. Gummadi und A. Mislove, „An analysis of social network-based sybil defenses“, ACM SIGCOMM Computer Communication Review, 2010. 35 E. Ferrara, O. Varol, C. Davis, F. Menczer und A. Flammini, „The rise of social bots“, arXiv preprint, 2014. 36 C. A. Davis, O. Varol, E. Ferrara, A. Flammini und F. Menczer, „BotOrNot: A system to evaluate social bots“, Proceedings of the 25th International Conference Companion on World Wide Web, 2016. 37 O. Varol, E. Ferrara, C. A. Davis, F. Menczer und A. Flammini, „Online human-bot interactions: Detection, estimation, and characterization“, arXiv, 2017. 38 Q. Cao, M. Sirivianos, X. Yang und T. Pregueiro, „Aiding the detection of fake accounts in large scale social online services“, Proceedings of the 9th USENIX conference on Networked Systems Design and Implementation, 2012.

28 Social Bots: Gefahr für die Demokratie? Gastbeitrag: Zwei technische Ansätze zur Identifizierung von Social Bots

Den meisten Graph-basierten Ansätzen die Profilinformationen umfassen. Bot- und legitimen Profilen aus den liegt die Annahme zugrunde, dass Diese Feature-Vektoren werden dann Honeypots bezieht.42 Doch auch hier Bots sich mit vielen anderen Bots als Eingabe für ein Lernverfahren gilt: Die Honeypot-Strategie war vernetzen, während legitime Nutzer verwendet, welches für jeden Nutzer zwar anfangs sehr effektiv und half, die Vernetzung mit Bots meiden. Diese eine Bewertung erstellt, anhand deren tausende Bots einzufangen, weil Annahmen haben sich jedoch als nicht abgeleitet werden kann, ob es sich um frühere Bots (i. d. R. Spam-Bots) nicht immer zutreffend erwiesen.39 In der einen Bot oder einen Menschen handelt. darauf ausgelegt waren, Honeypots Studie von Jing et al.40, in der das zu erkennen. Das hat sich aber in Vernetzungs­verhalten von einer halben Das vorgeschlagene Verfahren weist der Zwischenzeit geändert.35 Million Bot-Accounts auf der sozialen laut Varol et. al37 eine hohe Präzision Plattform Renren untersucht wurde, in der Detektion von Twitter-Bots auf. Da sich die technischen Möglichkeiten konnten keine stark vernetzten Bot- Allerdings wurde die Evaluierung nur zur Erkennung von Social Bots noch Gemeinschaften beobachtet werden. Im auf Bots ausgeführt, die auf Honeypots im Entwicklungsstadium befinden und Gegenteil waren die Bots eher darauf reinfallen – darunter versteht man die Bot-Detektion der Bot-Entwicklung programmiert, legitime Gemeinschaften einen als Köder eingerichteten Account, üblicherweise hinterherhinkt, zu infiltrieren. der die Bots dazu verleiten soll, kann man derzeit wenig konkrete sich mit dem Account zu vernetzen. Aussagen zu ihrer Effektivität oder Dementsprechend kann dieses Missbrauchsanfälligkeit machen. Fest Bot-Erkennung über Klassifikationsmodell nur Bots steht aber, dass versucht wird, Social- Feature‑basierte Ansätze erkennen, die ähnliche Eigenschaften Bots möglichst menschenähnlich zu Es gibt einige veröffentlichte Ansätze, haben wie solche Bots, die auf den gestalten (siehe Kapitel C). Dadurch die auf Grundlage großer Mengen Honeypot hereinfallen. Das Ergebnis wird es immer schwieriger, selbst an gesammelten Daten mittels sollte man daher nur als Ausgangspunkt mittels Feature-basierten Ansätzen maschineller Lernverfahren versuchen, für eine eigene Einschätzung nehmen, Auffälligkeiten oder Ungereimtheiten Profilinformationen aus den sozialen da es nicht vollständig verlässlich ist. in Profilen und Verhaltensweisen zu Netzwerken auszuwerten. Damit sollen finden.43 ähnliche Verhaltensmuster von Bots Zu den weiteren Beispielen für aufgedeckt und in Cluster gruppiert ähnliche Ansätze gehört das unter Maschinelle Lernverfahren, die oder Profile von Bots aufgrund erlernter anderem von Wissenschaftlern Modelle zur Klassifikation von Unterscheidungskriterien erkannt der University of California39 Social Bots produzieren, könnten werden. Neben Verhaltensmustern entwickelte Klassifizierungssystem auch zur Entwicklung von Bots mit und Profildaten können hierbei auch zum Detektieren von Bots. Es baut menschenähnlicherem Verhalten Inhalte untersucht werden. Wenn ein auf einer Verhaltensanalyse von genutzt werden. Dabei würden Twitter-Nutzer zum Beispiel oft sehr Nutzern auf, genauer gesagt, dem diese Modelle dazu genutzt, gewisse ähnliche Inhalte in Posts verwendet, Surfverhalten von Nutzern. Hierbei Merkmale abzuändern, die die Bots dann ist das ein Indikator dafür, dass es wird insbesondere untersucht, wann enttarnen würden. Außerdem sind sich um einen Bot handelt, der gezielt und in welcher Abfolge Anfragen an diese Ansätze auf die Erhebung von spezielle Inhalte, zum Beispiel zur Webseiten abgeschickt werden. Ein Profildaten angewiesen, und manche Stimmungsmache, verbreitet. anderer vorgeschlagener Ansatz zum Ansätze benötigen sogar direkten Klassifizieren von Bot-Profilen basiert Zugriff auf das Nutzerprofil, woraus sich Ein prominentes Beispiel, das auch ebenfalls auf Verhaltensstatistiken, wieder Missbrauchspotenziale ergeben. in der Praxis Anwendung findet, insbesondere auf dem Vernetzungs­ Klar ist, dass es in den kommenden ist die von einer Gruppe um den verhalten vom eigentlichen Profil und Monaten und Jahren zu einem Wettlauf Computerwissenschaftler Emilio den damit vernetzten Profilen.41 kommen wird zwischen den Betreibern Ferrara entwickelte kostenlose Web- von Social Bots einerseits und den API Botometer (früher bekannt Eine andere Gruppe von Wissen­ technischen Möglichkeiten, diese als BotOrNot; siehe Kapitel B) für schaftlern schlägt wiederum eine Bots zu erkennen und zu verhindern, Twitter. 37 Für jedes Subjekt (Bot oder Detektion von Twitter-Bot-Profilen andererseits. Noch ist unklar, wer dieses Nutzer) werden unterschiedliche vor, die Daten zum Erlernen der Rennen gewinnt. Kennzahlen (Features) extrahiert, Unterscheidungsmerkmale zwischen

39 G. Wang, M. Mohanlal, C. Wilson, X. Wang, M. Metzger, H. Zheng und B. Y. Zhao, „Social turing tests: Crowdsourcing Sybil detection“, arXiv, 2012. 40 J. Jing , C. Wilson, X. Wang, W. Sha, P. Huang, Y. Dai und B. Y. Zhao, „Understanding latent interactions in online social networks“, ACM Transactions on the Web (TWEB), 2013. 41 Z. Yang, C. Wilson, X. Wang, T. Gao, B. Y. Zhao und Y. Dai, „Uncovering social network Sybils in the wild“, ACM Transactions on Knowledge Discovery from Data (TKDD), 2014. 42 K. Lee, B. D. Eoff und J. Caverlee, „Seven Months with the Devils: A Long-Term Study of Content Polluters on Twitter“, ICWSM, 2011. 43 S. Kind et al., Thesenpapier zum öffentlichen Fachgespräch „Social Bots – Diskussion und Validierung von Zwischenergebnissen“ am 26. Januar 2017 im Deutschen Bundestag, 2017.

Social Bots: Gefahr für die Demokratie? 29 Quellenverzeichnis

Quellenverzeichnis

D. Alba, „The Political Twitter Bots Will Rage This Election Day“, Wired.com, 2016.

T. Alloway, „T. Bradshaw, Cynk sinks after 36.000 % climb“, Financial Times, 2014.

A. Bessi und E. Ferrara, „Social bots distort the 2016 US presidential election online discussion“, First Monday, 2016.

P. Beuth, „Furcht vor den neuen Wahlkampfmaschinen“, Zeit Online, 2017.

A. Breland, „Social media fights back against fake news“, The Hill, 2017.

M. Calabresi, „Inside Russia’s Social Media War on America“, Times, 2017.

E. Ferrara, „Manipulation and abuse on social media“, ACM, 2015.

E. Ferrara et al., „The Rise of Social Bots“, Communications of the ACM, Bd. 59, Nr. 7, S. 96–104, 2016.

The Guardian, „Computer simulating 13-years-old boy becomes first to pass Turing test“, Guardian.com, 2014.

S. Hegelich, „Invasion der Meinungs-Roboter“, Analysen und Argumente, Nr. 221, 2016.

S. Hegelich und D. Janetzko, „Are social bots on twitter political actors? Empirical evidence from a Ukrainian social botnet,“ Tenth International AAAI Conference on Web and Social Media, 2016.

P. N. Howard und B. Kollanyi, „Bots,#StrongerIn, and#Brexit: computational propaganda during the UK-EU Referendum “, Social Science Research Network 2798311, 2016.

E. Hunt, Tay, „Microsoft’s AI Chatbot, gets a crash course in racism from Twitter“, Guardian.com, 2016.

S. Kind et al., Thesenpapier zum öffentlichen Fachgespräch „Social Bots – Diskussion und Validierung von Zwischenergebnissen“ am 26. Januar 2017 im Deutschen Bundestag, 2017.

30 Social Bots: Gefahr für die Demokratie? Quellenverzeichnis

S. Kirchhof, „Was der Hype um Social Bots bedeutet“, Horizont, 2016.

M. Levine, „Cynk makes the case for buying friends“, Naked Short Selling, Bloomberg, 2014.

Meedia, „Große Koalition gegen Fake News: Globales Bündnis von über 40 Medien und Web-Konzernen geht an den Start“, Meedia, 2017.

MIT Technology Review, „How a simple spambot became the second most powerful member of an Italien Social Network“, MIT Technology Review, 2014.

A. Newitz, „Ashley Madison Code shows more women, and more bots“, Gizmodo.com, 2015.

News Aktuell, „Die große Falle: Was das Phänomen Fake News für Kommunikation und PR bedeutet“, News Aktuell, 2017.

M. Nunez, „Former Facebook workers: We routinely suppressed conservative news“, Gizmodo.com, 2016.

A. Rinke, „Sorge um gekaufte digitale Hilfe im Wahlkampf“, Reuters, 2016.

M. Rosenbach und G. Traufetter, „Betreiben von Social Bots soll unter Strafe stehen“, Spiegel, 2017.

S. Russ-Mohl, „Am Ende des Aufklärungszeitalters“, Neue Zürcher Zeitung, 2016.

J. Sablich, „How to plan your next travel with a chatbot“, New York Times, 2017.

Spiegel Online, „Facebook nennt Maas-Gesetz verfassungswidrig“, Spiegel Online, 2017.

A. M. Turing, „Computing machinery and intelligence“, Mind, Bd. 59, Nr. 236, S. 433–460, 1950.

R. S. Wallace, „The anatomy of ALICE“, in Parsing the Turing Test, Springer, 2009.

G. Wang, T. Konolige, C. Wilson, X. Wang, H. Zheng und B. Y. Zhao, „You are how you click: Clickstream analysis for Sybil detection“, Usenix Security, 2013.

Social Bots: Gefahr für die Demokratie? 31 Quellenverzeichnis

J. Weizenbaum, „ELIZA – a computer program for the study of natural language communication between man and machine“, Communications of the ACM, Bd. 9, Nr. 1, 1966.

O. Westerhagen, „Der Feind im Netz. Bot-Netze als Gefahr für die Gesellschaft.“, c’t, 2017.

Zeit Online, „AfD will Social Bots im Wahlkampf einsetzen“, Zeit Online, 2016.

Zeit Online, „Facebook startet Projekt gegen Falschmeldungen“, Zeit Online, 2017.

32 Social Bots: Gefahr für die Demokratie? Ihre Ansprechpartner

Ihre Ansprechpartner

Werner Ballhaus Bernd Reimer Leiter Technologie, Medien und Forensic Services Telekommunikation Tel.: +49 71 125 034-3571 Tel.: +49 211 981-5848 [email protected] [email protected]

Dr. Christian Dressel Mathias Elsäßer Praxisgruppe IP IT & Datenschutzrecht Data Driven Marketing Tel.: +49 211 981-1815 Tel.: +49 71 125 034-3307 [email protected] [email protected]

Pressekontakt:

Julia Wollschläger Communications Tel.: +49 211 981-5095 [email protected]

Über uns Unsere Mandanten stehen tagtäglich vor vielfältigen Aufgaben, möchten neue Ideen umsetzen und suchen Rat. Sie erwarten, dass wir sie ganzheitlich betreuen und praxisorientierte Lösungen mit größtmöglichem Nutzen entwickeln. Deshalb setzen wir für jeden Mandanten, ob Global Player, Familienunternehmen oder kommunaler Träger, unser gesamtes Potenzial ein: Erfahrung, Branchenkenntnis, Fachwissen, Qualitätsanspruch, Innovationskraft und die Ressourcen unseres Expertennetzwerks in 157 Ländern. Besonders wichtig ist uns die vertrauensvolle Zusammenarbeit mit unseren Mandanten, denn je besser wir sie kennen und verstehen, umso gezielter können wir sie unterstützen.

PwC. Mehr als 10.300 engagierte Menschen an 21 Standorten. 1,9 Mrd. Euro Gesamtleistung. Führende Wirtschaftsprüfungs- und Beratungsgesellschaft in Deutschland.

PwC Legal. Mehr als 200 Rechtsanwältinnen und Rechtsanwälte an 18 Standorten. Integrierte Rechtsberatung für die Praxis.

Social Bots: Gefahr für die Demokratie? 33 www.pwc.de www.pwclegal.de