Protokoll-Nr. 19/32

19. Wahlperiode Deutscher Bundestag Ausschuss Digitale Agenda

Wortprotokoll der 32. Sitzung

Ausschuss Digitale Agenda Berlin, den 10. April 2019, 16:00 Uhr 11011 Berlin, Konrad-Adenauer-Str. 1 Sitzungssaal: PLH E.300

Vorsitz: Hansjörg Durz, MdB

Tagesordnung - Öffentliche Anhörung

Tagesordnungspunkt 1 Seite 03

Öffentliche Anhörung zum Thema: Resilienz von Demokratien im digitalen Zeitalter im Kontext der Europawahl

19. Wahlperiode Seite 1 von 29 Ausschuss Digitale Agenda

Mitglieder des Ausschusses Ordentliche Mitglieder Stellvertretende Mitglieder CDU/CSU Beermann, Maik Biadacz, Marc Durz, Hansjörg Friedrich (Hof), Dr. Hans-Peter Hauer, Matthias Kühne, Dr. Roy Heilmann, Thomas Nick, Dr. Andreas Kemmer, Ronja Schön, Nadine Sauer, Stefan Steineke, Sebastian Schipanski, Tankred Whittaker, Kai SPD Esken, Saskia Bartol, Sören Herzog, Gustav Gerster, Martin Korkmaz, Elvan Klingbeil, Lars Mohrs, Falko Schüle, Dr. Manja Zimmermann, Dr. Jens Stadler, Svenja AfD Cotar, Joana Bühl, Marcus Espendiller, Dr. Michael König, Jörn Schulz, Uwe Wiehle, Wolfgang FDP Höferlin, Manuel Brandenburg (Südpfalz), Mario Schulz, Jimmy Sitta, Frank DIE LINKE. Domscheit-Berg, Anke Movassat, Niema Sitte, Dr. Petra Pau, Petra BÜNDNIS 90/DIE Christmann, Dr. Anna Bayaz, Dr. Danyal GRÜNEN Janecek, Dieter Rößner, Tabea fraktionslos Kamann, Uwe

19. Wahlperiode Protokoll der 32. Sitzung Seite 2 von 29 vom 10. April 2019 "›. Ausschuss Digitale Agenda Ili

TEILNEHMER

Ordentliche Mitglieder des Ausschusses Stellvertretende Mitglieder des Ausschusses

CDU/CSU CDU/CSU Beermann, Maik Schön, Nadine Durz, Hansjörg Hauer, Matthias Heilmann, Thomas Sauer, Stefan Schipanski, Tankred

SPD SPD Esken, Saskia Herzog, Gustav Korkmaz, Elvan Mohrs, Falko Zimmermann Dr., Jens

AfD AfD Cotar, Joana

FDP FDP Brandenburg (Südpfalz), Mario

DIE LINKE. DIE LINKE. Domscheit-Berg, Anke Sitte Dr., Petra

BÜ90/GR BÜ90/GR Christmann Dr., Anna Rößner, Tabea

Fraktionslos Kamann, Uwe

19. Wahlperiode Protokoll der 32. Sitzung Seite 3 von 29 vom 10. April 2019 Ausschuss Digitale Agenda 19. Wahlperiode

Gäste Künast, Renate (BÜ90/GR

Fraktionsmitarbeiter Liening, Stephan CDU/CSU Drenger, Markus BÜ90/GR

Ministerium / Behörde Hollenbach BPA Kindl AA König BPA Spieleder AA Wicke BMI

Bundesrat Lawall Mecklenburg-Vorpommern Jäger, Barbara Thüringen

Sachverständige Emmer Prof. Dr., Martin Weizenbaum-Institut für die Vernetzte Gesellschaft - deutsches Interne-Institut Gaycken Dr., Sandro Direktor des Digital Society Institutes, ESMT Berlin Hegelich Prof. Dr., Simon Hochschule für Politik, München Neudert, Lisa-Marie Oxford Internet Institute Sängerlaub, Alexander Stiftung Neue Verantwortung e. V. Schwarz, Karolin freie Journalistin

19. Wahlperiode Protokoll der 32. Sitzung Seite 4 von 29 vom 10. April 2019 Ausschuss Digitale Agenda

Tagesordnungspunkt 1 wieder ausgeschaltet werden. Öffentliche Anhörung zum Thema: Gegenstand der heutigen Resilienz von Demokratien im digitalen Zeitalter Sachverständigenanhörung sind verschiedene im Kontext der Europawahl Aspekte rund um die politische Willensbildung im Zusammenhang mit sozialen Netzwerken und Hansjörg Durz, MdB: Sehr Der Vorsitzende anderer Möglichkeiten der Meinungsbildung im Herren, ich begrüße Sie zu der geehrte Damen und Internet. 32. Sitzung des Ausschusses Digitale Agenda, eine öffentliche Anhörung mit dem Thema „Resilienz Klassische Medien haben ihre Alleinstellung bei von Demokratien im digitalen Zeitalter im der Versorgung der Bevölkerung mit Nachrichten, Kontext der Europawahl". Ich begrüße ganz Kultur und Wissenschaft längst verloren. herzlich meine Kolleginnen und Kollegen aus Stattdessen gibt es eine Vielzahl von Angeboten dem Deutschen Bundestag und alle Interessenten neben Fernsehen und Zeitungen, über das Netz, Ich darf ganz herzlich die geladenen soziale Netzwerke, Messenger-Dienste und so Sachverständigen namentlich begrüßen: weiter. • Prof. Dr. Simon Hegelich (Hochschule für Meinungsbildung und Meinungsmanipulation Politik München) liegen oft eng beieinander. Kontrovers wird nicht zuletzt diskutiert, wie aus dieser weit • Prof. Dr. Martin Emmer (Weizenbaum-Institut ausgefächerten Informationsbereitstellung ein für die Vernetzte Gesellschaft - deutsches Nährboden für Manipulationen entstehen kann Internet-Institut) oder sogar entsteht. Dabei fallen Begriffe wie Chat • Lisa-Maria Neudert (Oxford Internet Institute) Bots, algorithmische Selektion, Fake Friends, Fake Followers oder auch Echokammern und • Dr. Sandro Gaycken (Direktor des Digital Microtargeting und so weiter. Society Institutes, ESMT Berlin) Die Auseinandersetzung mit diesen • Karolin Schwarz (freie Journalistin) Begrifflichkeiten und die Frage, welchen Einfluss • Alexander Sängerlaub (Stiftung Neue die Medienkompetenz der Bürgerinnen und Verantwortung e.V.) Bürger auf ihre Partizipation bei politischen Entscheidungsprozessen hat, steht für uns heute Ich möchte vorab erwähnen, wie wir formal den im Mittelpunkt der Sachverständigenanhörung. Ablauf der öffentlichen Anhörung im Obleutegespräch vereinbart haben: Zunächst In wenigen Wochen finden die Europawahl und sollen die Sachverständigen in einem drei Landtagswahlen in Deutschland statt. fünfminütigen Statement ihre Sicht darstellen. Mögliche digitale Beeinflussung von Wahlen und Anschließend hat jede Fraktion ein Zeitfenster dem Wahlverhalten der Bürgerinnen und Bürger von fünf Minuten. Innerhalb dieser fünf Minuten ist nicht nur ein Thema, das die deutsche soll die Frage oder die Fragen gestellt werden, Kommission beunruhigt. Es ist auch ein Thema, aber auch die Antwort erfolgen. Also, wenn sich mit dem sich der Deutsche Bundestag die Fragesteller kurz halten, haben die auseinandersetzt. Sachverständigen mehr Zeit, die Antwort zu Wir wollen das heute insbesondere tun. Dazu geben. Die Sachverständigen antworten dann haben wir die Sachverständigen eingeladen und unmittelbar auf die Frage. Bei jeder weiteren Ihnen auch eine Reihe von Fragen gestellt zu Fragerunde wird dasselbe Verfahren angewandt. denen wir uns auch entsprechende Antworten Es wird ein Wortprotokoll angefertigt und die erhoffen. Eine Reihe dieser Fragen resultieren Anhörung wird live auf www.Bundestag.de al auch aus den Befürchtungen, die im Vorfeld der dem Stream 2 übertragen. Der Stream ist Bundestagswahl 2017 bereits benannt worden anschließend auch über die Mediathek des sind. Jetzt, gut eineinhalb Jahre nach dieser Wahl Deutschen Bundestages abrufbar. Ich darf noch würden wir auch gerne erfahren wollen, inwiefern darauf hinweisen, dass die Mikrofone jeweils für sich diese Befürchtungen inzwischen bestätigen die Wortbeiträge eingeschaltet und danach bitte oder widerlegen lassen. Als Ausschuss Digitale

19. Wahlperiode Protokoll der 32. Sitzung Seite 5 von 29 vom 10. April 2019 Ausschuss Digitale Agenda

Agenda interessiert uns auch, welche muss man erst einmal eine Anhängerschaft Handlungsempfehlungen an die Politik es aus (Follower) aufbauen. Das tut man nicht mit Ihrer Sicht geben sollte. Welche Vorkehrungen irgendwelchen problematischen Inhalten, sondern müssten - um ein Beispiel zu nennen - von Seiten zum Beispiel damit, dass man Nachrichten über der Politik getroffen werden, um digitale Dynamo Dresden verbreitet, um eine Gruppe Wahlbeeinflussung effektiv zu verhindern. Wie gezielt anzusprechen. die Resilienz, die also lässt sich Wir haben generell deshalb das Problem, dass wir Widerstandsfähigkeit von Demokratien, im diese Kampagnen nicht an dem Inhalt erkennen Zeitalter stärken? digitalen können, weil die Inhalte häufig sehr banal und für Zunächst werden wir Professor Hegelich hören, sich genommen auch nicht gefährlich sind. Auch der nicht zum ersten Mal hier im Ausschuss Rede an den involvierten Accounts, an den Personen, und Antwort steht. Ich darf Sie, Professor lässt sich das meistens nicht festmachen, weil die Hegelich, bitten, das Wort zu ergreifen. Kampagnen darauf abzielen, dass andere Leute darauf mit einspringen. Auch an der Infrastruktur, SV Prof. Dr. Simon Hegelich: Herzlichen Dank für die benutzt wird, kann man es nicht festmachen, die Einladung. Ich freue mich immer sehr, wenn weil man in vielen Fällen zeigen kann, dass ich auch in diesem Rahmen auf die Ergebnisse legitime Services benutzt werden, eben um diese von der Forschung, die wir in der TU München Information zu verbreiten. erarbeiten, hinweisen kann. Es ist wirklich auch ein entscheidendes Thema, wo sehr viel passiert Das Einzige, was bleibt ist, dass man wirklich das und wo sich auch der Forschungsstand sehr Verhalten in den Blick nehmen muss. Das ist schnell ändert. Insofern ist es schön, wenn wir schwierig, weil man es mit ganz uns öfter hier treffen. unterschiedlichen Sachen zu tun hat. Diese Kampagnen sind auch - und das hat die Ich möchte drei Punkte ansprechen: Forschung bislang noch nicht richtig im Blick - Ja, es gibt Desinformationskampagnen in den eigentlich immer als Cross-Plattform-Kampagnen sozialen Netzwerken, und die gab es auch angelegt. Das heißt, das bezieht sich nicht auf eine während der Bundestagswahl. einzige Social-Media-Plattform, sondern geht auch auf andere Plattformen über. Es gibt eine sehr Das Ausmaß dieser Kampagnen ist vielleicht starke Verbindung mit dem normalen größer, als man das im Zuge der Bundestagswahl Mediensystem, also Onlinesystem von selber gesehen hat. Inzwischen gibt es viele traditionellen Medien, die immer stärker Hinweise, dass eigentlich die reine Quantität Nachrichten aus den Netzwerken aufgreifen, erheblich über das hinausging, was man zunächst vielleicht auch direkt in ihre Seiten gesehen hat. einbinden. Was können wir jetzt zu 2017 sagen? Wir machen Die Wirkung dieser Desinformationskampagnen es hauptsächlich an einer Liste von wird vermutlich sehr stark überschätzt. Accounts fest, die Twitter im Zuge der Befragung im Quantitativ ist da sehr viel im Gange, aber es ist US-Senat veröffentlicht hat. Dort wird von Twitter ganz schwierig auf eine Wirkung dieser gesagt, es sind Accounts, die zu einer Kampagnen zurückzuschließen. Desinformationskampagne gehören. Man könnte Jetzt werde ich zu diesen drei Punkten noch kurz auch noch einmal im Detail darauf eingehen, wie etwas sagen. Worum geht es bei glaubwürdig das alles ist. Und wenn man sich die Desinformationskampagnen? Es sind koordinierte Inhalte anschaut, ist da auch etwas dran. Da ist Kampagnen, wo versucht wird über schon eine koordinierte Kampagne im Gange. unterschiedliche Strategien ein Ziel zu erreichen. Wir haben festgestellt, dass viele Das Ziel besteht meistens darin, Verunsicherung dieser Accounts auch in Deutschland tätig waren zu schüren oder das Vertrauen in demokratische und gerade auch zur Zeit der Bundestagswahl; Institutionen zu unterminieren. Das Problem viel stärker, als man das vielleicht im Blick hatte. Wir dabei ist, wenn solche Kampagnen angewandt können auch feststellen, dass es nicht nur Twitter werden, dass man Strategien verwendet, die auf ist, sondern - zumindest statistisch unterschiedliche Sachen zielen. Beispielsweise ziemlich eindeutig

19. Wahlperiode Protokoll der 32. Sitzung Seite 6 von 29 vom 10. April 2019 Ausschuss Digitale Agenda

nachweisen - dass die gleichen oder ähnliche durchaus in den Blick, dass eine Gesellschaft als Accounts auch auf Facebook unterwegs waren, Ganzes aus sich heraus so stark werden muss, um was bislang aber noch niemand untersucht hat. solche Bedrohungen abwehren zu können. Ich finde das auch die angemessene Perspektive in Zu Umfang und Wirkung: Generell muss man diesem Zusammenhang. sagen, bei all diesen Kampagnen sehen wir, sie sind quantitativ größer als das, was wir bislang Ich würde drei Dinge nennen, die mir besonders gesehen haben. Wenn wir das aber in ein wichtig wären: Verhältnis setzen zu dem, was generell in den Sie haben einmal die Frage von sozialen Netzwerken unterwegs ist, ist es sehr Medienkompetenz angesprochen. Das ist in der gering. Insofern ,gehen wir auch davon aus, dass Tat ein zentrales Thema. Da ist mir wichtig, dass sie einen relativ geringen Einfluss haben. Es gibt man Medienkompetenz nicht nur als reine Studien, die nahelegen, dass Beeinflussung am technische Medienumgangskompetenz versteht. ehesten bei kulturellen Themen gelingt und dort Wir sollen deshalb jetzt nicht alle Programmieren Priming-Effekte am ehesten erzielt werden lernen, sondern eher, dass es um den können. Die Themen, die in den Kampagnen grundsätzlichen Erwerb von digitalen auftauchen sind anti-political Correctness, Bürgerkompetenzen geht. Denn diese digitalen Migration und Religion. Insofern ist es möglich, Medien geben uns ganz neue, sehr machtvolle dass es eine Wirkung gibt. Mittel in die Hand, um uns zu informieren, uns zu Es gibt aber keine Studie, die das bisher beteiligen. Mit diesen neuen Mitteln umzugehen, untersucht hat. Wir arbeiten jetzt an dem Versuch ist eine ziemliche Herausforderung. Das wird zu berechnen, ob es einen Kausaleinfluss dieser bisher auf den Ebenen, die wir haben — der Kampagne gegeben hat. politischen Bildung und der Bildung im Allgemeinen —, zu wenig thematisiert. SV Prof. Dr. Martin Emmer: Herzlichen Dank für die Einladung. Ich schließe an das an, was Zweitens bedeutet Resilienz natürlich, dass Professor Hegelich gesagt hat. Mir wäre am Individuen, gesellschaftliche Gruppen, auch der Anfang relativ wichtig, diese Staat als Ganzes, die Mittel brauchen, um handeln Wirkungsdimensionen ein bisschen zu können. Transparenz ist ein zentrales Element. auseinanderzuhalten. Denn es waren in dem Nämlich die Tatsache, dass wir erkennen müssen, Fragenkatalog, den Sie uns geschickt haben, eine was eigentlich passiert, in solchen ganze Reihe von Fragen zu Wirkungen. Wenn wir Wahlkampagnen. Transparenz meint jetzt nicht Wirkungen analysieren, dann unterscheiden wir einfach das Offenlegen von Algorithmen. Es wäre die psychologischen Medienwirkungen — bei ohnehin für uns alle zu kompliziert das denen Inhalte unser Denken und unsere Meinung nachzuvollziehen. Sehr viel mächtiger wäre es, beeinflussen — von Meso- und Makroebenen- Journalisten, Medien und vor allem der Wirkungen. Wissenschaft, systematisch Zugang zu den Informationen zu geben, aus denen sich solche Mesoebene-Wirkungen sind Wirkungen auf der Wahlkampagnen entwickeln. Das ist Ebene sozialer Kommunikation. Zum Beispiel, für uns im Moment — ich wenn man in bestimmten weiß nicht, ob die anderen Wissenschaftler dem zustimmen — Kommunikationsgruppen eine gefühlte doch ein erhebliches Problem an die Daten Mehrheitsmeinung wahrnimmt und man dann heranzukommen, um entweder angestachelt wird oder eher Angst nachzuvollziehen, was da eigentlich passiert, bekommt, selbst etwas zu sagen. Für, all diese wenn Menschen mit Informationen, Ebenen ist nicht unbedingt eine beispielsweise auf Facebook, umgehen. Meinungsmanipulation erforderlich, um Effekte auf ein Wahlergebnis auszulösen. In diesem Kontext will ich noch drei Dinge ansprechen. Das eine ist, dass hier der Als ich den Fragenkatalog bekommen habe, habe Journalismus wichtig ich mich auch über den Begriff der Resilienz ist. Ich weiß, das ist eher Länderkompetenz und gefreut. Dieser Begriff zielt nicht nur auf gehört nicht wirklich hierher. Trotzdem ist es kurzfristige Problemlösungen ab, sondern nimmt wichtig, denn da passiert

19. Wahlperiode Protokoll der 32. Sitzung Seite 7 von 29 vom 10. April 2019 Ausschuss Digitale Agenda

auch etwas. Man muss auch für diese digitale konspirative Falschinformationen, die geteilt Zukunft sicherstellen, dass es unabhängige worden sind. Das vorweg als erste Einschätzung. Akteure gibt, unabhängige Medien, die in der Lage Dennoch sind wir in Deutschland immer noch in sind, solche Entwicklungen zu beobachten, einer Phase, wo wir über Problemdefinition aufzuklären und die Gesellschaft eben auch über nachdenken und wo wir uns auch in Dysfunktionalitäten zu informieren. Kleinigkeiten festhängen. Ich beschäftige mich Das Zweite habe ich gerade schon angesprochen. seit ca. 2016 konkret mit der Lage in Deutschland Nämlich, dass wir als Wissenschaftlerinnen und und für Deutschland sehe ich momentan Wissenschaftler klare Regeln brauchen, um eigentlich drei Gefahren: Zugang zu diesen Informationen zu haben, zu den Erstens Desinformation im politischen Kommunikationsinformationen. Ich glaube, das Mainstream. Wir haben uns auch die Junk-News- wird mittlerweile auch stärker von vielen Quellen in unserer Forschungsarbeit genauer Wissenschaftlerinnen und Wissenschaftlern angeschaut. Was wir da gesehen haben ist nicht, thematisiert. dass das irgendwelche fremden Mächte waren, Das Dritte ist, dass wir in dieser digitalen Welt sondern das sind vor allem Outlets hier in auch ganz neue Methoden entwickeln müssen. Deutschland. Das sind Outlets wie zum Beispiel Für uns sind im Moment KI-basierte Methoden „PI-NEWS (Politically Incorrect News)". Das war von Bedeutung, mit denen wir diese Massen an ein Anti-Islam-Blog „Philosophia Perennis", die digitalen Informationen, die auch mit ungeheurer das aus politischen, aber teilweise auch aus Geschwindigkeit entstehen und verbreitet werden, ökonomischen Motiven machen. Zusätzlich in den Griff kriegen, um sie zu analysieren. Ich kommen noch russische Staatsmedien wie glaube, da wären die Mittel, die zum Beispiel die „Russia Today" und „Ruptly" hinzu. Das sind KI-Strategie der Bundesregierung bereitstellt, ein Kanäle, die in Deutschland auf YouTube und hilfreiches Werkzeug. Facebook Hundertausende von Subscribern und Followern haben, und auch noch einmal Als Schlusswort: Ich glaube, dass eine resiliente zusätzliche Legitimität davon bekommen, wenn Gesellschaft einfach auch in Zukunft ein bisschen sie im politischen Mainstream hier in damit leben werden muss, dass es unfreundliche Deutschland so ankommen. ruppige Kommunikation in sozialen Netzwerken gibt. Man sollte sich von solchen totalitären Das zweite große Thema in Deutschland ist Wünschen, das alles loszuwerden, möglichst frei momentan Sodal Bots als Debattentreiber. Dazu machen. möchte ich gleich vorweg sagen, Professor Hegelich hat es auch schon im SVe Lisa-Maria Neudert: Danke sehr für die Eingangsstatement gesagt, es ist wahnsinnig schwer im Moment Einladung. Ich bin Lisa-Maria Neudert vom Forschung zu machen mit den Daten, die uns als Oxford Internet Institute, wo ich mich mit Forschern zur Verfügung stehen. Computational Propaganda beschäftige. Das ist computergestützte Propaganda durch die Nutzung Es ist schwer einzuschätzen, was momentan im von Algorithmen, von Big Data und von Internet automatisiert ist und was nicht. In Automatisierung zur Meinungsbeeinflussung. unserer Forschung sprechen wir daher nur noch Bevor ich in die Details gehe, möchte ich eines von Amplifikations-Accounts. Bei der gleich vorweg sagen: Das System an Bundestagswahl haben wir uns angeschaut, wie Desinformationen und das Thema viel Traffic von solchen Accounts amplifiziert Meinungsmache ist in Deutschland bereits im war. Wir haben festgestellt, es waren in etwa politischen Mainstream angekommen. 7,4 Prozent. Das war ein relativ geringer Anteil. Dennoch ist es in Deutschland ein Eine Forschung, die wir zur Bundestagswahl enormes Thema. Ich glaube, das hängt auch damit gemacht haben, hat sich damit beschäftigt, was zusammen, dass diverse Medien aus Quellen denn eigentlich Nutzer in den sozialen Medien für berichten, die nicht transparent sind, wie sie Informationen geteilt haben. Wir haben gesehen, vorgehen, und an deren Methodik ich auch dass 20 Prozent der politischen Informationen, die Zweifel erheben will. geteilt wurden, Junk News waren. Junk News sind

19. Wahlperiode Protokoll der 32. Sitzung Seite 8 von. 29 vom 10. April 2019 Ausschuss Digitale Agenda

Das dritte Thema ist ein globales Thema und hat Das wird ein schwieriges Spannungsverhältnis für mit der Regulierung und mit staatlichen uns sein in den nächsten Jahren. Gegenmaßnahmen zu tun. Wir haben uns in SV Dr. Sandro Gaycken: Vielen Dank für die unserer Forschung 42 Länder angeschaut und wie Einladung. Die Kollegen haben es schon gesagt, seit 2016 gegen Fake News und gegen die Effektivität vieler dieser Operationen ist Desinformation reguliert worden ist. Wir haben relativ umstritten. Allerdings ist es im Moment so, diverse Maßnahmen gesehen, die mit Content- dass das unter vielen Militärs- und Moderation zusammenhingen, mit Nachrichtendiensten doch als eine sehr attraktive Löschpflichten, mit Inhaltszensur. Was wir da Maßnahme angesehen wird. Man hat in den gesehen haben, sind beunruhigende Tendenzen, Medien mitbekommen, dass das viele größere nämlich zum Beispiel, dass autoritäre Regimes Akteure machen und hat sich das angesehen. Ein immer mehr Demokratien nutzen, um zu wichtiger Punkt bei dieser Art Information- rechtfertigen, was sie an Zensur machen. Die Operations ist, dass sie relativ billig Beurteilung, was legaler Content ist, wird immer durchzuführen sind. Es ist relativ kostengünstig. weiter den sozialen Medien und sozialen Man braucht nur ein Callcenter voller Agenten Plattformen überlassen. Und Maßnahmen, die oder Soldaten, die das machen. Die müssen nicht eingeführt werden, beschäftigen sich eigentlich einmal besondere technische Befähigungen haben. eher mit symptomatischen Erscheinungen als dass Die kriegen Werkzeuge an die Hand, die kriegen über Aufmerksamkeitsökonomien und Schulungen und dann kann man relativ günstig Geschäftsmodelle nachgedacht wird. damit umgehen. Grundsätzlich glaube ich, dass das Thema Ein Bekannter hat mir eine Anekdote erzählt von Desinformation etwas sein wird, was uns in einem alten Stasi-Offizier, der jetzt für den FSB Deutschland und weltweit in den nächsten Jahren (Geheimdienst der Russischen Föderation) in weiter beschäftigen und wahrscheinlich Teil der Russland arbeitet. Für den ist es ein Zubrot zu Politik und des öffentlichen Lebens sein wird. seiner Pension, 13.000 Trolle in Deutschland zu Vom Ausblick glaube ich das, was uns technisch koordinieren. Er schreibt einfach täglich ein paar Sorgen machen sollte sind momentan nicht die Sachen in seinen Twitter-Feed und noch ein paar Deep Fakes, sondern das ist immer mehr eine andere Geschichten. Von daher sind das Sachen, Abwanderung von Desinformation und von die kosten sozusagen nichts und kann man immer politischer Meinungsmache in politische mal nebenbei machen. Es ist auch taktisch sehr Netzwerke, die privat sind, wie beispielsweise attraktiv, es skaliert sehr schön. Man kann auch WhatsApp, Facebook-Messenger aber auch sehr viel aus seinen verschiedenen radikale sogenannte A11-Tech-Netzwerke wie Operationsformen für Propaganda und ähnliche Discord, wo Meinungsmanipulation und Dinge mit einfließen lassen. Russland ist dabei Kampagnen wirklich geplant werden. natürlich immer wieder ein sehr bekannter und großer Akteur, weil man im Grunde genommen Zweitens muss eine technische Lösung, sich aus diesem Paradigma der zumindest teilweise, absolut ein Teil der Antwort propagandistischen Beeinflussung nie so richtig sein. Wir haben eine wahnsinnige Menge an entfernt und verabschiedet hat. Informationen in den sozialen Netzwerken. Jetzt zum aktuellen Thema: In Neuseeland wurden Man hat dann taktisch sehr viele, sehr schöne nach Christchurch 1,5 Mio. Videos innerhalb der Vorteile. Man kann global agieren. Es ist auch ersten 24 Stunden gelöscht und 1,3 Mio. Videos nicht richtig nachvollziehbar, wer woher kommt davon wurden automatisiert gelöscht. Das ist eine und wer wohin agiert. Man kann Effekte sehr wahnsinnige Menge an Informationen. gezielt und sehr gut skalieren. Man kann auch Geschichten sehr gut skalieren« und sehr Zu guter Letzt und als abschließendes Wort: Wenn ausgerichtet auf spezifische Subkulturen wir uns über diese Themen Gedanken machen, konstruieren. Man kann vor allem natürlich auch werden wir auch immer damit zu tun haben, was die Diskurse sehr gut gestalten. Gerade wenn man demokratische Werte sind, mit freier da etwas stärker choreographiert und sich gezielt Meinungsäußerung und Freiheiten im Internet. an manipulativen Effekten ausrichtet, um zu

19. Wahlperiode Protokoll der 32. Sitzung Seite 9 von 29 vom 10. April 2019 Ausschuss Digitale Agenda

sehen, was man wann wo machen kann. Dadurch der Agenda haben und verschiedene andere kann man sehr gut Diskurse gestalten, gerade auch Bereiche auch damit angreifen wollen. So dass dadurch, dass man über verschiedene Plattformen jetzt also nicht nur diese alten Paradigmen hier zu und Medien geht. Das kann man natürlich sehr berücksichtigen sind, sondern tatsächlich auch gut aufeinander abstimmen, wenn man zusammen viele neue Akteure, die möglicherweise mit ganz in einem Callcenter sitzt. Solche Informationen anderen Interessen und anderen strategischen und Kampagnen werden natürlich auch sehr Denkweisen uns auch angreifen werden. streng durchgeplant. So dass man durch diese Es gibt daneben auch einige Faktoren, die von der Planung und diese Verstärkungseffekte Meinungsmanipulation selber etwas abweichen: verschiedener Kanäle und verschiedener Effekte, Das eine ist die direkte technische Angreifbarkeit die man dadurch haben kann, sehr viele vieler Mechanismen, die eine Rolle spielen. Man Manipulationseffekte tatsächlich sehr effektiv kann tatsächlich die Dienste-Betreiber selber ausspielen kann. angreifen. Man kann versuchen, die Algorithmen Ob das nun tatsächlich so in der Masse ankommt, anzugreifen, auszutauschen und sonst was damit ich glaube, in Russland zum Beispiel möchte man machen. Es gibt natürlich diese Search Engine jetzt nicht — oder denkt man nicht —, dass man Optimization (Suchmaschinenoptimierung), mit eine große Manipulation der Masse insgesamt hin der man versucht, Suchergebnisse in einem zu bestimmten Parteien erreichen kann. Aber man bestimmten Ranking zu manipulieren. kann natürlich bestimmte kleinere Diskurse Es gibt darüber hinaus — das haben wir in sozusagen „highjacken". Man kann sie für sich Russland sehr gut gesehen bei den Operationen in gewinnen, kann eine gewisse Meinungshoheit der Ukraine — die Möglichkeit, das zu stützen gewinnen. Man kann auch verschiedene Dinge durch Fakten, die man selber kreiert. Im Fall der platzieren, die man gerne platzieren möchte. Da Ukraine wurden halt Stromkraftwerke angegriffen, ist es wichtig zu sehen, was denn die strategische die Wahlprozesse selber wurden angegriffen. Das Denkweise dieser Akteure ist, die dahinter stehen. ist leider im Kontext der Europawahlen auch In diesem Fall zum Beispiel von Russland ist es gegeben, die Wahlen sind technisch angreifbar. Es so, dass die direkte Manipulation gar nicht so das könnte natürlich sein, dass über diese Vektoren vorrangige Ziel ist, sondern dass man einfach die auch weitere Einflussnahme stattfindet. Legitimität verschiedener demokratischer Der Vorsitzende: Ich habe soeben die Mitteilung Prozesse angreifen und ein bisschen zweifelhaft erhalten, dass im Parlament ein Hammelsprung darstellen will. Dahinter steht das gute alte stattfindet. Jetzt müssen wir die Sitzung leider Prinzip „teile und herrsche", dass man versuchen kurz unterbrechen. Die Abgeordneten müssen ins möchte, einfach nur ein bisschen Dissens überall Parlament gehen. Ich hoffe, dass wir relativ zügig hineinzubringen; Dissens im Falle Russlands zum wieder zurückkommen. Bitte laufen Sie uns nicht Beispiel in der NATO, Dissens auch für davon, bleiben Sie hier. Wir versuchen, so schnell Verteidigungspolitik und solche Sachen. wie möglich wieder da zu sein. Die Sitzung ist Natürlich dann auch für sich selber den Effekt der kurz unterbrochen. Wir fahren gleich fort. innenpolitischen Propaganda abholt. Sitzungsunterbrechung von 16:27 Uhr bis In dem Kontext ist es sehr interessant, solche 16:50 Uhr. Operationen durchzuführen. Wir sehen auch, wie solche Operationen teilweise von Russia Today Der Vorsitzende: Meine Damen und Herren, dann zum Beispiel genutzt werden, um bestimmte darf ich die Sitzung wieder starten. Es sind zwar Effekte dann wieder zu verstärken. Was wir sehen, noch nicht alle Kolleginnen und Kollegen wieder sind also erste Methoden und erste Gehschritte zurückgekommen, aber es sind zumindest schon tatsächlich von solchen Akteuren und fremden alle Fraktionen vertreten. Das ist Mächten in diesem Bereich. Wir müssen halt eben parlamentarischer Alltag, dass wir manchmal auch einbeziehen, dass es jetzt nicht nur die gerufen werden und dann folgen müssen. Ich Großen sein werden, die ihre üblichen Spielchen hoffe, Sie haben die Statements der vier hier machen, sondern dass tatsächlich sehr viele Sachverständigen noch in den Ohren und wir Dienste, sehr viele Länder, das relativ hoch auf fahren fort mit Karolin Schwarz.

19. Wahlperiode Protokoll der 32. Sitzung Seite 10 von 29 vom 10. April 2019 Ausschuss Digitale Agenda

SVe Karolin Schwarz: Vielen Dank für die Erscheinung treten und ihre eigenen national, Einladung. Auch als praktische Vertreterin freut regional oder lokal angepassten Kampagnen es mich, hier anwesend zu sein. Zur Rolle von umsetzen. Verantwortlich ist eine ganze Reihe digitaler politischer Manipulation im Internet von Akteuren, die sich zum Teil zu losen ergibt sich auf der Ebene der politischen Netzwerken zusammenschließen oder den Diskussion folgendes Bild: Auf der einen Seite ideologischen Schulterschluss vollziehen. Panik verbreitet, andererseits werden wird Neben dem durchaus berechtigten Druck auf bestehende Gefahren oft verharmlost oder nicht Social Media Plattformen muss auch die Politik langfristig betrachtet. Zugleich werden oftmals sich selbst regulieren. Denkbar wäre zum Beispiel einzelne Aspekte so wie die Regulierung von eine Verpflichtung der Offenlegung aller digital Social Bots ausgiebig diskutiert, während andere geschalteten Anzeigen inklusive ihres Inhalts, der vernachlässigt werden. Dennoch bleibt Kosten und der konkret anvisierten Zielgruppen. festzuhalten, dass die Diskussion in Deutschland Initiativen zur Stärkung der Medien- und vergleichsweise spät — nämlich direkt nach der Informationskompetenz der Bevölkerung sind Wahl Donald Trumps — einsetzte. natürlich zu begrüßen. Hier vermisse ich aber Irreführende Meldungen, die vor allem aktuell Vorstöße, die über entsprechende marginalisierte Gruppen wie Geflüchtete Maßnahmen an Schulen hinausgehen. Das wird betreffen, kursierten aber schon lange vor dem der aktuellen Studienlage, sowie der Winter 2016, insbesondere ab dem Sommer 2015. demographischen Entwicklung Deutschlands Nachhaltige Diskussionen sind wichtig und nicht gerecht. Entsprechende Bildungsangebote sollten zwingend geführt werden. Und sind zudem auch im Bereich der Politik, Justiz Manipulationskampagnen betreffen bei Weitem und verschiedenen Ämtern als sinnvoll zu nicht nur den Zeitraum kurz vor dem Urnengang, erachten. sondern sind oft auch angelegt, um Diskussionen Auch Vorstöße im Bereich der politischen über ganze Themenkomplexe langfristig zu Öffentlichkeitsarbeit sind in dieser Hinsicht beeinflussen. kritisch zu betrachten. Dadurch, dass sie sich in Die Vorgänge rund um den tödlichen den PR-Abteilungen durch die Benennung als Messerangriff in Chemnitz sowie die Gelbwesten- Newsroom den Anschein journalistischer Proteste in Frankreich sind nur zwei Beispiele Tätigkeiten geben, konterkarieren sie notwendige dafür, dass der Fokus auf Wahlkampagnen zu Medienbildung, da sie die Grenzen zwischen kurz greift. Viel mehr werden politischer Kommunikation und Journalismus Manipulationsversuche auch anlassbezogen verschleiern. Sich kritischen Fragen von unternommen. Es gibt eine ganze Reihe relevanter Journalisten zu stellen, ist Teil des Stakeholder, die jeweils in der Verantwortung demokratischen Prozesses der Meinungsbildung. sind, ihren Beitrag zu leisten, um digitaler Auch pauschale Angriffe auf Journalisten sind zu Manipulation vorzubeugen, sie zu schwächen vermeiden und ja, auch mir ist bewusst, dass oder zu sanktionieren. Journalisten Fehler machen. Das bedeutet auch, dass es keine einzelne Lösung Die Erfahrung der letzten Jahre zeigt, dass für die Probleme digitaler Manipulation gibt und böswillige Akteure in der Lage sind sogenannte auch nicht geben wird. Auch gesetzgeberische Data Voids, also Datenlücken, für sich Initiativen werden nicht unbedingt helfen und auszunutzen. Gerade in Themenfeldern, in denen könnten, selbst wenn sie gut gemeint sind, nicht täglich neue Informationen kommuniziert beispielsweise zu einer Einschränkung der werden, publizieren sogenannte Alternativmedien Meinungsfreiheit führen. Der Ruf nach oder andere massenhaft Inhalte und bestimmen so Gesetzgebung wird zudem auch im Detail häufig die Diskussion. Das betrifft neben dem der hohen Dynamik, der Methoden und allgemeinen politischen Geschehen zum Beispiel Ausprägung digitaler Manipulationsversuche auch Inhalte von Impfgegnern oder nicht gerecht. Die aktuelle Berichterstattung über vermeintlichen Wunderheilern, um nur zwei zu politisch motivierte Online-Trolle in Polen zeigt nennen. uns, dass häufig auch neue Akteure in

19. Wahlperiode Protokoll der 32. Sitzung Seite 11 von 29 vom 10. April 2019 Ausschuss Digitale Agenda

Gut aufbereitete und auffindbare Informationen Kommunikationsprozesse demokratisiert haben fehlen oft auch im politischen Kontext. Die und wir alle ein Teil von Öffentlichkeit sind. Das globale Kampagne gegen den UN-Migrationspakt ist erstmal toll, weil jeder mitmachen und jeder zeigt, dass entsprechende Informationen sinnvoll mitreden kann. Bedeutet aber auch, dass die aufbereitet und auffindbar sein müssen, damit die Menschen dazu ermutigt werden müssen, neue Diskussion nicht einseitig vorangetrieben wird. Es Kompetenzen und neue Skills zu haben. Das gilt also, solche Debatten auch zu antizipieren bedeutet heute vor allen Dingen journalistische und entsprechende Angebote vorzubereiten sowie Kompetenzen zu haben, zu verstehen, wo eine entsprechende Presseanfragen zu beantworten. Quelle herkommt, ob ein Kommunikator vertrauenswürdig ist. All das kann nicht nur Teil Vermehrte Transparenz, Investitionen in die der schulischen Bildung sein, wo es bisher Förderung der Medien- und tatsächlich sträflich vernachlässigt wird, sondern Informationskompetenz und andere Angebote muss auch anders den Leuten erklärt oder dienen zur Stärkung der digitalen nahegebracht werden. Das kann zum Beispiel Zivilgesellschaft und damit auch zur Stärkung auch über Medienangebote sein. Es könnte dringend benötigter digitaler Zivilcourage. vielmehr auch in den Inhalten der Öffentlich- SV Alexander Sängerlaub: Vielen herzlichen Rechtlichen Angebote geben und Medienbildung Dank für die Einladung. Ich freue mich auch, hier stattfinden, um den Menschen die digitale zu sein. Ich möchte die Frage stellen, was Öffentlichkeit näher zu bringen. eigentlich resiliente demokratische Wir haben uns zur Bundestagswahl mit der Frage Informationsarchitekturen ausmacht? Denn darum beschäftigt, wo kommen eigentlich geht es. Was macht eigentlich unsere Gesellschaft Desinformationen her. Wer verbreitet sie und über resilient? Da kommen ganz verschiedene Faktoren welche Kanäle gehen sie? Wen erreichen diese dazu. Die eine Frage ist zum Beispiel, welches Desinformationen und wie erfolgreich sind Vertrauen schenken wir Medien. Wir wissen, dass Gegenmaßnahmen, wie das Deutschland im internationalen Vergleich Fact-Checking? Wir sehen, dass das ganze Phänomen der einigermaßen hohe Vertrauenswerte hat. Das Desinformation doch komplexer ist. Große kommt zum Beispiel auch durch die öffentlich- Reichweiten erzielen rechtlichen Medienanstalten, denen die Desinformationen immer erst, wenn klassische Medien auch ins Menschen sehr viel Vertrauen schenken. Spiel kommen. Wir haben ganz oft, dass das in Wir sehen zum Beispiel in der Mediennutzung, rechtspopulistischen Kreisen auf den sozialen dass die jungen Leute sehr viel Vertrauen in die Netzwerken verbleibt. Erst wenn in klassischen öffentlich-rechtlichen Angebote haben, aber sie Medien Fehler passieren, gelangen die Themen nicht unbedingt nutzen. Vielleicht auch, weil die auch auf die große Agenda der Bundesrepublik. Menschen zu Netflix oder zu anderen Angeboten Was bedeutet das für den Journalismus? Der abwandern. Wie können diese Angebote für junge Journalismus muss auch lernen, wie er mit Menschen verfügbar gemacht werden, so dass in Populismus umgeht und welche Inhalte er den Kommunikationsräumen, in denen sie sich aufnimmt und weiterverbreitet. Und dass wir uns aufhalten, wie bei YouTube beispielsweise, mehr hier in Zeiten befinden, wo Journalismus öffentlich-rechtliche Angebote verfügbar sind? tatsächlich unter massivem Druck steht — auch Beispielsweise darüber, die Publikationspflicht, ökonomisch — wo es darum geht, dass die für öffentlich-rechtliche Angebote besteht, Medienrealität und Realität heute gleichzeitig abzuschaffen und die Öffentlich-Rechtlichen zu sind und lokale journalistische Strukturen immer ermutigen, auch in die Kommunikationsräume weiter zurückgehen. vorzudringen, in denen junge Leute unterwegs sind. Wenn man sich ansieht, wie viele Lokalzeitungen es noch gibt und wie viel publizistische Vielfalt. Vertrauen ist das eine und das andere ist eine Art Wo Deutschland immer gut und sehr stark war, digitaler Strukturwandel der Öffentlichkeit. Das gehen die Angebote zurück. Da ist die Frage, wie klingt jetzt ein bisschen komplex, heißt aber suchen sich die Leute neue Informationskanäle. nichts anderes, als dass sich heute Hier muss überlegt werden, wie wir diese

19. Wahlperiode Protokoll der 32. Sitzung Seite 12 von 29 vom 10. April 2019 Ausschuss Digitale Agenda

Informationsarchitektur auch im Kleinen Union und da Tankred Schipanski. Ich weise aufrechterhalten, dort wo die Leute vor Ort sind, nochmals darauf hin, fünf Minuten Zeit und im Regionalen oder im Lokalen. innerhalb dieser fünf Minuten die Frage oder die Fragen stellen und innerhalb dieser Zeit muss Das nächste große Thema ist die Transparenz. Wir auch die Antwort erfolgen. wissen relativ wenig. Das haben wir heute auch gemerkt, dass es ganz viele offene Fragen gibt. Abg. Tankred Schipanski (CDU/CSU): Vielen Und um mehr zu verstehen und mehr zu wissen, Dank verehrte Sachverständige. Ich glaube, am braucht es Datenzugänge. Die sozialen Netzwerke Ende war das noch einmal gut zusammengefasst, liefern relativ wenige Daten. Sie sammeln diese welche Keywords wir haben mit Daten zwar von uns allen, geben aber relativ Informationsarchitektur und Transparenz. Vielen wenig zurück. Hier braucht es die Möglichkeit, für Dank auch für Ihre schriftlichen Stellungnahmen, unabhängige Forschung beispielsweise, die Sie schon abgegeben haben und mit denen Sie Datenschnittstellen nutzen zu können, damit wir uns schon gut gebrieft haben. Der eine oder entweder als NGOs, als Fact-Checking- andere ist hier in diesem Kreis auch schon gut Organisation oder als Forscher nachvollziehen bekannt, denn es ist nicht das erste Mal, dass wir können, wie viel eigentlich an Desinformation auf uns mit diesen Themen beschäftigen. den Plattformen unterwegs ist. Das lässt sich Ich steige ein mit meinen Fragen an Professor tatsächlich schwer beziffern, insbesondere bei Emmer und an Professor Hegelich: Zum einen hat Facebook, wo nach Cambridge Analytica auch Prof. Emmer betont, dass Transparenz bei Datenschnittstellen geschlossen wurden, die Wahlkampagnen Zugang zu Daten — zu eigentlich öffentlich sein sollten. Informationen — braucht. Professor Hegelich hat Die nächste Frage ist vielleicht ein bisschen gesagt, Daten von Plattformen sind notwendig. grundlegender. Sind soziale Netzwerke überhaupt Vielleicht können Sie uns einen Vorschlag der richtige Raum für demokratischen Diskurs unterbreiten, wie das aussehen kann, aussehen und demokratische Debatten? Wir wissen, dass sollte, was da für Sie notwendig ist und wo man die Aufmerksamkeitsökonomie in den sozialen das unter Umständen legislativ verankern kann. Netzwerken nicht unbedingt faktisch richtige Eine zweite Frage: Professor Emmer, Sie haben in Artikel fördert oder Information mit hoher Güte, Ihrer schriftlichen Stellungnahme eine spannende sondern dass es eher um Affekte geht und darum, These aufgestellt. Sie sagen, Medienkompetenz die Leute in der Plattform zu halten. Können wir kann die Resilienz der Bürger stärken. Aber das keine anderen Angebote schaffen? Es gibt zum klappt eigentlich nur bei Bürgern, die auch Beispiel die Überlegung, eine Art europäische demokratische Grundwerte und Prozesse Mediathek zu schaffen für öffentlich-rechtliche anerkennen. Bei Bürgern, die das nicht tun, hilft Inhalte, die Inhalte aus ganz vielen die Medienkompetenz nicht weiter. Qualitätsmedien zusammenführen. Warum nicht auch über ein soziales Netzwerk nachdenken, was Professor Hegelich hat in seiner schriftlichen nicht nur Werbeerlöse einnimmt und die Daten Stellungnahme darauf hingewiesen, dass der Nutzer weiterverkauft, sondern das auch auf insbesondere Desinformationskampagnen aus anderen demokratischeren Ideen basiert? dem rechten Bereich sehr spannend aufgenommen werden. Wir haben noch viel vor uns. Das Desinformationsproblem wird sicherlich nicht Es interessiert mich — von Ihnen beiden —, wie weggehen. Aber ich glaube, es gibt viele erreiche ich denn diese Bürger, wenn ich diese Möglichkeiten und Ansatzpunkte, unsere über die Medienkompetenz letztlich nicht Demokratie auch noch ein Stück resilienter zu erreichen kann. machen. SV Prof. Dr. Simon Hegelich: Vielen Dank für die Der Vorsitzende: Vielen Dank. Jetzt haben wir die Fragen. Ich sage zuerst etwas zu den Daten: Auf verschiedenen Statements gehört und wir können der einen Seite stimmt es und ist auch gerade jetzt einsteigen in die Fragen an die momentan zu merken, dass Schnittstellen, die Sachverständigen. Ich darf zunächst aufrufen die offen waren für die Wissenschaft, inzwischen

19. Wahlperiode Protokoll der 32. Sitzung Seite 13 von 29 vom 10. April 2019 Ausschuss Digitale Agenda

nicht mehr genutzt werden können. Das hat ein bisschen herausholt —, Leute systematisch natürlich auch den Hintergrund, dass wir als konfrontieren kann auch mit anderen Meinungen Wissenschaftler uns mehr Gedanken darüber und es dann eine Chance gibt, Verhärtungen machen müssen, wie wir denn mit Daten aufzubrechen. Ich glaube aber, in einer umgehen und welchen Datenschutz wir an den Gesellschaft wie unserer gibt es eben Leute, die Tag legen. Der Fall ist nun mal, dass Daten aus der kriegt man nur noch mit Psychotherapie von drei, Wissenschaft verkauft worden sind, weswegen vier Jahren heraus. Damit muss man leben, dass Facebook da auch ein bisschen aufgeregt war. sich solche Leute auch mal zu Wort melden. Da dürfen wir dann auch nicht zusammenbrechen, Es gibt nach wie vor Zugänge zu Daten. Da glaub( sondern das ist dann eben auch Teil von ich, wird es eher darum gehen, was eine Lösung Resilienz, so etwas auch mal ertragen zu können. sein könnte, dass man unabhängig Fragen definiert, die beantwortet werden sollen und dann Abg. Dr. Jens Zimmermann (SPD): Vielen Dank auch die Plattformbetreiber verpflichtet, die dafür für die einleitenden Statements. Ich würde gerne notwendigen Daten auch zur Verfügung zu Frau Neudert befragen: Sie haben in Ihrer stellen. Facebook macht es gerade ein Stückchen. Stellungnahme schon gesagt, dass wir in Facebook hat eine Ausschreibung gemacht, wo Deutschland eigentlich noch relativ am Anfang man sich bewerben konnte. Dort wurden der Diskussion sind. Ich habe auch diesen unabhängig von Facebook über den Social Science Eindruck. Wenn ich zu den Kolleginnen und Research Council (SSRC) Zugang zu sehr Kollegen nach Großbritannien schaue, was da interessanten Daten zum Thema Desinformation parlamentarisch an Aufklärung im Kontext des zur Verfügung gestellt. Aber das wäre sicherlich Brexit-Referendums getan wird. Oder wenn ich etwas, das man erweitern könnte. Es sind nicht mir anschaue, was in den USA im Kontext der nur die Daten, ein anderes Problem ist, ich habe Präsidentschaftswahl getan wird. Ich habe den bei mir in München Daten für mindestens noch 20 Eindruck, bei uns ist das nicht ganz so hoch Doktorarbeiten, aber wen soll ich da dran setzen? aufgehängt, weil das Wahlergebnis nicht so Ich habe die Leute gar nicht. Es ist nicht so, dass verheerende Auswirkungen hatte. es nur an den Daten fehlt, sondern es fehlt Teilen Sie diese Auffassung, dass in anderen wirklich auch an der Förderung in der Ländern stärker Aufarbeitung betrieben wird? Als Wissenschaft und Kompetenz, um diesen ganzen zweiten Punkt: Sie haben angesprochen, dass wir Bereich der Datenwissenschaft neu aufzustellen. unter anderem einen Akteur der russischen SV Prof. Dr. Martin Emmer: Was Datenzugang Staatsmedien haben. Wie ist da Ihre Einschätzung, angeht, ist Professor Hegelich näher dran als ich. wenn ich ganz konkret auch auf ein Netzwerk, Ich würde das im Prinzip unterstreichen. Wenn wie Reconquista Germanica eingehe, wo es auch wir Social Media Daten kriegen würden, kommen einige Enthüllungen gab. Wie groß schätzen Sie wir natürlich in erhebliche Datenschutzprobleme. den Einfluss von solchen Gruppen ein? Die müsste man erst einmal aushandeln. Das ist SVe Lisa-Maria Neudert: Zunächst zu der Frage, nicht so trivial. Trotzdem stelle ich mir das auch was in den anderen Ländern gemacht wird: so vor, dass es eine Grundverpflichtung gibt für Natürlich herrscht in den USA und solche Plattformen, Datenkategorien, die wir Großbritannien eine andere Ausgangslage. Wir anfordern, in gewissen Grenzen auch frei zu wissen hier mit Sicherheit, vor allem am Beispiel geben. So könnte ich mir das vorstellen. USA, dass hier wirklich von fremden Mächten, Zur Frage, wie kommt man an die Bürger, die sich von Russland gezielt, Einflussnahme getätigt eigentlich schon abgekoppelt haben von der worden ist. Wir wissen, dass es hier viele demokratischen Gesellschaft. Das ist eine verschiedene Maßnahmen gab, die mit Werbung gewichtige Frage, da könnte man lange drüber zu tun hatten. Die auch gezielt Leute in der Politik sprechen. Es gibt ein paar Erfahrungen aus der und Multiplikatoren angesprochen haben. Das ist Forschung, die zeigen, dass man durchaus — wenn etwas, was in Deutschland weniger ausgeprägt man Leute aus einer Komfortzone, in der sie oft war. Ich glaube, was wir in Deutschland sind, in einer Echokammer, weil man sich dort tatsächlich sehen ist, dass wir hier sehr viel wohlfühlt und bestätigt wird in seiner Meinung, heimische Desinformation haben und auch viel

19. Wahlperiode Protokoll der 32. Sitzung Seite 14 von 29 vom 10. April 2019 Ausschuss Digitale Agenda

heimische Einflussnahme. Meinung auf die Agenda gesetzt wird, sondern es hat auch viel damit zu tun, dass die politische Ich glaube, das hat zum Teil auch damit zu tun, freie Debatte unterdrückt wird. Also, dass nicht dass es vielleicht von der Forschung bisher anders mehr so debattiert wird, wie man eigentlich sonst behandelt wurde, weil zunächst die Brennpunkte debattieren möchte. angeschaut werden. Was aber nicht heißt, dass diese gesamten Vorgänge in Deutschland weniger Wie passiert das, dass ganz oft Themen beunruhigend sind. Ich glaube tatsächlich im angesprochen werden, die ohnehin schon Gegenteil, dass sie auf gewisse Art und Weise polarisieren? Das sind die Themen rund um wahrscheinlich beunruhigender sind, weil wir Immigration, die immer wieder angesprochen hier nicht sehen, was von außen auf unsere werden. Das sind auch ganz stark Themen, die Demokratie geworfen wird und weil es im dann zeitbedingt sind, so etwas wie Chemnitz. politischen Mainstream und in der politischen Wirklich etwas, was jetzt gerade in der Politik Debattenkultur angekommen ist. passiert, wo aufgesprungen wird, weil man weiß, es herrscht in Deutschland ohnehin schon Zu der zweiten Frage nochmals konkret die Spaltung, es herrscht Unsicherheit und das wird russischen Medien: Die sind tatsächlich hier in dann in den sozialen Medien ausgenutzt. Deutschland auch erfolgreich und gut vertreten. Das sind zum Beispiel Russia Today, Ruptly und Abg. Joana Cotar (Am): Meine Fragen richten sich RedFish. Das sind Kanäle, die im breiten auch an Frau Neudert. Vielen Dank für die Mainstream sind. Die auf Facebook — ich hatte das Vorträge. Ich habe eine Frage bezüglich der Social gestern noch einmal gecheckt — mehrere Bots. Sie haben festgestellt, dass anhand der hunderttausend Fans haben in Deutschland und Daten, die die sozialen Netzwerke öffentlich die auf YouTube regelmäßig die erfolgreichsten zugänglich machen, es fast unmöglich ist mit Videos zu gewissen Themen abliefern. Gerade Sicherheit zu sagen, ob eine Debatte von Bots auch zu den Themen, die polarisierend sind und beeinflusst wird oder nicht. Jetzt haben wir aber die die Leute ohnehin schon bewegen. gerade um die Social Bots eine ziemlich große öffentliche Debatte. Auch in den deutschen Das beste Beispiel sind die Ausschreitungen in Medien wird immer wieder vor Social Bots Chemnitz. Ein Wissenschaftler hat dazu eine gewarnt. Der Faktenfinder von der ARD sieht Analyse gemacht und festgestellt, dass unter den das immer wieder als große Gefahr für die Wahlen, für am häufigsten angeschauten Videos auf YouTube die Demokratie. tatsächlich viele mit russischem Inhalt waren, viel Inhalt von irgendwelchen Pseudo-Science-Medien Teilen Sie die Bedenken, dass nicht auch das und ganz viel Desinformationsinhalte. Nichts von schon eine Art Propaganda ist, eine gewisse unseren glaubwürdigen Medien und auch nichts Beeinflussung der öffentlichen Meinung, um von dem Bürgerjournalismus und User Generated einen weiteren Kontrollmechanismus einzuführen Content, den man gerne auf YouTube vermuten und die Freiheit des Internets noch mehr zu möchte. beschränken?

Conquista Germanica, ja, das ist definitiv eine Sie haben gesagt, Sie haben sich noch über 40 Bewegung, die in Deutschland zumindest gesagt weitere Länder angeschaut im Hinblick auf hat, sie möchte viel machen, auch zum Thema Transparenz, politische Werbung, Inhaltszensur, Bundestag. Ich glaube, man hat auch gesehen, Redefinition von illegalen Inhalten und dass Sie dass sie sich organisiert haben. Es gab einige da einen Handlungsbedarf sehen und es sehr größere Ansagen, dass was gemacht wird. Ich bedenklich finden. Sehen Sie diesen glaube auch, es wurde einiges probiert. Man hat Handlungsbedarf auch konkret bei uns? Was zum Beispiel in Deutschland Bot Accounts wären Ihre Vorschläge, was wir machen könnten? gefunden, die versucht haben mitzumischen. Man In diesem hat hier tatsächlich auch viel User Generated Zusammenhang auch die Frage nach dem NetzDG, das Content gesehen, zum Beispiel Trolling in hier in Deutschland eingeführt worden ist und durchaus dazu irgendwelchen Kommentarfunktionen. Was nicht führt, dass auch politisch nicht nur unbedingt damit zu tun hat, dass eine gewisse gewollte Beiträge gelöscht werden. Wie beurteilen Sie das in diesem Zusammenhang,

19. Wahlperiode Protokoll der 32. Sitzung Seite 15 von 29 vom 10. April 2019 Ausschuss Digitale Agenda

dass die privaten Netzbetreiber jetzt die Legalität Zunächst kann man sagen, dass da seit 2016 von Inhalten im Netz beurteilen dürfen, aber dass enorm viel passiert ist. Das sind mindestens 42 es dem hier absolut an Transparenz mangelt? Länder, die reguliert haben und einen gewissen Welchen konkreten legislativen Handlungsbedarf Handlungsdruck sehen. Es gibt verschiedene sehen Sie in diesem Zusammenhang? Maßnahmen. Viele haben tatsächlich mehr mit der Resilienz und der Medienkompetenz zu tun. SVe Lisa-Maria Neudert: Zum ersten Punkt und Das sind die Maßnahmen, die ich löblich und der Frage nach den Bots: Nur weil Bots schwer zu förderlich finde. Es gibt allerdings auch erkennen sind mit den momentanen Daten, die Maßnahmen, die restriktiver sind und die mit wir haben, heißt das nicht, dass wir keine Bots in einer gewissen Form von Inhaltskontrolle und den sozialen Netzwerken haben, die aktiv sind. sogar Zensur zu tun haben. Das sehen wir Das Thema ist in Deutschland deshalb immer besonders in den autoritären Regimen, die jetzt wieder Debatte, weil wir tatsächlich Wissenschaft wirklich diese ganze Diskussion um Fake News und weil wir auch populär wissenschaftliche und Desinformation nutzen, die auch in Forschung haben, die das gerade immer wieder Demokratien oft als eine Frage der Sicherheit zur Thematik gemacht hat, zum Beispiel einen geframt werden. Die dann auf diese Frames mit Bericht in der WELT. Was problematisch an aufspringen und das auch nutzen, um so in ihren solchen Berichten ist, ist dass wir relativ wenig Ländern solche Maßnahmen zu legitimieren. darüber wissen, wie hier Bots eigentlich selektiert worden sind. Wir wissen nicht, welche Verfahren Zu der Frage der Handlungsvorschläge und es gibt, wie wurde das Ganze bewertet. Generell Ansätze und inwiefern das NetzDG in die richtige kann ich als grundlegende Einschätzung sagen, Richtung gehen könnte: Was ich am NetzDG dass momentan die verlässlichsten Verfahren besonders interessant und löblich fand, sind die wahrscheinlich auf Account-Ebene agieren. Transparenzreporte, die halbjährlich abgegeben Wirklich einzelne Accounts genau evaluieren, werden müssen. Das hat damit zu tun, dass was für ein Verhalten an den Tag gelegt wird, weil soziale Netzwerke gewisse Statistiken über die es ganz viele verschiedene Mechanismen gibt, wie Aktivitäten auf ihrer Plattform in einem öffentlich Bots eigentlich vorgehen und wie sie zugänglichen Format publizieren müssen. Das hat automatisiert sind. Sind sie zum Beispiel zum Beispiel damit zu tun, welcher Content vollautomatisiert, sind sie nur teilautomatisiert, wurde gelöscht, warum wurde er gelöscht. schlafen diese Bots gerade. Das sind absolute Teilweise wird das auch schon auf freiwilliger Problematiken, die wir sehen, die das Ganze Basis von den sozialen Netzwerken gemacht. Ich ziemlich schwer machen. kann dazu aber sagen, dass es hier gewisse Lücken gibt, die bestehen, wo sicherlich noch mehr Jetzt konkret nach dem Handlungsbedarf, den es Information gegeben werden könnte. Das könnte in der Politik gibt — momentan wird ja wieder die ein erster Ansatz sein, dass man erstmal besser Kennzeichnungspflicht von Bots diskutiert — das versteht, was dieses Problem in den sozialen ist tatsächlich etwas, das geht eigentlich nur mit Netzwerken ist in Deutschland und wie das den sozialen Medien, die da aktiv werden konkret quantitativ aufzufassen ist. müssten. Das Ganze ist aber auch nicht so einfach, wie man sich das vorstellt. Natürlich ist es als Abg. Mario Brandenburg (FDP): Vielen Dank an Twitter und als Facebook möglich zu sehen, die Sachverständigen für die Statements und den welcher Account automatisiert postet, welcher breiten Überblick. Ich habe die erste Frage an Dr. Account da gerade einen API-Call macht, wen_ Gaycken. Sie haben gesagt, „demokratische etwas postet. Das Ganze passiert aber auch zum Prozesse dumm dastehen lassen". Das habe ich Beispiel, wenn man Software nutzt, um Tweets zu mir aufgeschrieben und oft geht es nur darum, ein automatisieren, was zum Beispiel die meisten bisschen Dissens hineinzubringen. In Ihrer Parteien und der Bundestag machen, wenn sie Stellungnahme haben Sie geschrieben „Diskursen einfach Tweets für eine gewisse Uhrzeit in sozialen Netzwerken wird höhere Authentizität „schedulen" möchten. zugeschrieben, da sie für stärker basisdemokratisch gehalten werden". Ich glaube, Zu den regulatorischen Maßnahmen, die wir uns die eignen sich relativ gut dazu, um negative insgesamt in 42 Ländern angeschaut haben:

19. Wahlperiode Protokoll der 32. Sitzung Seite 16 von 29 vom 10. April 2019 Ausschuss Digitale Agenda

Stimmung reinzubringen. notwendig in der Schule. Gibt es denn Untersuchungen, welche Davon abgesehen gucken aber jetzt verschiedene Altersgruppen da wie anfällig sind? Sind es andere Staaten auch stärker auf politische und eigentlich eher die Digital Natives, die sich subversive Maßnahmen. In den USA zum Beispiel mehrheitlich darin herumtreiben oder eher die, wird Adversarial Learning diskutiert, um solchen die da neu reingewachsen sind? Wenn wir uns Informationskampagnen der Russen zumindest überlegen, wie wir diese Menschen bilden wollen entgegen zu steuern. Dort setzt man eine Counter — das geht in die Richtung von dem, was Professor AI auf, die bestimmte Muster erkennt und die Emmer gesagt hat — sehen Sie durchaus dann relativ schnell agieren kann in solchen unterschiedliche Bildungskonzepte bzw. Diskursen. Wenn die sieht, dass gesteuerte überhaupt unterschiedliche Lebens- und Informationen reinkommen, kann sie relativ Digitalräume und wo ich die antreffe? Wie kann schnell gegensteuern. Das sind Sachen, die sind in man das auseinanderhalten? der Entwicklung. Ist auch natürlich sehr umstritten, ob man das überhaupt darf und soll. Dr. Sandro Gaycken: Studien dazu sind mir SV Das wird sicherlich auch noch eine längere bin auch kein nicht bekannt. Ich politische Diskussion. Aber das hält man für sehr Medienwissenschaftler. Aber man kann natürlich effektiv, weil man da im Grunde genommen gut erkennen, dass verschiedene Gruppen, je ganz dieses System mit seinen eigenen Mitteln angreift. wie stark sie sich digital umtreiben, oder nachdem Das, was die Akteure uns antun wollen, also überhaupt noch reguläre Medien wie stark Zweifel, Dissens, Angst usw. in unsere Diskurse wahrgenommen werden, relativ stark reinbringen, wenn man das quasi zurückstreut beeinflussbar sind. Das ist eine Untersuchung, die und zurückspiegelt, verkleinert sich das sehr kenne ich aus den USA. Zum Beispiel über schnell und wird sehr schnell sehr ineffektiv. breitere Bevölkerungskreise, die tatsächlich nur in ganz spezifischen digitalen Subkulturen leben Ansonsten haben wir aber auch gesehen, dass es und von da aus auch sehr stark beeinflussbar sind. tatsächlich einfach hilft, außenpolitische Dialoge Aber ansonsten wäre das auch etwas, das anzufangen mit den entsprechenden fremden empirisch relativ schwierig zu erfassen ist. Mächten, die sich dafür interessieren. Ich halte es für sehr wichtig, auch mal mit Russland darüber Abg. Mario Brandenburg (FDP): Sie schreiben in zu reden. Die Russen selber, das wurde mir von Ihrer Stellungnahme auch, Suchmaschinen seien verschiedenen Seiten berichtet, sehen sich in der eine Art Diskurssteuerungsmaschinen. Auch das Defensive. Die Russen haben den Eindruck, dass kann man teilen. Aber was wären wir einen Informationskrieg gegen sie begonnen Gegenmaßnahmen und wie könnten wir als haben irgendwann 2008, 2009, gegen den sie sich Parlament oder als Gesellschaft dagegen jetzt verteidigen müssen. Alles, was sie machen, ansteuern? ist sozusagen Fair Garne vor dem Hintergrund SV Dr. Sandro Gaycken: Gegenmaßnahmen sind dieser Verteidigung. Daher ist es sicherlich relativ schwierig. Ich bin auch relativ skeptisch, wichtig, überhaupt mal mit den Russen darüber was die Aufklärung angeht, weil die Aufklärung zu sprechen, warum sie das machen, in welcher natürlich erfordert, dass man ein Variante sie das machen und sie vielleicht auch vertrauenswürdiger Vertreter von Wissen ist. Wir davon zu überzeugen, dass es nicht unbedingt haben das Problem von politischer Fair Garne ist, zumindest nicht für Demokratien, Wissensvermittlung, wo man eigentlich nur als wenn man so.stark in diese Diskurse reingrätscht vertrauenswürdiger Akteur auftreten kann, weil und versucht, sie zu manipulieren. man als Durchschnittslaie und Bürger gar nicht Was auch sehr effektiv sein kann ist, einfach mal mehr nachvollziehen kann, was alles passiert. diese Akteure zu finden und zu publizieren. Das Und dieses Wissensvermittlungsproblem geht halt mögen die meisten Dienste überhaupt nicht. Das nur über Vertrauen. Von daher sind mediale mögen die meisten Militärs überhaupt nicht, so Aufklärung und Medienkompetenz sicherlich ein Naming and Shaming von Akteuren, die man wichtig, gerade auch bei Kindern und identifiziert hat. Viele sind auch im Jugendlichen. Das halte ich auch für dringend nachrichtendienstlichen Bereich relativ gut

19. Wahlperiode Protokoll der 32. Sitzung Seite 17 von 29 vom 10. April 2019 Ausschuss Digitale Agenda

bekannt. Man kennt viele von diesen Amokfahrt in Münster angeschaut und was dort Steuerungsagenten und Akteuren. Eine an Videos vorhanden war. Auch da ergab sich ein Publikation hätte einmal den Effekt, dass es ähnliches Bild. Das waren eher Alternativmedien unattraktiver und teurer wird für die Akteure, oder entsprechende YouTuber, die sehr auch politisch teurer. Man kann auch emotionalisierende Inhalte verbreitet haben. Da außenpolitisch besser damit agieren und muss man aber auch sagen, es gab einfach kaum eskalieren und man hätte gleichzeitig den Gegenangebote von klassischen Medien, die parallelen Effekt, dass man auch in diesen tagesaktuell dort Inhalte verbreitet oder Diskursen vorzeigen kann, erlebbar machen kann, hochgeladen haben. Und wenn, dann waren die dass es tatsächlich Manipulatoren gibt mit eher nicht an die Nutzungsgewohnheiten von Interessen, die wirklich ganz real da drin sitzen. YouTube angepasst. Das ist auch eine große Lücke, die wir da zu schließen haben, vielleicht Abg. Anke Domscheit-Berg (DIE LINKE.): Ich habe aber auch nicht können, weil es an Geldern fehlt. zwei Fragen an Karolin Schwarz. Zum einen interessiert mich, welche Akteure sehen Sie denn Die Bildung ist zu nennen, im schulischen in dem gesamten Umfeld, welche Verantwortung Bereich. Aber auch im außerschulischen Bereich, ordnen Sie ihnen jeweils zu und was müssten sie entsprechend bei denen, die wir nicht als Digital eigentlich tun, um dieser Verantwortung auch Natives betrachten. Dort gibt es einen großen gerecht zu werden? Raum für Bildung, der genutzt werden könnte. In dem gleichen Zusammenhang, welche spezielle Für die Forschung gibt es noch einen ganzen Verantwortung trifft da die Plattform? Das leitet Raum von Dingen, die gemacht werden können. über zu meiner zweiten Frage: Was machen die Mir ist bis heute keine Studie bekannt, die sich Plattformen jetzt schon konkret? Was wissen Sie für den deutschen Raum mit Bildern und Videos, darüber, wie bewerten Sie die Maßnahmen, die die im Kontext von Falschmeldungen verbreitet Plattformen wie Facebook, Twitter, YouTube, etc. werden, beschäftigt. Das liegt auch an den vorgenommen haben und welche davon halten Schwierigkeiten, was das Tracking betrifft. Das ist Sie für mehr oder weniger erfolgversprechend? aber die größte Methode, die wir in diesem Zusammenhang haben und spielt auch die größte SVe Karolin Schwarz: Ich versuche mal alles Rolle für Falschinformationen in Deutschland. unterzubringen. Es ist doch relativ viel. Zunächst Auch die Zivilgesellschaft ist gefragt und auch die zu den Akteuren: In der Verantwortung sind im digitale Zivilcourage. Denn jeder von uns hat den Prinzip fast alle, die in irgendeiner Form das Bruder, Onkel, die Schwester, die irgendwelche Internet nutzen. Zunächst die Politik, wie schon irreführenden Inhalte in sozialen Medien angesprochen, im Bereich der Transparenz was verbreiten. Auch da ist es möglich, Werbeanzeigen betrifft. Das wäre eine mögliche Widerspruch zu leisten in irgendeiner Form. Maßnahme, die zu besprechen wäre. Zum anderen wünschte ich mir weniger pauschale Angriffe auf Zu den Plattformen: Es gibt eine ganze Reihe von den Journalismus, die durchaus aus mehreren Maßnahmen. Man muss aber auch sagen, es gibt Parteien kommen in mehr oder weniger großer sehr unterschiedliche Maßnahmenkataloge. Stärke. Twitter zum Beispiel hat da relativ wenig gemacht bisher. Die haben ein Archiv Auch der Journalismus hat natürlich noch für politische Werbung, wie auch die ordentlich Luft nach oben in der Verbesserung anderen. Aber auch da gibt es Schwachstellen. von Prozessen. Zum einen sind da mehr Ansonsten verbreiten sie oftmals einfach die Transparenz hinsichtlich der Quellen und auch Meldungen, dass sie mal wieder ganz viele Fake Korrekturen zu nennen. Das heißt, die klare Accounts gelöscht haben. Sichtbarmachung von Korrekturen in online- Facebook arbeitet mit den Kooperationspartnern journalistischen Inhalten zum Beispiel. Zum zusammen, um Fake Tracking zu machen. Da ist anderen sind da die sogenannten Data Voids, die kürzlich die dpa hinzugekommen. Das hat vorher ich schon erwähnt habe, zu nennen. Das heißt, nur CORRECTIV gemacht, seit Anfang 2017 nun wir haben schon über Chemnitz gesprochen. Ich auch die dpa. habe mir letztes Jahr die Berichterstattung zur Ich glaube, die wichtigste Neuerung sind die

19. Wahlperiode Protokoll der 32. Sitzung Seite 18 von 29 vom 10. April 2019 Ausschuss Digitale Agenda

Datenbanken für Werbeinhalte von politischen es, dagegen vorzugehen? Parteien. Aber auch da gibt es Schwachpunkte, SV Alexander Sängerlaub: Danke für die Fragen. nämlich zum einen überlassen wir da die Das Medienpolitische ist gar nicht so einfach. Wir Definition politischer Werbung den Plattformen. wissen, dass Medienpolitik Ländersache ist und Das kann dazu führen, dass verschiedene Akteure das ist auch Hoheitsgebiet der Länder. Aber die dort gar nicht aufgeführt werden. Zum anderen Frage ist tatsächlich, macht es Sinn, das Internet muss man in den Plattformen Facebook und von Bremen und Berlin und Hessen aus einzeln Twitter zum Beispiel erst einmal wissen, wonach zu regulieren? Wir haben jetzt im nächsten man eigentlich sucht, bevor man überhaupt einen Rundfunkänderungsstaatsvertrag verschiedene großen Überblick über politisch geschaltete Dinge drin, wie Algorithmen vielleicht Werbung bekommt. transparent zu machen, Social-Bots- Abg. Tabea Rößner (BÜNDNIS90 /DIE GRÜNEN): Kennzeichnungspflicht tauchte da auch einmal Vielen Dank. Meine Fragen gehen an Alexander auf zwischendrin. Die Frage ist wirklich, ob das Sängerlaub. Die erste befasst sich damit, was noch zeitgemäß ist, gerade wenn es darum geht, bedeutet eigentlich Medienpolitik in unserer schnell reagieren und Fragen klären zu können. Gesellschaft? Wir diskutieren — und da würde ich Deswegen haben wir hier auch dem Kollegen Zimmermann widersprechen — Zuständigkeitsprobleme. Das merken wir auch, schon seit Ewigkeiten. Wir hatten die Internet- wenn wir versuchen, mit medienpolitischen Enquete in der vorletzten Wahlperiode. Da haben Inhalten irgendwo durchzudringen. wir auch schon darüber diskutiert. Wir haben in Europapolitisch ist die nächste Frage, weil der letzten Wahlperiode darüber gesprochen und natürlich auch Europa nicht überall zuständig ist, es gab die Bund-Länder-Kommission. Aber was beispielsweise Wahlwerbung betrifft. Hier irgendwie kriegen wir das nicht zusammen, weil könnte man natürlich auch ganz anders überlegen. ganz stark Medienpolitik auf Länderebene Wir wissen, wie Wahlwerbung durchreguliert ist stattfindet. Auch die Entwicklung des öffentlich- in den klassischen Medien, in den analogen rechtlichen Rundfunks in eine Plattform. Wir Medien. Im Fernsehen müssen solche Hinweise sollten das vielleicht auch einmal im Bundestag kommen „Achtung, jetzt folgt Wahlwerbung". diskutieren. Dazu haben wir einen Antrag Warum haben wir das im Netz eigentlich nicht? eingereicht. Vielleicht wäre es sinnvoll, wenn sich Da könnte man viel mehr aus der analogen die anderen Fraktionen den mal angucken Medienwelt lernen und übertragen. Auch wenn könnten. das nicht immer 1:1 identisch ist im digitalen Die Frage ist, müssen wir nicht die Medienpolitik, Raum. die so zerfasert ist — auf der Länderebene, für den Was die aktuellen Wahlen betrifft oder auch den öffentlich-rechtlichen Rundfunk und für die ISD-Bericht den Sie angesprochen haben, Battle traditionellen Medien und auf Bundes- oder EU- for Bavaria. Es ist so, dass Sie im Grunde Ebene — stärker auf neue Beine stellen? Wäre das genommen zu jeder Wahl Desinformationen nicht ein Weg, um zu einer konsistenten Politik finden. Alles, was quasi in zu kommen? der realen Welt existiert, existiert auch online. Sie haben dort Die zweite Frage bezieht sich auf die aktuellen Vernetzungsmöglichkeiten gesehen, wo Memes Ereignisse in Israel oder auch The Battle for und anderer Content angeboten wurde, um die Bavaria. Da gibt es doch jetzt einige Erkenntnisse, Wahlen zu beeinflussen in Bayern. Die gute dass gezielt Desinformation gestreut wurde, dass Nachricht ist, es wurde größtenteils es Netzwerke gab, die auch über private Accounts liegengelassen. Es wurde zwar angeboten, aber die Desinformation betrieben haben. Gibt es Reichweiten von dem, was dort bei Discord und Beobachtungen, NGOs, die sich damit vielleicht auf diesen Plattformen verteilt wurde, haben die auch befassen, jetzt im Vorfeld der EU-Wahl oder bayerische Landtagswahl wahrscheinlich nicht anderen Wahlen, Kommunal- und aus den Fugen springen lassen. Auch wenn man Landtagswahlen, die auch anstehen? Müssen wir in die Medienberichterstattung hineingeguckt hat, uns da mit einer neuen Art von Kampagne was die Fact-Checking-Organisationen gemacht auseinandersetzen und welche Möglichkeiten gibt haben, hatte es nicht die große Schlagkraft, wie

19. Wahlperiode Protokoll der 32. Sitzung Seite 19 von 29 vorn 10. April 2019 Ausschuss Digitale Agenda

das jetzt vielleicht der Bericht Battle for Bavaria das überhaupt nicht finden können in dem Sinne. vermuten ließe. Es wäre schön, wenn Sie uns kurz erklären könnten, warum das da nicht ist. Sehen die das Trotzdem passiert natürlich gerade eine Menge. nicht, nutzen die das nicht, haben die zu starke Gerade die Messenger-Dienste spielen heute eine moralische Vorstellungen, das tatsächlich zu neue Rolle. Viel Kommunikation verlagert sich ins nutzen, was ich eher nicht glaube. Was sind Private. Die digitalen Plattformen haben das auch tatsächlich die Gründe? Oder haben Sie sich als Strategie ausgerufen, dass gar nicht mehr so hauptsächlich auf einen Bereich konzentriert? Es viel öffentlich sein soll, sondern sich die Dinge in wäre toll, wenn Sie das kurz erläutern würden. die privaten Räume zurückziehen. Da ist es natürlich viel schwieriger ranzukommen, sowohl Die zweite Frage geht an Dr. Gaycken: Sie für die Forschung als auch für NGOs oder Fact- schreiben in Ihrer Stellungnahme und hatten auch Checker. Zumal hier auch der Datenschutz eine gerade gesagt, dass Nachrichtendienste technisch wichtige Rolle spielt. Das sind private und rechtlich dringend ermächtigt werden sollten, Kommunikationsräume, wo auch aus guten fremde Mächte, erkennbare Akteure in sozialen Gründen die Leute nicht eindringen können. Also Netzwerken, zu identifizieren, zu verfolgen und auch das gibt es zu beachten. abschalten zu können. Könnten Sie sich vorstellen, dass es da zusätzliche Risiken gibt, Trotzdem ist die Schwierigkeit natürlich, dass das vielleicht in eine andere Richtung hinein? Wenn ein Feld ist, was sich extrem schnell bewegt. ja, welche Gegenmaßnahmen würden Sie Gerade der Medienbereich ist etwas, wo wir empfehlen, um diese entsprechend zu mitigieren? manchmal im Jahrestakt neue Plattformen haben. Heute ist für junge Leute Snapchat und TikTok SVe Lisa-Maria Neudert: Ich fange an mit einer wichtig. Das kennen wahrscheinlich die älteren kurzen Korrektur. Wir haben uns funk News und Generationen noch gar-nicht. Hier russische Quellen getrennt angeschaut. Das hat medienpolitisch einzugreifen und zu regulieren, auch einen bestimmten Grund. Wir wollten uns passiert gerade viel zu langsam. Wir beschäftigen vor allem die russischen Quellen anschauen, die uns jetzt mit Themen, die eigentlich schon vor staatlich gesponsert sind. Das sind die großen sechs, sieben Jahren relevant gewesen wären. Das Kanäle, die etabliert sind. Wir haben uns das ist in der Bildungspolitik ähnlich. Ich glaube, Ganze zwar innerhalb noch einmal in einer Thüringen ist das einzige Bundesland, das Überkategorie angeschaut, die wir „spaltenden Medienkunde als Fach eingeführt hat. Auch hier und polarisierenden Content" genannt haben, aber sind wir tatsächlich zu langsam, um auf dann nicht russische Quellen mit in diese Jank Veränderungen zu reagieren. News reingezählt. Abg. Uwe Kamann (fraktionslos): Meine erste Zu Ihrer Frage, ob es nicht gewisse andere Frage geht an Frau Neudert. Sie schreiben in Ihrer Akteure gibt, die auch so etwas machen und ob es Stellungnahme unter dem Punkt „virale nur die rechten Akteure sind: Ja, natürlich gibt es Desinformation im politischen Mainstream", dass auch andere radikale Akteure im Internet und sich die Top-Junk-News-Quellen im Schwerpunkt extremistische, die so etwas in Deutschland aus rechtsnationalen und rechtsextremen Medien machen. Das ist jetzt politisch nicht allein auf der rekrutieren und zusätzlich geprägt sind von rechten Seite gepachtet. Auch wenn man ausländischen, hauptsächlich russischen Medien. tatsächlich sieht, dass das oft die Informationen Dass diese sehr aktiv sind und versuchen, ihre sind, die besonders viral gehen. Was wir sehen politischen Standpunkte oder auch eine können ist, dass aus dem rechten Raum die Manipulation über diesen Weg zu manifestieren, Informationen mit der erfolgreichsten kann ich aus eigener Erfahrung nur bestätigen. Ich Performance kommen. Aber gibt es nun andere war leider Teil dieser Community. politische Mainstream-Akteure, die so etwas machen und machen das andere Medien? Ich Es wäre aber doch sicher lebensfern zu denken, würde sagen: Nein, professionelle Medien machen dass nicht alle anderen Strömungen, politische so etwas nicht. Das hat viel damit zu tun, was ist Strömungen auch, sich diese Mechanismen, zu eigentlich Desinformation und spielen andere eigen machen. In Ihrer Stellungnahme habe ich Medien bewusst mit falschen Informationen?

19. Wahlperiode Protokoll der 32. Sitzung Seite 20 von 29 vom 10. April 2019 Ausschuss Digitale Agenda

Wenn so etwas dann geschieht, wenn ein Abg. Nadine Schön (CDU/CSU): Herzlichen Dank Qualitätsmedium eine falsche Information an alle für die guten Informationen. Ich möchte da abdruckt, wird dann eine Korrektur gedruckt, ja anknüpfen, wo Dr. Gaycken aufgehört hat. Die oder nein. Ich glaube, da gibt es gewisse Nuancen, letzten Wortmeldungen haben sich schon ein die man mitbeachten muss. Das ist das, was wir bisschen um das Thema Regulierung gerankt. versucht haben wissenschaftlich aufzuarbeiten. Meine Frage an Sie ist, was sollte man denn Ihrer Wir schauen uns jede einzelne Quelle nach fünf Meinung nach tatsächlich regulieren? Mir ist klar, diversen Kriterien an, bevor wir sie als Junk News dass man das meiste am besten auf europäischer klassifizieren: Das ist einmal Bias, das ist Ebene regulieren sollte. Das ist ja auch möglich. Professionalism, Counterfeit — also versuchen Verschiedene Sachen wurden schon irgendwelche Quellen bewusst so auszusehen, angesprochen. Dr. Gaycken hat gesagt, im Notfall wie Qualitätsmedien, die wir kennen —, auch einen Prozess aufsetzen zum Abschalten und Credibility, also Glaubwürdigkeit und der Stil. Stil Enttarnen. Da würde ich gerne diesen Vorschlag ist dann bewusst Propaganda, Rhetorik und auch weitergeben. eine propagandistische Darstellung von Medieninhalten. Was halten Sie von dem Vorschlag? Dann auch die Frage - eben ist schon angeklungen — : Macht SV Dr. Sandro Gaycken: Es gibt tatsächlich einige Facebook jetzt transparent Wahlwerbung? Aber da Akteure, bei denen relativ klar ist, von wem die hatte Karoline Schwarz schon angemerkt, wir bezahlt werden, was sie da machen und warum. überlassen die Definition, was Wahlwerbung ist, In solchen Fällen würde ich schon dafür dann Facebook. Wären Sie dafür, dass man das plädieren, dass man die abschalten können sollen definiert? Dass man vielleicht auch eine dürfte und auch entsprechend enttarnen sollen Kennzeichnungspflicht macht für dürfte. Das kann man natürlich übertreiben. Das Wahlwerbung für alle Plattformen? wäre ein Risiko, das ich da sehen würde. Da würde ich dafür plädieren, dass man sagt, im Eine Frage nach der Datenherausgabe: Wir haben Zweifelsfalle für den Angeklagten. Wenn man also den Cambridge-Analytica-Skandal, wo ich keine wirklich gesicherten Erkenntnisse darüber verstehen kann, dass die Plattformen skeptisch hat, dass es eine fremde Macht, ein fremder sind. Aber ich meine, das Grundproblem ist — Akteur ist, sollte man eher versuchen, das demokratischer Diskurs findet zunehmend auf auszuhalten. Man muss natürlich auch sozialen Plattformen statt —, dass wir die einbeziehen, dass es möglicherweise Eskalationen Mechanismen nicht kennen, wie verschiedene gibt, außenpolitisch, sicherheitspolitisch, wenn Inhalte entweder hochgespült werden, oder eben man jetzt anfängt in Russland zum Beispiel, unten gehalten werden. Da brauchen wir mehr Akteure zu zensieren. Dass da dann natürlich Informationen. Deshalb teile ich die Ansicht, dass auch zurückgefeuert und zurückzensiert werden wir an die Daten heranmüssen. Vielleicht haben kann. Aber im Grunde genommen, wenn man Sie einen klugen Vorschlag, wie man in der einen integren Prozess aufsetzt und das auch Diskrepanz der beiden Punkte Skandal Cambridge kommuniziert, dass man jetzt in diese Richtung Analytica und dem Bedürfnis nach Daten, einen geht, dann sollte das tatsächlich eine ganz gute guten Mittelweg findet. Konkrete Frage: Wo sehen Maßnahme sein. Sie die genauen Ansatzpunkte für Regulierung? Meine Fragen Der Vorsitzende: Jetzt haben sich die richten sich an Professor Emmer und Alexander Sachverständigen alle bereit erklärt, etwas länger Sängerlaub. zu bleiben, so dass wir noch eine komplette SV Prof. Dr. Martin Emmer: Was die Regulierung zweite Runde durchführen können und angeht: Herr Sängerlaub hat schon angesprochen, entsprechend etwas überziehen werden. Auch der dass man sich angucken kann, wie wir denn Livestream wird bis zum Ende der Sitzung eigentlich traditionelle Medien regulieren. Das ist weiterlaufen, so dass auch diejenigen, die sich für jetzt eher Ländersache. Aber trotzdem finde ich, die Anhörung interessieren, bis zum Schluss so eine Idee, wie eine Vielfaltsregulierung, die dabei bleiben können. Ich rufe die zweite Runde sicherstellt, dass man eine Vielfalt an auf. Informationen zugänglich hat, wäre ein guter

19. Wahlperiode Protokoll der 32. Sitzung Seite 21 von 29 vom 10. April 2019 Ausschuss Digitale Agenda

Ansatz. Ich glaube, da könnte man bei Facebook die passende Datenschnittstelle, mit der ich dann eine ganze Menge verändern, wenn man so etwas als Forschung auch die Möglichkeit habe, im ermöglichen würde. großen Stil Daten herunterzuladen und vielleicht systematisch diese Analysen zu machen. Wenn Zu dem Datenzugang haben wir schon etwas wir das auch in anderen Bereichen mit anderen gesagt. Es ist in der Tat so, dass diese digitalen Daten hätten, beispielsweise wenn es darum geht, Welten heute im Wesentlichen Öffentlichkeit Inhalte von Videos zu durchsuchen. Es gibt heute konstituieren. Das Problem ist natürlich, dass das die technischen Möglichkeiten, dass Videos Wesentlichen Monopolbetriebe sind. Facebook im untertitelt werden. Das passiert automatisch, kontrolliert alleine diesen Markt. Ich würde mich wenn ich bei YouTube etwas hoch lade. Ich habe wohler fühlen, wenn es zehn verschiedene aber nicht die Möglichkeit, diese Inhalte zu Netzwerke gäbe. Dann könnte man solche durchsuchen. Hier könnte man auch sagen, ich Selbstregulierungsgeschichten, wie wir es in müsste Texte auf Memes durchsuchen können, anderen Medien haben, relativ locker akzeptieren. also auf Bilder, aber genauso wie in Videos, damit Selbstregulierung bei nur einem Akteur bringt es Fact-Checking-Organisationen oder der nicht viel. Insofern muss da der Gesetzgeber ran, Forschung einfacher gemacht wird, diese Inhalte um ein bisschen stärker zu organisieren, wie wir auch aufzufinden und zu untersuchen. Das wäre verstehen können, was da abläuft. Ich bin ein eine Möglichkeit, wie hier Transparenz geschaffen bisschen skeptisch, weil wir am Ende trotzdem werden kann. nie genau wissen können, was kriegen wir da von Facebook. Facebook behauptet dann immer, diese Das Problem ist, dass bei diesen Verzeichnisse von Anzeigen zum Beispiel wären Werbegeschichten — die sind jetzt über zwei Jahre vollständig usw. Ich höre aber doch immer wieder alt, vom Brexit über die Trump-Wahl bis zum von Kollegen, naja da hat man dann doch etwas Öland-Referendum — es immer gefunden, was nicht so richtig darunter fällt. Das Einmischungsversuche gab. ist sehr schwer in dieser digitalen Welt, überhaupt Abg Falko Mohrs (SPD): Ich habe zwei Fragen zu bewerten. Ich bin technisch zu wenig versiert und die erste geht an Dr. Gaycken: Ich würde und habe auch keine richtige Lösung, wie man noch einmal einen Schritt zurückgehen. Es ist sicherstellen kann, dass man nicht über den Tisch noch einmal deutlich geworden — das sehen wir gezogen wird. an einigen Stellen — dass das Ziel oft erst einmal SV Alexander Sängerlaub: Die Werbebibliothek Destabilisierung und Misstrauen ist. Wo vielleicht ist vielleicht gar nicht das schlechteste Tool, um gar nicht die tatsächliche Wirkungsmanipulation zu zeigen, wie es gehen könnte, zumindest im im Vordergrund steht, sondern erst einmal nur Ansatz, wie es gebaut worden ist. Dann kann man einen Zweifel zu hegen, dass irgendetwas nicht die Frage stellen, ob man die Netzwerke dazu mit rechten Dingen zugegangen ist. Vielleicht verpflichten kann, diese Transparenz offen zu können Sie dazu noch etwas sagen, welche halten. Was sie jetzt gemacht haben, sind zwei Motivation dahintersteht und von welchen Bausteine. Ein Transparenz-Tool für die Akteuren. Wie schätzen Sie die Möglichkeit ein, Öffentlichkeit, wo ich selber nach Werbeanzeigen dagegen vorzugehen? suchen kann, sehen kann, wer schaltet eine Zweite Frage geht an Alexander Sängerlaub: Kampagne, welche Inhalte sind darin, wen hat das Wenn wir bei der Idee der Destabilisierung erreicht. Dass man das nicht nur für bleiben; wir haben viel über Fake News Werbeanzeigen macht, die nur ein Problem sind. gesprochen, teilweise sind es nicht mal mehr Fake Desinformationen werden nicht nur über News, teilweise sind es vielleicht gemischte Werbung geschaltet, die können auch über ganz Informationen, eine gewisse Anreicherung von klassische Postings verbreitet werden. Also, dass realen Informationen nur ein bisschen verdreht. ich einmal von außen als Öffentlichkeit die Spätestens dann wird es relativ schwierig. Da Möglichkeit habe, nach Themen zu suchen und zu steht eine klare Motivation von Beeinflussung gucken, wen erreichen welche Inhalte. Das ist das dahinter und dann wird die Regulierung eine. schwierig. Wer soll das eigentlich auseinander Das Zweite, das dort verfügbar gemacht wird, ist halten, wie soll das reguliert werden? Weil die

19. Wahlperiode Protokoll der 32. Sitzung Seite 22 von 29 vom 10. April 2019 Ausschuss Digitale Agenda

Stiftung Neue Verantwortung e.V. doch relativ drauf blickt, andere Gegenmaßnahmen breit in dem Bereich arbeitet, würde mich Ihre entwickeln, insbesondere im außenpolitischen Einschätzung interessieren. Bereich. Auch ein Dialog mit den Russen wäre eine gute Idee. Ich weiß nicht, ob denen schon Sandro Gaycken: Das mit dem Dissens ist SV Dr. mal einer gesagt hat, dass wir das überhaupt blöd eine ganz alte im Grunde genommen finden. Kriegsstrategie, teile und herrsche. Wenn man einen Block von Vereinten gegen sich hat, muss SV Alexander Sängerlaub: Zu der Frage, wie gut man die irgendwie gegeneinander aufbringen und kann man Fake News regulieren oder was hat das versuchen, dass die sich mit sich selber überhaupt mit dem Begriff zu tun. Es ist beschäftigen. Dann achten die nicht so auf mich tatsächlich schwierig, weil ganz viele Phänomene und ich habe mehr Handlungsfreiheit. Sowohl darunter zu fassen sind. Wir sagen heute lieber China als auch Russland betreiben das beide sehr Desinformation als Fake News und verstehen intensiv. Das ist schon etwas, das bei beiden sehr darunter bewusst verbreitete Falschinformationen, hoch in deren Interesse liegt und wo beide relativ die in die Öffentlichkeit gegeben werden, um viel investieren. Ob das jetzt eine richtige oder jemandem damit zu schaden. Dann haben wir eine Fehleinschätzung ist, kann man nicht sagen. natürlich auch Straftatbestände, die da unter Auch die Russen sind nicht perfekt in dem, was Umständen greifen, beispielsweise den sie machen. Sie machen auch viele Fehler. Aber Straftatbestand der Verleumdung, wenn es gegen man sieht, dass sie ein hohes Interesse haben, eine konkrete Person geht. Ansonsten sind tatsächlich bei uns Diskurse zu unterbrechen, tatsächlich — so sehen wir das zumindest, in den Dinge reinzubringen, die den Ablauf stören, die Studien, die wir zur Bundestagswahl gemacht uns dazu zwingen, uns mit uns selber zu haben — viele Sachen eigentlich auch legal. Es beschäftigen oder mit anderen Dingen. Das wird eine Meinung verbreitet oder es wird ein Urinteresse ist natürlich, irgendwie die NATO Zitat ein wenig verändert, das ist der Klassiker, aufzubrechen und solche Dinge. Da werden sie dass aus einem langen Zitat ein Halbsatz wahrscheinlich nicht drankommen. Aber ich herausgenommen und der dann weiterverbreitet glaube, sie sind schon intern froh damit, dass sie wird. Man kann natürlich versuchen, dagegen einfach so viel Dissens und Chaos verursachen vorzugehen, auch gerichtlich. Aber es wird nicht können. helfen. In dem Moment, wo die Desinformation in der Öffentlichkeit ist, ist sie auf dem Weg und Dazu kommen dann noch andere Motive, die erreicht die Leute. Das geht in den sozialen dann strategisch binnenpolitisch zu erfassen sind. Netzwerken superschnell. Die Gegenreaktionen In Russland ist es auch ganz wichtig, dass man dauern einfach, auch die Fact-Checking- versucht, über die eigene Legitimität zu Organisationen haben das Problem, dass sie gar argumentieren, dass die anderen auch nicht besser nicht direkt gegen die Geschwindigkeit in den sind. Da spielt es natürlich eine wesentliche sozialen Netzwerken ankommen. Rolle, dass man sagt: „Die Wahlen sind auch alles nur Fake bei denen.". „Guckt mal, da wurde Da ist dann auch die Frage, ob man überhaupt als manipuliert und da ist etwas." „Natürlich sagen Gesetzgeber Desinformationen so definieren muss, sie, das stimmt alles nicht. Aber wir wissen es dass man einen neuen Straftatbestand verfasst. besser." Das wirkt dann nach innen so, dass die Das ist, glaube ich, überhaupt nicht zielführend. Russen denken, das mit der Demokratie ist auch Da reichen die Sachen, die wir haben nur ein Fake und es ist bei denen auch nicht wahrscheinlich aus. Man muss aber vielleicht besser als bei uns. effektiver werden, die Dinge auch umzusetzen. Was das Netzwerkdurchsetzungsgesetz auch Das sind Dinge, die in deren Interesse liegen und tatsächlich versucht hat, zumindest in Bezug auf da müsste man auf ganz andere Art und Weise auf Hate Speech, zu sagen, die Plattformen müssen diese Manipulationen sehen. Es ist nicht das Ziel, schneller reagieren. dass man tatsächlich ganz gezielt eine Wahl in eine bestimmte Richtung treibt, sondern einfach Abg. Joana Cotar (AfD): Meine Fragen gehen an dieses Teilen und Dissens fördern. Da kann man Professor Hegelich. Wie beurteilen Sie die Rolle sicherlich, wenn man auf diese Art und Weise von klassischen Medien in Deutschland im

19. Wahlperiode Protokoll der 32. Sitzung Seite 23 von 29 vom 10. April 2019 Ausschuss Digitale Agenda

Zusammenhang mit der Wahlbeeinflussung? Als genannt werden. Was wir mit Studien in Beispiel dafür Fox News in den USA oder die Verbindung bringen können aus der politischen britischen Boulevardmedien, die auch massiv Psychologie ist, dass diese Priming-Effekte auf über den Brexit berichtet haben im Vergleich zu kulturellen Themen funktionieren, aber nicht auf den digitalen Plattformen. Haben Sie da anhand ökonomischen. Ihrer Studien Anknüpfungspunkte? Das wäre dann auch schon Teil der zweiten Frage. Die zweite Frage ist: Sie berichten, dass Sie Ja, bei allen Untersuchungen, die wir in München aufgrund Ihrer Untersuchungen davon ausgehen, gemacht haben, stellen wir immer wieder fest, dass unauthentisches Verhalten und Strategien dass eigentlich die Manipulationssachen, die wir zur Manipulation von Algorithmen und finden, im rechten Spektrum einzuordnen sind. Desinformation ein Phänomen von rechts sind. Oder in dem Sinne keine wirkliche Manipulation Meine Frage ist: Können Sie ausschließen, dass ist, sondern einfach Sparn Bots oder ein die von Ihnen untersuchten Manipulationen auch kommerzielles Interesse dahinter steht. Wer von anderen bewusst gesteuert werden, um damit dahinter steckt, hinter diesen politische Ansichten zu manipulieren und Desinformationskampagnen, das ist mit den Rechtsparteien zu diffamieren, oder ist das so Methoden, die ich anwende, nicht zu sagen. gesichert? Insofern möchte ich auch nicht darüber spekulieren. Es ist durchaus eine denkbare Eine weitere Einschätzung vielleicht auch von Strategie, dass auch externe Akteure sich, gerade allen: Aus Ihren Erfahrungen und vor dem Hintergrund, dass diese Priming-Effekte Untersuchungen heraus müssen wir bei der EU- eben in diesem kulturellen Bereich sehr gut Wahl in Deutschland mit Manipulationen funktionieren, auch auf das rechte Spektrum in rechnen, die die Wahlen maßgeblich beeinflussen der Bevölkerung beziehen. Wer dahinter steckt, werden, oder eher nicht? kann ich nicht sagen. SV Prof. Dr. Simon Hegelich: Wir haben eine SVe Lisa-Maria Neudert: Ich würde mich kurz zur spannende Untersuchung gemacht, was die EU-Wahl einschalten, weil wir gerade dabei sind, klassischen Medien betrifft. Generell muss man das zu analysieren. Wir sammeln gerade Daten sich sowieso davon befreien, immer in diesen von den sozialen Netzwerken, wie der Diskurs auf Silos zu denken. Das geht alles ineinander über. Social Media eigentlich aussieht. Man kann Wir haben Inhalte in den klassischen Medien, die generell sagen, dass das jetzt wahrscheinlich noch aus den sozialen Netzwerken kommen. Wir ein bisschen zu früh ist, um das für bare Münze können zum Beispiel zeigen, dass klassische zu nehmen, wie sich das Ganze entwickelt. Aber Medien bei dieser Kampagne während der im Moment sehen wir in der EU eher moderate Bundestagswahl massiv Inhalte von diesen Levels, sowohl von Desinformation als auch von Accounts aufgegriffen haben und zum Beispiel Amplifikations-Accounts. Es gibt allerdings ein verbreitet haben, dass Christian Lindner einen paar größere Themen, die wir überall sehen. Es ist Thermomix verkaufen könnte. Das war nach dem, einmal das Thema Immigration, was in was wir wissen, Teil einer verschiedenen Ländern aufgefasst wird. Das Desinformationskampagne. Es geht bei diesen andere Thema, das wir uns tatsächlich in allen Desinformationskampagnen auch sehr stark Ländern anschauen, ist in der EU immer wieder darum, mit lustigen oder interessanten Inhalten die eigene Version des Brexits. Zum Beispiel Follower zu finden. Die Medien greifen das auf. sehen wir in Schweden, dass der #Swexit ganz Konkret zu den Medien haben wir eine Studie massiv nach oben gespült wird. Das ist natürlich gemacht, wo wir zeigen können, dass eben gerade einerseits eine relativ simple Strategie, weil man bei den normalen Medien diese Priming-Effekte sagen kann, das sind wahrscheinlich auftreten. Das heißt, dass wir eigentlich zeigen Diskussionen, die so fast in jedem EU-Land schon können, dass sowohl in Frankreich als auch in mal geführt worden sind. Es ist nur logisch, dass den USA als auch in Deutschland dann jetzt noch einmal zu diesem Zeitpunkt Rechtspopulisten — und nur Rechtspopulisten — hochzuspülen. Was wir da glauben, ist einerseits davon profitieren, wenn sie in den Medien eine Mischung von tatsächlicher politischer

19. Wahlperiode Protokoll der 32. Sitzung Seite 24 von 29 vom 10. April 2019 Ausschuss Digitale Agenda

Meinungsäußerung, die dann aber auch noch 2 Mrd. Facebook-Posts, die ich jeden Tag einmal bewusst amplifiziert und hochgespült anschaue, sind auch die Falsch-Lables, die da wird. Wir werden auf jeden Fall voraussichtlich reinkommen, absolut gesehen eine ziemlich hohe am 20. Mai eine genauere Analyse vorliegen Zahl. haben, die dann die Periode kurz vor der Wahl Abg. Mario Brandenburg (FDP): Eine Frage an analysieren wird. Professor Emmer. Sie haben geschrieben, Nutzer Abg. Mario Brandenburg (FDP): Eine Frage an müssen umfassende Medienkompetenz im Sinne Professor Hegelich. Sie haben zu Beginn von journalistischen Kompetenzen aufweisen. Wir ausgeführt, dass das Ausmaß dessen, was da haben jetzt genau die Debatte, oder die passiert, eigentlich größer ist als wir gedacht Anmerkung gerade schon von Alexander haben. Aber die Wirkung auch irgendwie Sängerlaub gehabt, dass eigentlich Desinformation überschätzt wird. In Ihrer Stellungnahme erst wirklich funktioniert, wenn es den Sprung sprechen Sie sich dafür aus, dass politische aus der Online-Welt in die traditionelle Welt Werbung gelabelt, oder gekennzeichnet, werden schafft. Insofern noch einmal die Frage nach einer sollte. Weiterbildungsstrategie für diese Nutzer. Wie oder wo kann diese Weiterbildung von einem Mir stellt sich die Frage, wenn das Ausmaß nicht Staat angeboten werden, so dass es sowohl für die so stark ist, wer definiert, was ein politischer Journalisten, die im Prinzip eine Weiterbildung Inhalt ist? Denn das ist sehr schwierig zu brauchen, als auch für Jugendliche, die eine definieren. Wir haben die Zahl, 7,4 Prozent seien Medienkompetenz brauchen, gelingen kann? Bots — das erscheint alles noch gering. Ist es dann nicht vielleicht schon überdimensioniert, zu SV Prof. Dr. Martin Emmer: Man muss, wenn versuchen, politische Inhalte zu labeln? Kriegt man in so einem Kontext an Bildung denkt, nicht man dann nicht einen gegensätzlichen Effekt? nur an reine Wissensvermittlung denken. Sie Dämmen wir damit nicht politisches Interesse sprechen das Problem schon an, das man in der ein? Schule hat. Gerade an Schulen bringen die Kinder und Jugendlichen schon eine ganze Menge relativ SV Prof. Dr. Simon Hegelich: Generell bei solchen hohe technische Medienkompetenz mit. Was da Lable-Sachen kann es auf jeden Fall einen eher fehlt, ist eine Reflexion. Ich glaube, so etwas gegenteiligen Effekt haben. Wir haben das bei kann man durchaus organisieren, ohne dass man Fake News gesehen, die als Fake News gelabelt der große Technikexperte ist. Ich glaube, dass werden, stärkere Verbreitung finden, als wenn gerade in Schulen eher projektartiges Lernen man sie nicht labeln würde. So etwas kann reflektiert, was eigentlich passiert und relativ tatsächlich passieren. Generell ist es im Moment hilfreich sein kann, um solche Kompetenzen zu einfach so, dass die Definition, was politische vermitteln. Ich würde das auch ungern in einem Werbung ist, von Facebook getroffen wird. Da Ghetto sehen. Der Umgang mit Kommunikation muss man sich halt fragen, ist das der richtige und Medien wird in Zukunft eine sehr viel Weg oder ist das nicht genauso ein Punkt, wo man wichtigere Grundkompetenz von Bürgern in der Herrn Zuckerberg mal ernst nehmen müsste, weil Gesellschaft sein. Wir müssen in diesen digitalen er sich angeblich in diesem Bereich Regulierung Welten auch die Chancen, die darin stecken, wünscht und dass Sie ihm sagen, was er als nutzbar machen. Die Debatte ist hier eher defensiv politische Werbung klassifizieren soll. und man guckt sich immer die Probleme an. Aber Man muss bei diesen ganzen Labelinggeschichten gerade wenn man über Bildung spricht, sollte man in den sozialen Netzwerken auch immer daran sich auch überlegen, was kann man davon denken, sobald Facebook das macht oder eigentlich an Positivem vermitteln. Ich glaube, das irgendjemand anders, läuft das über Machine geht nur über eine Art projektmäßiges Vermitteln Learning. Es geht gar nicht anders, weil es so viele und über eine Vermittlung auf allen Ebenen. Da Inhalte sind. Selbst mit einem Algorithmus, von ist die politische Bildung gefragt, auch die Medien dem ich in einem Test-Szenario gesehen habe, sind heute gefragt. Auch die Politik kann da dass er in 98 Prozent der Fälle ein richtiges durchaus helfen, Erfahrungsräume zu entwickeln, Ergebnis bringt. Damit bin ich zufrieden. Aber bei also responsiv zu sein, Menschen wirksam

19. Wahlperiode Protokoll der 32. Sitzung Seite 25 von 29 vom 10. April 2019 Ausschuss Digitale Agenda

werden zu lassen, mitmachen zu lassen. All das finden können, dass in Deutschland irgendwelche wären Methoden, wo Lernräume entstehen politischen Kampagnen bislang tatsächlich auf können, wo Menschen Kompetenzen entwickeln einer durchstrukturierten Datenanalyse fungieren, können, die am Ende zu einer Resilienz beitragen. anders als bei Trump. Trump hat für jede Facebook-Werbung, die er geschaltet hat, 15.000 Abg. Dr, Petra Sitte (DIE LINKE.): Meine•erste unterschiedliche Versionen einfach automatisch Frage geht an Professor Hegelich: Cambridge erzeugt und geschaut, wo spielt man das am Analytica waberte ein bisschen durch die Debatte. besten aus, wo kriegt man die höchsten Klick- Die haben eine Eigenwerbung gehabt, die sich auf Zahlen und hat 86 Mio. US-Dollar nur für Online- den Trump-Wahlkampf bezog. Es soll angeblich Werbung ausgegeben. Das ist etwas, was wir in gelungen sein, drei Swing States durch das Deutschland nicht haben. Ansprechen von 70.000 Wählern zu kippen. Sie schreiben, dass die gleiche Kampagne in SVe Karolin Schwarz: Ich möchte eine kurze Deutschland gelaufen sein soll. Wir haben vorhin Randbemerkung zu den politischen überlegt, ob das stimmt, dass sich das auch auf die Werbegeschichten machen: Ich habe in meinem Kampagne der AfD bezog? Wie schätzen Sie das schriftlichen Statement drei Beispiele genannt, ein und können Sie uns das erläutern? die ich im Kontext der Definition von politischer Werbung sinnvoll und wichtig finde. Die zweite Frage geht an Karolin Schwarz, anknüpfend an das Problem der Desinformation. Zu den konkreten Gefahren, die im Bereich der Welche konkreten Gefahren entstehen aus Verbreitung von Desinformationen auftreten, lässt politischen Manipulationen im Netz, sich sagen, wenn klassische Medien erreicht insbesondere vor dem Hintergrund der werden, ist es noch deutlich schlimmer und Mobilisierung und Demobilisierung? Das würde mobilisiert wahrscheinlich noch viel mehr Leute. uns aus Ihrer praktischen Erfahrung heraus Man muss aber auch sagen, dass es einzelne interessieren. Kampagnen gab, wie zum Beispiel gegen den Migration spakt, die überhaupt nicht SV Prof. Dr. Simon Hegelich: Das ist ein mit einer Desinformation seitens klassischer Medien Missverständnis. Ich wollte nicht sagen, dass eine einherging. Zusätzlich wissen Kampagne, wie Cambridge Analytica in wir, dass im Bereich von Demonstrationen zum Deutschland so gelaufen ist, sondern, wir haben Beispiel Desinformation verbreitet wird, die zu eine Desinformationskampagne in den USA, die einer weiteren Anstachelung von Protestierenden aufgedeckt worden ist in den Anhörungen im führen soll. Wir wissen aus den Senat. Die gleichen Accounts, die in dieser jüngsten Beispielen aus Frankreich, Kampagne tätig waren, waren auch in dass dort Falschmeldungen über Kindesentführung Deutschland tätig. Es geht um Desinformation, die und Organspenden von Roma verbreitet werden. mit Russland in Verbindung gebracht wird. Wobei Das sind Geschichten, die kenne ich ich aber auch da wieder über die Herkunft selber schon aus meiner Schulzeit, die jetzt einfach in den nichts sagen kann. Twitter behauptet, es ist die digitalen Raum übertragen werden und da noch IRA gewesen, die hinter der Kampagne steht. Ich einmal deutlich mehr Mobilisierungspotenzial mit weiß aber nicht, wie sie darauf gekommen sind. sich bringen. Ich kann mich nicht daran Generell ist es so, dass man sowohl bei erinnern, dass in meiner Kleinstadt in Sachsen-Anhalt in Desinformationskampagnen als auch bei diesen irgendeiner Form gegen diese Menschen Versprechen von Cambridge Analytica, was sie dann protestiert oder gar zur Gewalt alles Tolles geleistet haben, auch immer bedenken aufgerufen wurde. Jetzt sehen wir, dass es durchaus muss, dass das auch Werbung ist und es auch dazu führt, dass Menschen übertrieben ist. sich zusammenschließen und Gewalt fordern und so Mobgewalt gefördert wird. Ich Was wir im Trump-Wahlkampf gesehen haben ist würde es nicht Selbstjustiz nennen, weil es eine Kampagne, die massiv mit datenanalytischen einfach keine Fälle gab, die in irgendeiner Form Mitteln betrieben wurde. Das haben wir in justiziabel waren. Deutschland nicht, oder Sie haben das alle sehr Demobilisierung und Mobilisierung gut vor mir verheimlicht. Aber ich habe das nicht sind auch

19. Wahlperiode Protokoll der 32. Sitzung Seite 26 von 29 vom 10. April 2019 Ausschuss Digitale Agenda

zwei Stichworte gerade im Kontext von Wahlen. herauszufinden, was hilft. Welche Erfahrungen In der Regel wird Desinformation nicht verbreitet, haben wir in den letzten zwei Jahren gemacht und damit jemand seine Meinung um 180 Grad dreht, welche Methoden helfen wirklich, um sondern um einerseits Nichtwähler zu Desinformation in der Öffentlichkeit zu mobilisieren, andererseits auch um Menschen, die „debunken" (entlarven), wie es im Fachjargon so wählen gehen würden, zu demobilisieren, indem schön heißt. zum Beispiel Falschmeldungen über die Partei, Für die Europawahl gibt es verschiedene die man dann vielleicht wählen würde, verbreitet Institutionen: Das Oxford Internet Institute haben werden. Das sind auch zwei wichtige Aspekte, die wir angesprochen. Wir versuchen, auch für die zu nennen wären. Europawahl etwas zu monitoren. Es gibt überall Abg. Dr. Anna Christmann (BÜNDNIS 90/DIE Organisationen, die haben aber alle, was die GRÜNEN): Ich frage Alexander Sängerlaub und Europawahl betrifft, das gleiche Problem. Die Professor Emmer: An Herrn Sängerlaub die Frage: kommen zwar alle ganz gut an Twitter-Daten Wir haben viele NGOs, die in diesem Bereich heran. Aber bei Facebook-Daten wird es schon unterwegs sind und genau diese ganzen düster. Social Science One ermöglicht zwar, sich Kommunikationen untersuchen, eigentlich auch Daten in der Rückschau anzusehen, aber das aus Eigenantrieb. Da würde mich interessieren, tägliche Begleiten der Europawahl wird wirklich wie Sie die Szene in ganz Europa einschätzen, wie schwierig für alle NGOs und alle Fact-Checking- viele gibt es von diesen Akteuren, die das tun? Organisationen. Die haben vielleicht Tools, wie Wie gut sind die vernetzt? Wäre es eigentlich CrowdTangle, was Facebook selber zur Verfügung sinnvoll, die Vernetzung noch einmal in einer stellt. Aber damit lassen sich nicht so richtig stärker gesteuerten Art und Weise zu machen und Desinformationskampagnen tracken, weil ich politisch zu unterstützen, damit diese keine Themensuche machen kann. Wo ich gucken Informationen auch zusammenkommen? kann, ob zum Beispiel Migrationsthemen betroffen sind. Es gibt viel Vernetzung und viel An Professor Emmer die Frage der Wille, aber manchmal nicht die technischen Datenverfügbarkeit: Jetzt hat Facebook die Social- Möglichkeiten. Science-One-Geschichte ins Leben gerufen, wo sich Facebook selber aussucht, wem sie jetzt SV Prof. Dr. Martin Emmer: Viele dieser Daten herausgibt — da wird schon der Kopf Datenstrukturen, die da angeboten werden im geschüttelt —. Insofern lerne ich gerne dazu, wie Rahmen solcher Kooperationen, sind oft nicht das genau funktioniert und wie Sie das das, was wir brauchen. Gerade wenn man eine einschätzen. Es gebe aber auch die Möglichkeit zu Stichwort- oder Themensuche machen will, sagen, man setzt das noch einmal als politischen übernimmt Facebook nicht die Arbeit. Man muss Standard. Dass es bestimmte wissenschaftliche sich dann behelfen — man ist oft in einem Institutionen gibt, die eben einen Zugang haben, Graubereich unterwegs, wenn man mit statt zu sagen, man überlässt das den Netzwerken selbstgebastelten Tools Seiten scraped. Das ist selber. Wie ist Ihre Einschätzung dazu? auch nicht wirklich zielführend. Bei der Initiative Social Science One sind wir tatsächlich auch mit SV Alexander Sängerlaub: Es gibt eine gute einer Gruppe vertreten, die dort Daten bekommt. Vernetzung, die immer weiter vorangeht, auch Die Erfahrungen, die die Kollegin da gerade über europäische Grenzen hinweg. Zwei Akteure, macht, sind aber — ich würde sagen — mittelmäßig. die dabei zu nennen sind, die vor allem in dem Denn man ist eher in der Rolle eines Bittstellers. praktischen Bereich unterwegs sind, sind einmal Man kann einreichen, was man gerne haben First Draft und Poynter. Das sind zwei möchte, und dann hört man erst einmal einen journalistische Organisationen, die auch Fact- Monat lang nichts. Dann hört man, was man alles Checking-Netzwerke betreiben. Die haben gerade nicht kriegen kann. Dann muss man am Ende drei große Konferenzen in Europa gemacht, in damit leben, was man bekommt. Daten, deren Mailand, Frankfurt und — das Dritte habe ich Qualität man nicht richtig einschätzen kann. vergessen. Da ging es darum, Fact-Checker aus Gerade für uns, als Öffentlichkeitsforscher, ist oft allen Ländern zusammenzuführen, mal den State eine Repräsentativität besonders wichtig; also die of the art (Stand der Technik) zu teilen, um

19. Wahlperiode Protokoll der 32. Sitzung Seite 27 von 29 vom 10. April 2019 Ausschuss Digitale Agenda

Frage, bildet sich da tatsächlich der Diskurs ab? Aber es müsste einfach noch weit darüber Das ist alles überhaupt nicht einschätzbar. Das ist hinausgehen, dass wir auch die Möglichkeit vielleicht, wenn man es positiv wenden will, im haben, in andere Sachen reinzuschauen. ein erster Schritt, dass Facebook auf die Moment SVe Karolin Schwarz: Ich würde das gerne zugeht. Das würde ich jetzt positiv Wissenschaft unterstreichen und sagen: Letztendlich würde bewerten. Aber eigentlich würden wir uns als nach dieser Definition dann auch jeder politische sehr viel wohler fühlen, wenn wir Wissenschaft Talkshow-Auftritt in irgendeiner Form als einen starken Partner, wie den Gesetzgeber, an so Wahlwerbung durchgehen. Ich glaube, wir unserer Seite hätten, der mit und für die müssen vor allem erst einmal über bezahlte Wissenschaft mit am Tisch sitzt, wenn wir mit Werbung reden. Das ist zumindest mein Ansatz solchen Plattformen darüber verhandeln, welche dahinter. Da gibt es tatsächlich deutlich mehr Daten wir kriegen können. Akteure, als nur die Kandidaten von politischen Abg. Uwe Kamann (fraktionslos): Ich glaube, dass Parteien oder die Accounts der politischen Herr Sängerlaub der richtige Ansprechpartner Parteien selbst, die aktuell politische Werbung wäre, aber meine Frage kann natürlich auch jeder schalten. Ich glaube, das ist erst einmal der erste andere beantworten: Würden Sie meiner These Schritt, den man da gehen sollte. widersprechen, wenn ich sage, dass Wahlwerbung Abg. Uwe Kamann (fraktionslos): Vielleicht habe im klassischen Sinne in der analogen Welt, ich mich nicht ganz deutlich ausgedrückt. Ich überhaupt nicht in die digitale Welt im rede jetzt ausschließlich von den sozialen eigentlichen Sinne transformiert werden kann? Netzwerken. Ist es schon Wahlwerbung, wenn Weil die Wahlwerbung oder die irgendjemand lange vor der Wahl Fake News über Wahlmanipulation kontinuierlich stattfindet, und eine Partei äußert? Und dann auch noch flankiert nicht nur vor Wahlen. Dass alleine, wenn ich von unterschiedlichen anderen Informationen, die mich in einer politischen Community befinde, die eine Desinformationskampagne darstellen? Ist das dann praktisch kontinuierlich mit entsprechenden eigentlich schon langfristig gesehene Fake News, manipulativen Mechanismen usw. Wahlwerbung? Nicht im klassischen Bereich, da befeuert wird, ob das schon eine Wahlwerbung gebe ich Ihnen Recht. Aber aufgrund des ist? Dass man Wahlwerbung nach der klassischen Verbreitungspotenzials, den die sozialen Methodik gar nicht identifizieren kann, sondern Netzwerke haben, müsste ich das doch anders dass es kontinuierlich unterschwellig in einem positionieren und bewerten können. bestimmten Bereich durchgeführt wird? SV Alexander Sängerlaub: Ich glaube, das SV Alexander Sängerlaub: Da könnte man Problem ist, dass sich die digitale Öffentlichkeit generell in die Medieninhaltsforschung gehen und so darstellen, dass ich mit über andere Effekte reden, wie Agenda Setting, politischer Kommunikation — ich nenne es jetzt Framing und Priming. Ich glaube, das sind die einfach mal politische Kommunikation — die Sachen, die da relevant sind. Da geht es um die Leute direkt erreichen kann. Das Problem dabei ist, Frage, welche Narrative werden eigentlich dass Medien eigentlich eine Funktion gespielt, wie wird mit einem Thema umgegangel haben, jetzt nicht die sozialen Medien, sondern die welche Botschaften werden einerseits vielleicht klassischen Medien: Politische von politischer Seite platziert, auf der anderen Aussagen zu kontextualisieren, Seite, der Medienseite, welche Botschaften vielleicht zu überprüfen und in einen größeren werden aufgenommen. Welche Narrative werden Zusammenhang zu setzen. Dass das heute zunehmend in die Öffentlichkeit gegeben? Klar, Wahlwerbung ausfällt, weil die klassischen Medien, die als findet nicht nur in Werbeanzeigen statt, es findet Gatekeeper funktionierten — Gatekeeper auch ganz klassisch über Medienberichterstattung im Sinne von: Die Funktion wahrnehmen, statt. Ich kann auch einen Gastbeitrag als Politiker Informationen für uns einzuordnen —, dass in einer Zeitung schreiben. Auch die das immer weniger in den digitalen Öffentlichkeiten Beschränkung, was die Transparenz-Tools betrifft, stattfindet und wir einfach viel mehr direkte da nur in die Werbeanzeigen reinzugehen: Das ist Informationen bekommen. Das heißt ein wichtiger Schritt, das steht völlig außer Frage. aber auch, dass die Herausforderungen an die Nutzer auf der einen

19. Wahlperiode Protokoll der 32. Sitzung Seite 28 von 29 vom 10. April 2019 Ausschuss Digitale Agenda

Seite höher sind, weil ich diese Dinge, die mich müssen und dass es dazu auch den Zugang zu erreichen, decodieren und einschätzen muss. Ich Daten braucht. Das ist, glaube ich, ein ganz muss klären, ob das jetzt eine Information oder konkreter Auftrag, den wir heute so mitnehmen eine Meinung ist. Das ist eine der großen können. Herausforderungen, die sich stellt. Das hat Frau Ich darf mich ganz herzlich bedanken bei unseren schon gesagt. Es ist problematisch, Schwarz auch Sachverständigen, dass Sie uns diesen Input heute dann mit Begriffen wie News Room wenn man gegeben haben, aber auch dafür, dass Sie länger kommt und sagt, wir machen jetzt selber geblieben sind, als ursprünglich vereinbart. Ich Nachrichten. Es ist eigentlich nicht die Aufgabe bedanke mich bei allen, die sich für diese von Parteien, selber Nachrichten zu produzieren. öffentliche Anhörung interessiert haben und dass Ich glaube, das ist eigentlich ein Gewinn, dass wir Sie zugesehen haben und danke auch der Technik das mal getrennt hatten und gesagt haben, hier und den Mitarbeiterinnen und Mitarbeitern. Ich erfüllen Medien auch eine Funktion für uns. darf die Ausschussmitglieder noch darauf Der Vorsitzende: Wir müssen nun leider zum hinweisen, dass die nächste Sitzung am 8. Mai Schluss einer äußerst interessanten und auch für stattfinden wird, von 15:00 bis 17:00 Uhr. Ich uns alle sehr hilfreichen öffentlichen Anhörung wünsche Ihnen allen noch einen schönen Abend kommen. Es ist noch einmal deutlich geworden, und schließe die Sitzung. welche gesamtgesellschaftlichen Herausforderungen wir vor uns haben. Wir haben gehört von Selbstverpflichtungen, von Regulierung, von Stärkung des Journalismus. Wir haben gehört von Transparenz, von Bildung und vor allem aber haben wir gehört davon — und da waren sich alle einig —, dass wir mehr wissen

Hans Stellvertretender Vorsitzender

19. Wahlperiode Protokoll der 32. Sitzung Seite 29 von 29 vom 10. April 2019