WENN KI, DANN FEMINISTISCH IMPULSE AUS WISSENSCHAFT UND AKTIVISMUS

Hrsg. von netzforma* e.V. Berlin 2020

•

Wenn KI, dann feministisch — Impulse aus Wissenschaft und Aktivismus

Hrsg. von netzforma* e.V. — Berlin 2020 •

DIE GESCHICHTE MEINER SCHRIFT Zu Beginn des Jahres entdeckte meine Mutter eine neue Leiden- schaft: Sticken. Sie hatte schon vorher Freude an kreativen Praktiken gehabt (wie Weben und Stricken). In ihrer neuen Aktivität fand sie etwas befriedigendes, was sie sehr er- füllt. Ihre ersten Stickereien waren Buchstaben, vor allem aus dem Sajou-Alphabet. Als ich die sah, kam mir eine Idee. Gemeinsam dachten wir über eine fruchtbare Zusammen- arbeit nach, die unsere beiden jeweiligen Hobbys vereinen könnte. Was wäre, wenn sie meine eigenen Schriften stickte? Um diese Idee umzusetzen, entwickelte ich für meine Schrift Arthemys Display Light eine neue Version, die es meiner Mutter ermöglichte, die Formen auf ein spezielles Gewebe (namens Aïda) zu übertragen. Dieser Prozess erfordert eine binäre Sprache, genau wie Pixel auf einem Computer. Die Buchstaben werden also Punkt für Punkt gedacht und akribisch zusammengesetzt. Das geht weg von dem Ge- danken einer vektorisierten Form, die nur durch ihre Umrisse definiert wird. Vielmehr muss die Form in ihrer gesamten Fläche aufgebaut werden, wie mit Legosteinen! Auf dieser Grundlage konnte meine Mutter die verschiedenen Buch- staben bauen, indem sie einfach dem Raster des Gewebes folgte. Sicherlich war dieser Prozess ziemlich aufwendig und verlangte eine Menge Geduld ab, aber meine Mutter fand die Idee, mithilfe eines mathematischen Systems ein zier- liches Kunstwerk zu schaffen, sehr befriedigend.

Morgane Vantorre 12.10.2020 Paris

Morgane Vantorre — Die Geschichte meiner Schrift EINLEITUNG

Wenn KI, dann feministisch netzforma* — Verein für feministische Netzpolitik 1 — 318 7 ÜBERWACHUNG

1 Überwachung und Künstliche Intelligenz Wer überwacht hier eigentlich wen? Francesca Schmidt & Johanna Luise Mellentin 319 — 878 15 DIGITA LE GE WALT

2 Kontrollverlust und (digitale) Entmündigung — Das Gewaltpotential Künstlicher Intelligenz Leena Simon 879 — 1335 31 ALGORITHMISCHE EN TSCHEIDUNGS- SYSTEME

3 Effiziente Ungleichheit Victoria Guijarro-Santos 1336 — 1805 47

4 Automatisierte Ungleichheit Wie algorithmische Entscheidungssysteme gesellschaftliche Machtverhältnisse (re)produzieren Phillip Lücking 1806 — 2240 65

5 KI und Beschäftigung: Das Ende menschlicher Voreingenommenheit oder der Anfang von Diskriminierung 2.0? Deniz Erden 2241 — 2866 77 ROBOTIK

6 Feminismus und automatisierte Waffensysteme Ray Acheson 2867 — 3381 91

7 Harmony’s Future l No Future w/o Harmony Constanze Erhard 3382 — 3788 107 FILM

8 Droid in Distress oder Fembot Fatale? Ein Kulturhistorischer Überblick der Darstellung weiblich konstruierter Künstlicher Intelligenzen in Science-Fiction-Filmen Josephine D’Ippolito 3789 — 4282 119 KUNST

9 PosterdesAIn Katharina Nejdl 4283 — 4335 133

10 Re-präsentation verweigern Dr. Tiara Roxanne 4336 — 4703 147

11 AI : Queer Art Dr. Katrin Köppert 4704 — 4970 159 FEMINIST FU TURES

12 K.rüppel I.ntelligenz Katharina Klappheck 4971 — 5403 169

13 Feministische Zukünfte schreiben. Katrin Fritsch & Helene von Schwichow 5404 — 5479 181

14 Use your technical Monsters — create them, nurture them and use them for creating nurture and care Annika Kühn 5480 — 5684 185 15 KI can’t care. Mütterlichkeit im Zeitalter Künstlicher Intelligenz Hannah Lichtenthäler 5685 — 6091 193 FAZIT

Ein feministischer Ausblick netzforma* — Verein für feministische Netzpolitik 6092 — 6233 205 Einleitung •

EINLEITUNG WENN KI, DANN FEMINISTISCH • NETZFOR MA* — VEREIN FÜR FEMINISTISCHE NETZPOLITIK

7 1 Technik ist, war und wird nie neutral sein. Ebenso wenig wie 2 die Menschen, die sie erschaffen. Sie ist damit auch nicht 3 objektiv, sondern agiert in hohem Maße normativ. Diese Tat- 4 sachen rücken gerade in Anbetracht der Ausbreitung neuarti- 5 ger digitaler Technologien zunehmend in den Vordergrund, 6 bilden das Momentum einer kritischen Analyse sozio-techni- 7 scher Verhältnisse. Betrachtet man die Normativität von Tech- 8 nik, so eröffnet sich ein Blick auf ihre Verstrickung mit bereits 9 bekannten Macht- und Herrschaftsstrukturen. Neue Techno- 10 logien, allen voran Künstliche Intelligenz (KI), haben im gesell- 11 schaftlichen, wirtschaftlichen, wissenschaftlichen wie politi- 12 schen Geschehen Handlungs- und Wirkungsmacht. Sie müssen 13 daher machtkritisch analysiert werden, denn sie agieren nie 14 selbstbestimmt, sondern folgen stets menschlich gesetzten 15 normativen Vorstellungen. 16 Was schon für rudimentäre Technik galt, gilt umso 17 mehr für komplexe Technologien. Die Auseinandersetzung 18 mit KI reiht sich hier mit ihrer Geschichte ein. In der Phase ihrer 19 Entstehung – diese wird gemeinhin in die 1950er Jahre in den 20 USA datiert, als 10 Wissenschaftler (!) einen Sommer lang in 21 Dartmouth zusammenkamen, um die Möglichkeiten Künstli- 22 cher Intelligenz auszuloten – stand eine philosophische Her- 23 angehensweise im Mittelpunkt. Sie rückte das Verhältnis 24 Mensch-Maschine in den Fokus: es galt, Gemeinsamkeiten, 25 aber auch grundlegende Unterschiede zu verstehen, die die 26 Natur des Menschen mit seinen genuinen und unverwechsel- 27 baren Eigenschaften der Leistungsfähigkeit der Maschine 28 gegenüber stellten. 29 Heute sehen wir große technologische Fortschritte 30 im Bereich des maschinellen Lernens (eine Form schwacher 31 KI) – allen voran in deep learning Verfahren, also besonders 32 komplexen algorithmischen Systemen. Zunehmend rücken 33 technisch-materielle Aspekte in den Fokus, eng gebunden an 34 gesellschaftliche Strukturen. Mit Blick auf bewusst zu tref- 35 fende Entscheidungen erhielten in diesem Kontext insbeson- 36 dere Themen des Datenschutzes bzw. der Schutz der indi- 37 viduellen Privatsphäre im Zuge von Big Data, wie auch Trans- 38 parenzstandards – also der Einblick, das Verständnis oder 39 auch die Verbesserung der technologischen Verarbeitung von 40 Daten, prominenten Status. 41 Neue Technologien bringen immer auch neue Fragen 42 mit sich, schauen wir nur beispielhaft in den Bereich der bewaff- 43 neten Drohnen und die einhergehende Diskussion um Verant- 44 wortung und Haftung. Vielfach handelt es sich bei diesen Dis- 45 kussionen um Themen im Bereich von Moral, Ethik und Recht, 46 die schon länger, wenn auch auf anderer Ebene diskutiert, 47 aber nie final beantwortet, entschieden oder gelöst wurden. 48 Oft auch deshalb, weil gesellschaftlichen Dynamiken die Auf- 49 merksamkeit wieder weg von diesen Themen lenkten oder 50 aufgrund einer vermeintlichen (philosophischen und gesell- 51 schaftlichen) Unlösbarkeit der Probleme. Der Einsatz von KI 52 zwingt uns nun diese Themen ganz oben auf die Liste zu 53 schreiben. Das gilt für Drohnen, das gilt aber auch für auto- 54 nom fahrende Autos und die (Haftungs-)Entscheidung darü- 55 ber, wie diese im Falle eines unausweichlichen Unfalls reagie- 56 ren soll, kann und rechtlich muss, wenn es um die Abwägung 57 von Menschenleben geht. 58 Letztlich geht es um die grundlegenden gesellschaft- 59 lichen Fragen von Gleichstellung, Gleichbehandlung, Zugang 60 und Ausschluss. Rassistisch agierende Bots und Gesichtser- 61 kennungssoftware, die noch immer bestimmte Gruppen dis- 62 kriminiert, machen zunehmend deutlich, wie und wo beste- 63 hende Diskriminierungsverhältnisse in digitale Systeme getragen Einleitung 8 64 und dort verstärkt werden und nicht selten zu justiziablen 65 Grundrechtsverletzungen führen. Mit Nachdruck müssen wir 66 deshalb tradierte gesellschaftliche Muster aufdecken und auf- 67 brechen und einen transparenten Zugang auf die Entwicklung 68 algorithmischer Systeme einfordern. Technik ist am Ende 69 schließlich immer nur so gut oder so schlecht, wie die Gesell- 70 schaft, die sie hervorbringt. Auch die Komplexität gegenwär- 71 tiger Diskriminierungsphänomene muss deshalb verstärkt in 72 den Fokus rücken. Eine intersektionale Perspektive also auf 73 vielschichtige, stets verschränkte und sich oft wechselseitig 74 verstärkende Diskriminierungskategorien wie Geschlecht, 75 sexuelle Identität, Hautfarbe und Herkunft, Religion oder 76 Behinderung. 77 Im November 2019 veranstalteten wir unterstützt 78 von der Landeszentrale für politische Bildung Berlin und in 79 Zusammenarbeit mit dem Institut für Geschichte und Theorie 80 der Gestaltung der Universität der Künste Berlin (UdK) und 81 dem Gunda-Werner-Institut für Feminismus und Geschlech- 82 terdemokratie ein Barcamp sowie eine Kunstausstellung, 83 kuratiert von Dr. Katrin Köppert, unter dem Titel „Wenn KI, 84 dann feministisch“. Verschiedene Expert*innen aus Politik und 85 Zivilgesellschaft sowie Künstler*innen begleiteten die Ver- 86 anstaltung und brachten ihre Perspektiven über die Zukunft 87 von KI ein. 88 In der vorliegenden Publikation haben wir unserer 89 Barcamp-Teilnehmer*innen und Expert*innen erneut eingela- 90 den, dieses Thema weiterzuentwickeln. Wir geben hiermit 91 intersektionalen feministischen Perspektiven einen Raum in 92 diesem sich rasant entwickelnden gesellschaftlichen Diskurs 93 rund um Entwicklung und Nutzung intelligenter Technologien. 94 Uns geht es auch um eine Bestandsaufnahme: Wer redet 95 heute, wenn über Künstliche Intelligenz und algorithmische 96 (Entscheidungs-)Systeme gesprochen wird? Welchen gesell- 97 schaftlichen Positionen gehört gegenwärtig die Bühne und 98 die Aufmerksamkeit – und was bedeutet das für die künftige 99 Entwicklung von intelligenten Systemen? Wie steht es um die 101 Rolle von intersektionalen feministischen Positionen mit Blick 102 auf die Entwicklung von KI? Welche gesellschaftlichen Posi- 103 tionen werden in den Forderungen nach einer gerechten KI 104 berücksichtigt? Und wird dies überhaupt gehört? 105 Als Verein haben wir kollaborativ an dieser Publika- 106 tion gearbeitet, Expert*innen eingebunden und auch unsere 107 eigenen Perspektiven weiterentwickelt. In den Überblicks- 108 texten, den Beiträgen unserer Mitglieder sowie in den über- 109 setzten Texten haben wir uns bewusst für die folgenden 110 Nomenklatur entschieden: Das Gendersternchen * verweist 111 auf die Konstruiertheit der gegenderten Kategorie (wie z. B. 112 Frau*) und ermöglicht es, Identitäten und Selbstpositionierun- 113 gen jenseits der historisch gängigen und auch aktuell häufig 114 zugeschriebenen Bezeichnungen mitzudenken. Die Großschrei- 115 bung von Schwarz verweist auf die Strategie der Selbster- 116 mächtigung. Es zeigt das symbolische Kapital des Wider- 117 standes gegen Rassismus an, welches rassistisch markierte 118 Menschen und Kollektive sich gemeinsam erkämpft haben. 119 BIPOC steht für die politische Selbstbezeichnung Black, Indi- 120 genous und People of Color, die eine geteilte Rassismuserfah- 121 rung aufgreift und diese in eine kollektive Positionierung ein- 122 fließen lässt. Community verweist in der Beibehaltung der 123 englischen Terminologie auf das Kollektive und das darin 124 eingeschriebene Widerstandspotential. Dies in Abgrenzung 125 zur herkömmlichen Bedeutung der deutschen Übersetzung 126 „Gemeinde“ oder „Gemeinschaft“. Die Klein- und Kursivsetzung 127 von weiß verweist auf die soziale Konstruiertheit von Diffe- netzforma* — Wenn KI, dann feministisch 9 128 renzmarkierungen, wobei weiß üblicherweise unmarkiert bleibt. 129 Da im Gegensatz zu Schwarz dieser Differenzmarkierung 130 kein Selbstermächtigungs- und Widerstandspotential inne- 131 wohnt, wird weiß auch nicht groß geschrieben.

ÜBERSICHT UBER DIE BEITRÄGE 132 Diskriminierungsmuster werden durch den Einsatz von KI und 133 ADM-Systemen zementiert, teils verstärkt und strukturell tra- 134 diert. Intersektionale Ausschlusssysteme, fußend auf den 135 etablierten gesellschaftlichen Ausschlusskategorien von Gen- 136 der und race, Klasse, Religion, Behinderung und Schichtung 137 fließen auch in diesen Kontext unreflektiert und unkritisch in 138 innovative Systeme ein. Dies ist die Grundlage, von der aus wir 139 in dieser Publikation eine kritische Bestandsaufnahme wagen. 140 In verschiedenen Themenblöcken kommen dabei 141 unterschiedliche Perspektiven und wissenschaftliche Diszi- 142 plinen zu Wort – mit dem Ziel, einen möglichst breiten Zugriff 143 auf das Thema zu erlauben. Technik und Gesellschaft beein- 144 flussen sich wechselseitig auf viele Arten; besonders hervor- 145 zuheben sind aber sicher die Kategorien, die wir als Schwer- 146 punkt gewählt haben: Überwachung, Gewalt, Robotik und 147 Bewertungsverfahren. 148 Francesca Schmidt und Johanna Luise Mellentin 149 arbeiten in ihrem Beitrag Überwachung und Künstliche Intel- 150 ligenz: wer überwacht hier eigentlich wen? heraus, wie der 151 Einsatz von KI bestehende Formen der Überwachung auf die 152 breite Gesellschaft ausweitet und so auch neue Formen von 153 Diskriminierungen und Ausschlüssen verschärft. Außerdem 154 stellen sie die Fragen, wer denn eigentlich nun wirklich über- 155 wacht werden muss, Mensch oder KI? 156 Eng verknüpft mit dem Thema Überwachung ist das 157 der digitalen (häuslichen) Gewalt. Neben dem bisher dominie- 158 renden Thema Hate Speech gehen mit KI auch neue, sich ver- 159 ändernde Formen der vergeschlechtlichten Gewalt einher. 160 Leena Simon betont in ihrem Beitrag Kontrollverlust und (digi- 161 tale) Entmündigung – Das Gewaltpotential Künstlicher Intel- 162 ligenz, dass mit steigenden Fähigkeiten der KI auch ihre Kom- 163 plexität und Intransparenz zunimmt. In die formale Welt der 164 mathematischen Berechnungen mischt sich, so Simon, eine 165 gefährliche Melange aus hegemonialen Weltbildern, reprodu- 166 zierten Stereotypen und Missverhältnissen unserer Vergan- 167 genheit – und das vor allem leise und unbemerkt. 168 Unter der Überschrift Algorithmische Entscheidungs- 169 systeme widmen Deniz Erden, Phillip Lücking und Victoria 170 Guijarro-Santos sich in ihren Beiträgen automatisierten Ent- 171 scheidungsverfahren. Im ersten Beitrag stellt Victoria Guijar- Einleitung 10 172 ro-Santos vordergründig die Allgegenwärtigkeit der auf Algo- 173 rithmen basierenden Entscheidungssysteme heraus. Eingesetzt 174 und legitimiert werden diese vor allem, weil ihnen eine beson- 175 dere Effizienz zugeschrieben wird – doch rechtfertigt dieses 176 Argument letztlich die durch sie entstehenden Ungleichhei- 177 ten? Guijarro-Santos entgegnet dieser Sichtweise und macht 178 deutlich, dass wir zur Bekämpfung der Manifestation von 179 Ungleichheit bereits über ein geeignetes und ausbaufähiges 180 Instrument verfügen: Unsere Grundrechte. 181 Phillip Lücking bildet in seinem Beitrag die techno- 182 logisch-materialistische Ebene der KI ab. Bei seiner sozio-tech- 183 nischen Erläuterung grundlegender Begriffe wie KI und Daten, 184 legt er wesentliche normativ-ökonomische Muster offen und 185 demaskiert mit feministischen Denker*innen die vermeintli- 186 che Neutralität technologischer Verfahren. Vor diesem Hinter- 187 grund fordert auch er eine politische Aneignung von algo- 188 rithmischen Systemen, die unsere Realitäten bereits jetzt struk- 189 turieren. Darüber hinaus fordert er jedoch vor allem die For- 190 cierung einer feministischen Technikentwicklung. 191 Deniz Erden beschäftigt sich in ihrem Beitrag KI und 192 Beschäftigung: Das Ende menschlicher Vorurteile oder der 193 Beginn von Diskriminierung 2.0? mit der Algorithmisierung 194 von Bewerbungsverfahren in der Arbeitswelt. Vor dem Hinter- 195 grund des vermehrten Einsatzes eben dieser Technologien 196 lotet sie deshalb die Potenziale und Grenzen des europäischen 197 Antidiskriminierungs- und Datenschutzrechts sowie der DSGVO 198 aus und vertritt die These, dass mit Blick auf das Vermeiden 199 von (neuen) diskriminierenden Strukturen Aufsichtsorgane 200 eine Agenda für Fairness fördern könnten, indem sie Beratung 201 und Genehmigung von, auf dem Arbeitsmarkt einzusetzen- 202 den Tools übernehmen sowie Datenschutz-Folgenabschät- 203 zungen vornehmen. 204 Neben algorithmischen Systemen spielt im Technik- 205 zeitalter auch die Robotik eine besondere Rolle – etwa in Form 206 von Pflege-, Sex-, und Arbeitsrobotern oder auch in Form von 207 Drohnen als autonome Waffensysteme findet sie Eingang in 208 die unterschiedlichsten gesellschaftlichen Bereiche. 209 In ihrem Beitrag Feminismus und automatisierte 210 Waffensysteme verdeutlicht Ray Acheson, dass zunehmend 211 Waffen auf Basis von KI und Machine-Learning-Verfahren 212 entwickelt werden. Diese vollautonomen Waffensysteme 213 können ohne menschliche Kontrolle entscheiden, wen sie als 214 Ziel auswählen und gegebenenfalls auch wen sie töten. Dabei 215 bleiben solche Systeme nicht unberührt von Stereotypen und 216 Vorurteilen; Acheson zeigt davon ausgehend auf, welche Aus- 217 wirkungen dies auf die zukünftige Kriegsführung haben wird. 218 Im zweiten Beitrag zum Thema Robotik wendet sich 219 Constanze Erhard dem Thema der Sexbots zu, welche durch 220 ihre Intimität ein besonders strittiges Feld der Mensch-Ma- 221 schine-Interaktion darstellen. In ihrem Beitrag Harmony’s 222 Future | No Future w/o Harmony analysiert sie die damit (oft) 223 verknüpfte (polarisierte) wissenschaftliche Diskussion und 224 bietet eine deutlich differenziertere Analyse von Sexbots an. 225 Erhard schlägt vor, im Bezug auf Sexbots von sexualisierter 226 Care-Arbeit zu sprechen, um damit die (den Sexbots) zugrun- 227 deliegenden vergeschlechtlichten Herrschaftsverhältnisse 228 besser fassen zu können und so zum Ausgangspunkt einer 229 feministischen Analyse zu machen 230 Aus einer filmwissenschaftlichen Perspektive wid- 231 met sich Josephine D’Ippolito dem Thema KI. In ihrem Artikel 232 Fembot Fatale vs. Droid in Distress: Entwicklung sexistischer 233 Codes in Science Fiction Filmen untersucht D’Ippolito die kul- 234 turhistorischen Entwicklungen der unterschiedlichen Darstel- netzforma* — Wenn KI, dann feministisch 11 235 lungsformen Künstlicher Intelligenzen von 1927 bis 2019 im 236 Genre der Science Fiction Filme. Dafür greift sie primär Filme 237 des US-amerikanischen Mainstreams aus verschiedenen Epo- 238 chen heraus und analysiert, wie die darin vorkommenden Künst- 239 lichen Intelligenzen Geschlechterstereotype von Weiblichkeit, 240 u.a. in ihrer intersektionalen Verwobenheit, reproduzieren. 241 Unter dem Kapitel Kunst findet sich ein künstlerischer 242 Beitrag von Katharina Nejdl mit dem Titel PosterdesAIn, in 243 dem die von einem Neuronalen Netzwerk generierten Plakate 244 anschließend von Grafik Designer*innen reinterpretiert wur- 245 den und durch die AR-App Artivive sichtbar sind – dazu gibt 246 es auch eine Anleitung! 247 Katrin Köppert lädt die Lesenden in ihrem Text AI: 248 Queer Art ein, Künstliche Intelligenz als queere Kunst zu ver- 249 stehen. Sie zeigt, dass die Technologie der KI mit der Techno- 250 logie des Geschlechts verbunden ist und macht so deutlich, 251 wie Künstliche Intelligenz mit künstlerischen Konzepten ver- 252 knüpft ist. Grundlage dafür ist der Test von Alan Turing, der 253 anhand eines Geschlechter-Rate-Spiels untersucht, ob sich 254 Computer in ihrem Verhalten von Menschen unterscheiden 255 lassen. Dabei ergründet Köppert den Zusammenhang zwi- 256 schen mathematischer Formalisierung und geschlechtlicher 257 Unberechenbarkeit und zeigt, wie sich die Grenzen von Bere- 258 chenbarkeit im Gründungstext Künstlicher Intelligenz festschrei- 259 ben und somit das Potential queerer Kreativität von KI zeigen. 260 Im dritten Beitrag zum Thema Kunst befasst sich Dr. 261 Tiara Roxanne in ihrem Beitrag Repräsentation verweigern 262 mit KI im kolonialen Siedler-Kontext. Laut Roxanne führen 263 Künstliche Intelligenz und Machine Learning Systeme Mechanis- 264 men der kolonialen Siedlergewalt aus, indem sie indigene Bevöl- 265 kerungen mittels rekonstituierter Bilder darstellen. Roxanne 266 untersucht dabei Verweigerung als Überlebensmechanismus für 267 indigene Bevölkerungen. Dabei analysiert sie die Ergebnisse 268 von Style Transfer und GAN, zwei unterschiedlichen Machine 269 Learning Modellen, die Ergebnisse als restrukturierte Informa- 270 tionen liefern, die trotz Verwendung indigener Deskriptoren 271 koloniale Praktiken fortschreiben. Ihr Artikel dient somit als 272 eine Art Historisierung, die KI an bereits bekannte koloniale 273 Praktiken rückkoppelt und zeigt, dass KI nicht neutral sein 274 kann, da sie koloniale Praktiken fortschreibt. 275 Zu guter Letzt geben wir denen Raum, die nach vorne 276 schauen, in eine Zukunft, in der intersektionale feministische 277 Positionen zum common sense avanciert sind. 278 Unter der Überschrift Feminist Futures führen Katrin 279 Fritsch und Helene von Schwichow in ihrem Beitrag Femi- 280 nistische Zukünfte schreiben in den Themenbereich der 281 Zukünfte und Utopien ein. Sie betonen, dass algorithmische 282 Systeme uns vor allem eines gelehrt haben: Dass die Zukunft 283 nicht ohne Gegenwart denkbar ist und auch, dass die Gestal- 284 tung der Zukunft gegenwärtiger Gesellschaften vor allem von 285 weißen Männern dominiert wird. Ausgehend davon muss die 286 Frage lauten: Wie können wir Zukunft von Grund auf feminis- 287 tisch denken und Werte wie Gemeinschaft oder soziale 288 Gerechtigkeit grundlegend inkludieren? 289 Katharina Klappheck unternimmt den Versuch eines 290 Entwurfs einer alternativen Vision für KI und orientiert sich 291 dabei an den disability studies. Bisher wurde die Kategorie der 292 Behinderung im Lernprozess Künstlicher Intelligenzen oft als 293 Abgrenzungsfolie verwendet, um über die Abgrenzung des 294 Unregelhaften zur Identifikation des Regelhaften, des „Nor- 295 malen“ als Zielvorgabe zu gelangen. Dabei definiert Klapp- 296 heck die Beziehung zwischen beiden als eine komplexe Kon- 297 stellation, die selbst wiederum Hinweise darauf geben kann, Einleitung 12 298 wie eine alternative KI aussehen kann und fragt: „Was wäre, 299 wenn KI selbst ein Krüppel wäre?“ 300 Annika Kühn beleuchtet in ihrem Beitrag, dass Erschaf- 301 fer*innen von Technologien zu selten ihren Einfluss auf die 302 entsprechende Technologie und den Einfluss dieser Techno- 303 logie auf sie selbst reflektieren. Ausgehend von einer „emo- 304 tional carenden KI“ soll in dieser feministischen Utopie ein 305 empowernder Raum für Macher*innen und User*innen von KI 306 aufgezeigt werden. 307 Abschließend geht es im Text KI can’t care. Mütter- 308 lichkeit im Zeitalter Künstlicher Intelligenz von Hannah Licht- 309 enthäler um Mutterschaft und Fürsorge im Zusammenhang 310 mit KI. Lichtenthäler leitet mit bekannten mütterlichen Vor- 311 bildern aus populärer Kultur ein und schaut kritisch auf die 312 Konzepte der Mütterlichkeit und Mutterschaft. Sie wirft die 313 Frage auf, weshalb Mutterschaft innerhalb der feministischen 314 Diskurse eher ein Randthema bleibt und stellt die Frage in den 315 Raum, wie eine Zukunft mit KI für Mutterschaft aussehen 316 kann. In der Reproduktionsmedizin wird schließlich bereits auf 317 KI gesetzt, um zukünftig erfolgreiche Schwangerschaften zu 318 steigern.

netzforma* — Wenn KI, dann feministisch 13 Überwachung 1

ÜBERWACHUNG UND KUNSTLICHE INTELLIGENZ : WER ÜBERWACHT HIER EIGENTLICH WEN?

• FRANCESC A SCHMIDT & JOHANNA LUISE MELLENTIN

15 319 Künstliche Intelligenz (KI) und die automatisierte Auswertung 320 von Daten ermöglichen die Ausweitung von Überwachung 321 über ein bisher unbekanntes Maß weit hinaus. Zunehmende 322 und beschleunigte Verknüpfung von Datensätzen bis tief in 323 die Metadatenebene bringt eine neue Qualität des Überwa- 324 chungsbildes mit sich – von Individuen, (marginalisierten) 325 Bevölkerungsgruppen oder auch ganzen Gesellschaften. 326 Zudem wird der Eingriff in das Grundrecht auf informationelle 327 Selbstbestimmung intensiviert sowie in eine Vielzahl von wei- 328 teren Grundrechten bis hin zu Art. 1 GG: Der Menschenwürde. 329 Nicht nur staatliche Überwachungsmaßnahmen steigen und 330 werden in diesem Sinne zunehmend technisiert, auch die 331 gegenseitige Überwachung (lateral surveillance) nimmt zu. 332 Zeiten der Krise, wie wir sie derzeit mit der Corona-Pandemie 333 erleben, können, aufgrund neu erwachsener Unsicherheiten 334 und Ängste, diese Spirale verstärken. Die Vernetzung unter- 335 schiedlicher Technologien und Datensätze führt auch dazu, 336 dass neue Technologien verstärkt nicht mehr nur zielgerichtet 337 sondern kategorisch eingesetzt werden. Datenbestände 338 wachsen ins Unermessliche, Künstliche Intelligenz kann hel- 339 fen, zu durchforsten, clustern, zusammenzufügen und ganze 340 Gesellschaftsgraphen zu erstellen (vgl. boyd & Crawford 341 2012). Heute werden also ganze Kontexte überwacht. Im Ver- 342 hältnis Staat-Bürger*innen verlagert diese Entwicklung vor 343 allem staatliche Maßnahmen immer weiter ins Vorfeld. Mit 344 Verweis auf die Verhinderung von Straftaten werden bei- 345 spielsweise unzählige Videokameras auf öffentlichen Berliner 346 Plätzen gefordert. Wenn diese Technologien mit Künstlicher 347 Intelligenz gekoppelt werden, entsteht so ein Panoptikum, das 348 in seinen Ausmaßen weit über das von Foucault erdachte hin- 349 ausgeht.1 Anlasslose Massenüberwachung wird im 21. Jahr- 350 hundert durch den Einsatz und die Entwicklung von KI mehr 351 als jemals zuvor zur Realität. Eine Realität, die sich jeden Tag 352 ein bisschen mehr, ein wenig intensiver und immer weiter 353 ausdehnt. Für manche mehr, für manche weniger spürbar. 354 Sichtbar? Für wen? Was? Zu welchem Zeitpunkt? Das bleibt 355 intransparent bis unsichtbar. 356 Unsere grundlegenden demokratischen Freiheiten 357 und Werte stehen mehr denn je auf dem Spiel. Nicht nur durch 358 die aktuelle Corona-Pandemie wird der populistische Ruf 359 nach Sicherheit, Ordnung und Kontrolle immer stärker. Auch 360 diese verstärkten Rufe, die sich einer lähmenden Angstspirale 361 bedienen sind es letztlich, die die Welt von Tag zu Tag unsi- 362 cherer erscheinen lassen – mit verheerenden Folgen, denn 363 dies steigert wiederum die Akzeptanz von sinnlosen und 364 ineffektiven Maßnahmen der Überwachung. Mit ihrer Hilfe 365 wird die zunehmende Ausstattung staatlicher Behörden mit 366 rechtlichen und technischen Kompetenzen zur Überwachung 367 gerechtfertigt. Vor allem die grundrechtlich gesicherte Privat- 368 sphäre wird dabei immer weiter eingeschränkt.

1 Das panoptische Gefängnis ist kreisrund, mit einem Wachturm in der Mitte, von dem aus die Wärter*innen alle Gefangenen beobachten können, ohne, dass die Gefangenen die Wärter*innen sehen können. Diese Anordnung unterteilt beide Gruppen in Sehende und zu Sehende und ist, anders als die öffentliche Videoüberwachung in ihrem Ausmaß begrenzt (vgl. Foucault 1977).

Überwachung 16 FEMINISTISCHE PERSPEK TIVEN AUF ÜBERWACHUNG 369 Diese Einschränkungen treffen nicht alle Menschen gleich. Es 370 lohnt sich ein feministischer, vor allem intersektionaler Blick 371 auf den Komplex der Überwachung, auch über die Frage der 372 Privatsphäre hinaus. 373 Schauen wir zurück, sehen wir: Die Überwachung 374 von all jenen, die nicht der patriarchal geprägten männlichen 375 heteronormativen Norm entsprechen, hat eine lange Tradition. 376 Simone Browne, Professorin für African and African Diaspora 377 Studies an der Universität Austin, Texas machte deutlich, dass 378 Überwachung und deren Technologien rassifiziert sind und 379 hauptsächlich dazu dienen, die weiße 2 Norm wiederherzu- 380 stellen und sicherzustellen, wer dazugehört und wer nicht. 381 Auch wird deutlich, dass viele Praktiken der Überwachung, die 382 im transatlantischen Sklav*innenhandel eingesetzt wurden, 383 bis heute fortwirken, sowohl diskursiv, als auch real eingesetzt 384 werden (Browne 2015). Zum Beispiel werden bis heute Prak- 385 tiken der körperlichen Vermessung, vor allem zur Altersbe- 386 stimmung von jungen Geflüchteten angewandt. Auch die bio- 387 metrische Erfassung etwa von Fingerabdrücken folgt diesem 388 Muster. 389 Auch der Frauenkörper ist, historisch betrachtet, 390 geprägt von eben jener patriarchalen Überwachung. Zu den- 391 ken wäre hier, vor allem im deutschen Kontext, nicht nur an 392 die Einschränkung bürgerlicher Freiheiten, wie zum Beispiel 393 die Aufnahme von Erwerbsarbeit, die für Frauen bis 1977 nur 394 mit Zustimmung des Ehemanns möglich war, oder das Eröff- 395 nen eines eigenen Bankkontos, welches erst seit 1958 möglich 396 ist (Bundeszentrale für politische Bildung 2012). Auch die der- 397 zeit gültige Regelung zu Schwangerschaftsabbrüchen ist eine 398 Form der Überwachung des weiblichen Körpers bzw. in Teilen 399 des Trans*Körpers. 400 Es wird deutlich: Überwachung hat nicht für alle Men- 401 schen die gleichen regulierenden Eingriffe zur Folge. Überwa- 402 chung trifft somit nicht alle gleich. Die Freiheit der Einen, 403 innerhalb der weißen patriarchalen Norm, bedeutet die Über- 404 wachung der Anderen, also von all jenen, denen Zugehörigkeit 405 verweigert wird, oder die vielleicht gar nicht Teil dieser Norm 406 sein wollen.

2 In diesem Text wird weiß oder weiß-sein immer klein und kursiv geschrieben, da es im Gegensatz zu Schwarz kein Begriff für eine politisch empowernde Selbstdarstellung ist. Zudem verweist diese Schreibweise von weiß oder weiß-sein auf die üblicherweise unmarkierten Differenzmarkierungen sozialer Konstruktionen (vgl. Eggers et al. 2005).

Francesca Schmidt & Johanna Luise Mellentin — Überwachung und Künstliche Intelligenz 17 ABER WIR WERDEN DOCH ALLE UBERWACHT 407 Dass der beliebte Satz „Ich habe nichts zu verbergen“ – des- 408 halb auch kein Problem mit massenhafter Überwachung – zu 409 kurz greift, zeigen schon die Ausführungen weiter oben. Denn 410 die Einschränkungen erleben eben in erster Linie deprivile- 411 gierte und marginalisierte Menschen. Aber ganz grundsätz- 412 lich sollten wir uns als Gesellschaft gegen eine durch KI zuneh- 413 mend automatisierte Form der Überwachung wehren. Denn 414 Privatsphäre zu wahren, heißt nicht unbedingt, Geheimnisse 415 zu haben. Vielmehr lässt so ein Satz darauf schließen, der nur 416 im Verhältnis zu einem Gegenüber stehen kann, dass bei die- 417 sem die Überwachung wohl begründet zu sein scheint. Die 418 Anderen (jenseits der Norm) haben also etwas zu verbergen.

PRIVATSPHÄ RE: FUR WEN? 419 Überwachung wird sehr oft unter dem Aspekt der Privatsphäre 420 diskutiert. Doch wir sollten hier zumindest in einem ersten 421 Schritt unterscheiden, wer in die Privatsphäre eindringt: Der 422 Staat, private Unternehmen oder andere Menschen (oft mit 423 Hilfe von privaten Unternehmen, wie Facebook & Co). 424 Wenn wir von staatlichen Eingriffen in die Privat- 425 sphäre sprechen, sehen wir, dass die Intensität dieser Ein- 426 griffe mit dem Grad der Abhängigkeit vom Staat zunimmt. So 427 müssen etwa Hartz-4-Empfänger*innen, Menschen mit Behin- 428 derung, Geflüchtete bzw. Asylsuchende mit wesentlich zahl- 429 reicheren und tiefergehenden Eingriffen rechnen, als Men- 430 schen die zu keiner dieser Gruppen oder anderen marginalisierten, 431 stigmatisierten Gruppen gehören. 432 Menschen, die mit Hilfe von Bildung und technischem 433 Wissen ihre Daten vor den privaten Unternehmen in größerem 434 Umfang schützen können, oder, sofern das überhaupt mög- 435 lich ist, selbstbestimmt ihre Daten zur Verfügung stellen kön- 436 nen, können ihre Privatsphäre in größerem Umfang schützen. 437 Es ist ein faktisches Privileg, denn rechtlich steht es allen glei- 438 chermaßen zu. 439 Wenn wir also Überwachung unter dem Diktum der 440 Privatsphäre diskutieren, wird deutlich, dass wir gesellschaft- 441 liche Macht- und Herrschaftsstrukturen mitdenken müssen, 442 denn die Freiheit, die einige wenige durch den Schutz der Pri- 443 vatsphäre erhalten, ist zugleich die Unfreiheit der Anderen.

Überwachung 18 BIG DATA, ALGORITHMEN UND KI SORTIEREN UNSERE GESELLSCHAFT NEU“ UND SCHOTT̋ EN SIE AB 444 Der große Datenhaufen, den wir jeden Tag aufs neue anhäu- 445 fen, ist die Grundlage für zunehmende, auch staatliche Über- 446 wachung. Zumindest ermöglicht es dieser, auch an „Qualität“ 447 stetig verbesserte Datenhaufen (neue) Korrelationen, Bezie- 448 hungen von Sachverhalten herzustellen. Genutzt wird dies 449 zum Beispiel beim predictive policing. 450 Die an unterschiedlichen Stellen und von unterschied- 451 lichen Systemen gesammelten Daten werden durch automa- 452 tisierte Prozesse in neue Zusammenhänge gebracht. Verein- 453 facht gesagt, sind es Algorithmen, die aufgrund einer Analyse 454 von Falldaten Wahrscheinlichkeiten berechnen und so Aus- 455 sagen treffen, wer wann und wo ein mögliches Verbrechen 456 begehen könnte. Mit dieser Technologie wird der Einsatz von 457 Polizeikräften gesteuert, mittlerweile auch von einigen Polizei- 458 behörden in deutschen Bundesländern. In den USA jedoch ist 459 es schon Teil des Alltags, dass potentielle Täter*innen Besuch 460 von der Polizei bekommen, mit dem Hinweis und der Warnung 461 vor möglichen zukünftigen Straffälligkeiten (Gorner 2013; 462 Merz 2016). 463 Doch was, wenn die davon Betroffenen nur durch 464 neue, durch KI hergestellte Datenkorrelationen zu potentiellen 465 Täter*innen gemacht werden? Sie werden einem Risikoclus- 466 ter aufgrund persönlicher Gewohnheiten zugeordnet. Dage- 467 gen können sich die Betroffenen schwer wehren. Denn sie 468 müssen sich gegen einen Verdacht zur Wehr setzen, der nur 469 auf Grund einer Datenkorrelation bzw. dem, was KI daraus 470 gemacht haben, entstanden ist (Gless 2016). Erschwerend 471 kommt hinzu, dass Technologie Objektivität und Neutralität 472 zugeschrieben wird, ihr deshalb häufig eine Fehlerlosigkeit 473 attestiert wird. Doch aktuell werden diese Programme in der 474 Regel weder nach transparenten Kriterien entwickelt noch 475 einheitlich oder überhaupt überprüft. Wie die Wahrscheinlich- 476 keiten genau berechnet werden, weiß die Polizei daher in den 477 seltensten Fällen. Doch wie passt die daraus resultierende 478 Notwendigkeit des Vertrauens in unser Wertesystem? Francesca Schmidt & Johanna Luise Mellentin — Überwachung und Künstliche Intelligenz 19 479 Wir werden also nicht nur in potentielle Täter*innen 480 und Opfer sortiert, auch andere Cluster werden mit Hilfe der 481 Daten gebildet. Die dann wiederum über unsere Kreditwür- 482 digkeit, die Höhe von Versicherungsbeiträgen, Jobangebote 483 oder im Zweifel die Kosten unserer Krankenversicherung (was 484 in Deutschland zum Glück noch nicht der Fall ist) entscheidet. 485 Die Fachliteratur verwendet für dieses Clustering den Begriff 486 social sorting (Lyon 2003), also die Einsortierung in bestimmte 487 soziale Klassen und damit deren Verortung im vorherrschen- 488 den Machtgefüge. 489 Dieses Machtgefüge (z. B. Europa) schottet sich auch 490 mit Hilfe von Künstlicher Intelligenz nach außen ab. Grenzkon- 491 trollen werden automatisiert, der elektronische Reisepass soll 492 Zeit ersparen, stellt aber all jene vor eine Herausforderung 493 bzw. unter ein besonderes Augenmerk, die ihn nicht haben, im 494 Zweifel auch nie bekommen können und macht all diejenigen, 495 die ihn besitzen zu noch durchsichtigeren Menschen. Und was 496 passiert mit den bestehenden staatlichen Überwachungssys- 497 temen und gehorteten Datenmengen darüber hinaus, wenn 498 sich einmal das derzeitige politische System ändern sollte? 499 Ein Blick in Länder mit anderer Regierungsstruktur zeigt es. 500 Tödlich wird die Abschottung beim sogenannten Geo- 501 fencing, wenn Künstliche Intelligenz herangezogen wird, um 502 „digitale Zäune“ zu bewaffnen. Mittels Videoüberwachung, 503 Bewegungssensoren oder Wärmebild werden Grenzgän- 504 ger*innen aufgespürt – an der türkisch-syrischen Grenze bei- 505 spielsweise und dann den integrierten automatisierten Selbst- 506 schussanlagen überlassen. Doch auch, wenn wir uns als 507 Gesellschaft gegen den Einsatz von tödlicher KI aussprechen, 508 scheinen die moralischen Grenzen durchlässig: Eine Vermen- 509 gung von Migrationspolitik, Wirtschaftspolitik und der Rüs- 510 tungsindustrie führt dazu, dass „digitale Zäune“ auch aus 511 Deutschland und Europa stammen, wie beispielsweise jene in 512 Marokko. Oder der, der 2009 unter der Mitfinanzierung u. a. 513 durch die deutschen Gesellschaft für Internationale Zusam- 514 menarbeit von EADS (heute Airbus), nach Saudi-Arabien gelie- 515 fert wurde (Grieger & Schlindwein 2016).

ÜBERWACHUNG DURCH UNTERNEHMEN 516 Unternehmen, v. a. soziale Netzwerke, überwachen ihre Nut- 517 zer*innen und sammeln, speichern und verarbeiten massen- 518 haft ihrer Daten. Auf ihrer Grundlage bieten sie beispielsweise 519 maßgeschneiderte Werbung an, steuern Aufmerksamkeit 520 und beeinflussen Kaufentscheidungen. 521 Die Nutzer*innen selbst sind es, die sich mit Hilfe von 522 Apps und anderen Technologien überwachen. Mit dem Ziel der 523 Selbstoptimierung geben wir Daten über unsere sportlichen 524 Leistungen, Menstruationszyklen, Arbeitsfortschritte, Schlaf- 525 qualität oder Fokuszeiten an Unternehmen. Meist zu einem Überwachung 20 526 sehr niedrigen Preis, nämlich um Apps, Technologien oder 527 andere angebotene Services kostenlos nutzen zu können. 528 Die Daten, vornehmlich hoch sensible Gesundheits- 529 daten, sind auch für andere interessant. Der Staat könnte 530 ebenfalls Regulierungsbestrebungen mit solchen Daten unter- 531 füttern. Beispielsweise könnten Krankenkassen günstige Sport- 532 tarife für besonders aktive Menschen anbieten. Die Generaly 533 Vitality wirbt mit Sonderbelohnungen und vergünstigten Ver- 534 sicherungsprämien für ein gesundes Lebensverhalten (Dialog 535 Versicherung AG). Ein Punkt für gesundes Essen auf dem Super- 536 marktband, noch einen für den erfolgreichen Check beim Arzt, 537 noch einen für eine Stunde im Fitnesscenter. Doch wer zahlt 538 eigentlich den Preis? All diejenigen, die weniger gesund, weni- 539 ger fit, weniger freizügig mit ihren Daten sind, müssen dann 540 die teuren Tarife buchen. Auch hier werden die belohnt, die in 541 der Norm bleiben und diese verfestigen.

TECHNOLOGIE IST FEHLERANFÄLLIG, ÜBERWACHUNG DAMIT AUCH 542 Dass Algorithmen und Künstliche Intelligenz Diskriminierung 543 Vorschub leisten, weil sie in vielen Fällen selber diskriminieren, 544 ist bekannt und in dieser Publikation ebenfalls sehr deutlich 545 geworden. Automatisierte Gesichtserkennung, die nicht nur 546 Menschen ihren „offiziellen“ Identitäten zuordnen soll, sondern 547 in einigen Fällen sogar nach möglichen Affekten und Emotio- 548 nen wie Wut, Aggression und Gewaltbereitschaft clustern soll, 549 um so etwaigen terroristischen Attentaten zuvorzukommen, 550 gilt als äußerst fehleranfällig. In Bezug auf Affective Compu- 551 ting wissen wir aus der Forschung, dass Emotionen und Affekte 552 einerseits kulturell unterschiedlich codiert sind, andererseits 553 werden damit auch Emotionen weiterhin stereotyp und vor 554 allem binär vergeschlechtlicht werden: So wird oft Wut als 555 etwas männliches und Hysterie als weiblich klassifiziert. Blei- 556 ben wir bei der Gesichtserkennung. Oftmals gelingt es den 557 Programmen – vor allem bei Schwarzen Menschen3 – nicht, 558 Gesichter richtig oder gar als Menschen (Barr 2015) zu erken- 559 nen. Joy Buolamwini vom MIT Media Lab stellte beispiels- 560 weise fest, dass Gesichtserkennung eigentlich nur gut bei 561 weißen Männern funktioniert. Schwarze Frauen und Schwarze 562 Männer werden schlechter bis gar nicht erkannt. Bei Schwar- 563 zen Frauen ist knapp ein Drittel aller Zuordnungen schlicht 564 falsch (Buolamwini & Gebru 2018). Die American Civil Liber- 565 ties Union, übersetzt amerikanische Bürgerrechtsunion (ACLU), 566 hat 2018 festgestellt, dass die Gesichtserkennung von Ama- 567 zon 28 Mitglieder des amerikanischen Kongresses fälschli- 568 cherweise Fahndungsfotos zugeordnet hat. Die falschen 569 Übereinstimmungen betrafen unverhältnismäßig viele Men- Francesca Schmidt & Johanna Luise Mellentin — Überwachung und Künstliche Intelligenz 21 570 schen of Color. Dabei waren unter anderem sechs Mitglieder 571 des Congressional Black Caucus, einer Vereinigung afroame- 572 rikanischer Mitglieder des Kongresses. Auch der kürzlich ver- 573 storbene Kongressabgeordnete und Ikone der Schwarzen 574 amerikanischen Bürgerrechtsbewegung John Lewis war 575 unter denjenigen, die falsch zugeordnet wurden (Snow 2018). 576 All die Mitglieder des Kongresses sind Personen öffentlichen 577 Lebens, also auch mit einer Vielzahl von Bildmaterial in den 578 unterschiedlichen Datenbanken vertreten, trotz allem hat die 579 Gesichtserkennung versagt. Eingesetzt als Tool zur (staatli- 580 chen) Überwachung fördert sie so Diskriminierung, indem 581 beispielsweise polizeiliche Maßnahmen, sich dann vorwie- 582 gend gegen Schwarze Menschen richten, da diese auf diese 583 Weise immer wieder mit Verbrechen in Verbindung gebracht 584 werden. Wird der Einsatz solch fehlerhafter Systeme durch 585 staatliche Sicherheitsbehörden betrieben, hat dies aufgrund 586 des Mächteverhältnisses und der Schutzpflicht des Staates 587 besonders heftige Folgen – für die Sicherheit, die dadurch 588 eben gerade nicht garantiert werden kann und für die betrof- 589 fenen Individuen. 590 Leistungsfähige Algorithmen, wie sie beispielsweise 591 bei Gesichts- und Spracherkennungstechniken eingesetzt 592 werden, arbeiten mit lernenden Systemen statt mit einfachen 593 regelbasierten Konditionalketten. Das bedeutet, die Daten- 594 basis mit der das System gefüttert wird, hat eine direkte 595 Auswirkung auf die späteren Entscheidungen des Systems. 596 Beinhalten die unbereinigten Basisdatenbanken schon ein 597 Ungleichgewicht oder Diskriminierungen, wird auch der Algo- 598 rithmus diese fortschreiben und zu Ungleichbehandlung füh- 599 ren bzw. diese sogar verstärken. Um beim Beispiel der Kon- 600 gressabgeordneten zu bleiben: wenn in der Datengrundlage 601 Schwarze Menschen nur bzw. mehrheitlich in Form von Ver- 602 brecherfotografien abgebildet sind, wird der Algorithmus die 603 Bilder Schwarzer Menschen automatisch entsprechend zuord- 604 nen. Diese Diskriminierung muss nicht absichtlich geschehen. 605 Doch zeigt sie ganz eindeutig fehlendes intersektionales Pro- 606 blembewusstsein bezüglich Macht- und Hierarchiestrukturen 607 und sie zeigt auch, wie institutionalisiert Diskriminierungs- 608 formen wie Rassismus und Sexismus in unser Gesellschaft 609 sind und fortgeschrieben werden.

3 Der Begriff Schwarz wird in diesem Artikel immer groß geschrieben, um das von People of Color und Schwarzen Menschen eingeschriebene Widerstandspotential zu verdeutlichen (vgl. Eggers et al. 2005).

Überwachung 22 VERFASSUNGS- RECHTLICHE GRENZEN STAATLICHER ÜBERWACHUNG — UND WEITER? 610 Jetzt könnten wir letztlich konstatieren, dass es schlicht nur 611 einer Bereinigung zum Beispiel der Gesichtserkennungstech- 612 nologie und ihres Datensatzes braucht, um diese gesellschaft- 613 lich und rechtlich akzeptabel zu gestalten. Unter der Aus- 614 gangssituation, dass es ebensowenig neutrale Technik wie 615 neutrale Menschen gibt, kämen wir jedoch dann nicht darum 616 herum zu fragen: Wie viel Diskriminierung soll „erlaubt“ sein 617 und wie muss die Beurteilung anders ausfallen, wenn der 618 Staat mit Überwachungsmaßnahmen agiert? Die Antwort 619 gibt das Grundgesetz vor. Doch wenn rechtlich und faktisch 620 gleichzusetzen wäre, gäbe es wohl weder diese Publikation 621 noch bräuchte es Gerichte. 622 Klar ist, Überwachung mündet häufig in einer Vielzahl 623 von Grundrechtsverletzungen, wie das Recht auf Privatheit, das 624 Recht auf sexuelle und reproduktive Selbstbestimmung, Ver- 625 sammlungs- und Bewegungsfreiheit oder Diskriminierungs- 626 freiheit. Letztendlich sprechen wir auch über die Würde des 627 Menschen, Art. 1 GG. Mit Blick auf den Einsatz von Künstlicher 628 Intelligenz, die die Schwere des Eingriffs um ein Vielfaches 629 erhöhen kann, stellen sich hier ganz neue Fragen aber auch 630 die alten Fragen mit nie dagewesener Dringlichkeit, bleiben 631 aktuell. Mit der gesammelten und bevorrateten Datenmenge 632 kann, so aufbereitet und analysiert, sehr kleinteilig nach ver- 633 dächtigen Mustern und Korrelationen gesucht werden. Mit der 634 Verknüpfung von Datensätzen lassen sich – vor allem mithilfe 635 von Metadaten – sogar ganze Bevölkerungsprofile erstellen. 636 Auch wenn bei deutschen Überwachungsmaßnahmen der Ein- 637 satz von Künstlicher Intelligenz noch weniger relevant ist, 638 wohin diese Reise gehen kann, zeigt uns ein Blick auf das chi- 639 nesische Social-Scoring-Programm. Massenhafte und tiefgrei- 640 fende Überwachungsbefugnisse und Datenbevorratung kön- 641 nen nicht nur der Demokratie auf vielfältige Weise schaden. 642 Das Verhältnis von Bürger*innen und Staat ist stets 643 verknüpft mit einhergehenden Fragen von Machtverteilung, 644 auch im Spannungsverhältnis von Pflicht und Schutz. Mit letz- 645 terem wurden in den vergangenen Jahren immer mehr Maß- 646 nahmen begründet, die vermeintlich Sicherheit schaffen sol- 647 len, doch nicht nur faktisch das Gegenteil herbeiführen können, 648 sondern mit Blick auf ihre Auswirkungen, zum Teil eine starke 649 Dysbalance in der Verhältnismäßigkeitsprüfung aufweisen. 650 Wir sehen eine lange Kette an schrill blinkenden Warnleuch- 651 ten. Sie wurde sichtbar in den Veröffentlichungen von Edward 652 Snowden über das weltumspannende Überwachungssystem. 653 Parlamentarische Untersuchungsausschüsse haben aufge- Francesca Schmidt & Johanna Luise Mellentin — Überwachung und Künstliche Intelligenz 23 654 klärt und ihre Auswirkungen sind in wissenschaftlichen Gut- 655 achten belegt. Doch wer überwacht die Überwacher*innen, 656 wenn die Warnleuchten nicht für jede*n gleichermaßen wahr- 657 nehmbar sind und das Internet nicht selten faktisch zum 658 rechtsfreien Raum erklärt wird? 659 Die Ausweitung von staatlichen Überwachungsmaß- 660 nahmen, die zu einem kaum überschaubaren, undurchsichti- 661 gen Flickenteppich von Ermächtigungsgrundlagen anwächst, 662 wurde lange Zeit rechtlich kaum in ihrer Gesamtheit betrach- 663 tet. Nun wurde sie flankiert von einer klaren Kante seitens der 664 Judikative. Neben der formulierten Notwendigkeit von Konkre- 665 tisierungen hinsichtlich der Differenzierung von Eingriffsbe- 666 fugnissen je nach Eingriffsgewicht in der Entscheidung der 667 Bundesverfassungsgerichts zur Bestandsdatenauskunft II 668 (Beschl. v. 27.05.2020, BvR 1873/13, BvR 2618/13) hat erst 669 jüngst eine Klage von zivilgesellschaftlichen Organisationen 670 die Richter*innen in Karlsruhe dazu gebracht, das nachrich- 671 tendienstliche Recht auf die Zulässigkeit anlassloser Über- 672 wachung des weltweiten Internetverkehrs durch den Bundes- 673 nachrichtendienst zu prüfen. Es sollte kein überraschendes 674 Ergebnis sein: Die Menschenrechtswidrigkeit und Unverein- 675 barkeit von anlassloser Massenüberwachung mit der deut- 676 schen Verfassung wurde dabei festgestellt (BVerfG, Urtl. 677 v. 19.05.2020, 1 BvR 2835/17). Das tatsächlich mit Ersterem 678 einhergehende Novum: Eine Klarstellung hinsichtlich der bis- 679 herigen Ungleichbehandlungen von Staatsbürger*innen und 680 „Ausländern im Ausland“, deren Kommunikation zuvor „zum 681 Abschuss freigegeben war“ wie es ein BND-Mitarbeiter einst 682 im parlamentarischen Untersuchungsausschuss „NSA“ ein- 683 mal betonte (Sattler 2014). 684 Doch neben diesem Meilenstein für den Rechts- 685 schutz von Millionen von Menschen bleibt die Frage, ob das 686 verfassungsrechtliche Korrektiv auch faktisch zur Grenzset- 687 zung bzw. Rechtswahrung führt. Statt sich im Rahmen einer 688 bereits 2010 verfassungsrechtlich geforderten unabhängi- 689 gen Überwachungsgesamtrechnung (BVerfG, Urt. v. 02.03.2010 690 1 BvR 256/08, primär Rn. 218) der Frage zu widmen, wie die 691 bestehende Überwachungspraxis deutscher Sicherheitsbe- 692 hörden im Gesamten ausgestaltet ist und welche Folgen und 693 Konsequenzen derzeitige Überwachung mit sich bringt, bli- 694 cken wir auf eine sich fortschreibende Entwicklung des 695 Überwachungssystems im Sinne der stetigen Ausweitung 696 von Maßnahmen – trotz unzähligen höchstgerichtlichen kla- 697 ren Entscheidungen zur Vorratsdatenspeicherung, präventi- 698 ven Telekommunikationsüberwachung oder Online-Durch- 699 suchung. 700 Erst dieser Tage wird versucht, auslaufende Über- 701 wachungsmaßnahmen (Entwurf eines Gesetzes zur Entfris- 702 tung von Vorschriften zur Terrorismusbekämpfung, BT-Drs 703 19/23706), die ursprünglich in den sogenannten Schily-Kata- 704 logen mit einer Befristung und der Pflicht stetiger unabhän- 705 giger Evaluierungen versehen waren, nach zahlreichen Zwi- 706 schenentfristungen nun endgültig zu entfristen. Unabhängige 707 Evaluierungen bis dato: Nicht vorhanden. Im Gesetzespaket 708 enthalten sind Rechtsgrundlagen für Überwachungsmaßnah- 709 men, die längst vom Verfassungsgericht einkassiert wurden. 710 Eine Überwachungsgesamtrechnung gibt es bis heute nicht, 711 noch nicht mal einen Kriterienkatalog für eine dringend not- 712 wendige wissenschaftliche Evaluierung aller Überwachungs- 713 gesetze (Dolderer 2020). Es ist schlicht zu wenig bekannt 714 über die die von Sicherheitsbehörden eingesetzten Techno- 715 logien, die Eignung oder Erforderlichkeit der mit ihr einher- 716 gehenden weitreichenden Grundrechtseingriffe. Und ohne Überwachung 24 717 Technikfolgenabschätzung bleiben die Auswirkungen auf 718 Individuum und Gesellschaft im Dunkeln. 719 Das stets vorgebrachte Argument: Die Sicherheit. 720 Doch ohne sich der irreführenden Sicherheits-Freiheits-Di- 721 chotomie bedienen zu wollen: Es gibt keine Sicherheit, die 722 ohne Freiheit, ohne Gleichberechtigung auskommt. 723 Daher mahnte bereits 1983 der Verfassungsgerichts- 724 hof in seiner immer noch hochaktuellen Entscheidung zum 725 Volkszählungsurteil an, die Auswirkungen von Überwachung 726 auf Individuen und Gesamtgesellschaft zu überprüfen: 727 Wer unsicher ist, ob abweichende Verhaltensweisen jederzeit 728 notiert und als Information dauerhaft gespeichert, ver- 729 wendet oder weitergegeben werden, wird versuchen, nicht 730 durch solche Verhaltensweisen aufzufallen. Wer damit 731 rechnet, daß etwa die Teilnahme an einer Versammlung oder 732 einer Bürgerinitiative behördlich registriert wird und daß 733 ihm dadurch Risiken entstehen können, wird möglicherweise 734 auf eine Ausübung seiner entsprechenden Grundrechte 735 (Art. 8, 9 GG) verzichten. 736 (Bundesverfassungsgericht 1983) 737 Eine visionäre Begründung, die in ihrer die Unsicher- 738 heiten aufzeigenden und mahnenden Weise, die (unterbe- 739 wusst) handlungsverändernde Komponente von Überwa- 740 chungsmaßnahmen (Chilling Effects) in den Mittelpunkt rückt. 741 Eingeschränkt wird damit auch die Chance auf selbstbe- 742 stimmte, individuelle Entfaltung. Aufgrund der Machtverhält- 743 nisse der Überwachungsmaßnahmen und bestehender Dis- 744 kriminierungen ist die Beeinträchtigung dabei für einige 745 weniger, für andere deutlicher intensiv. Die gesellschaftlichen 746 Auswirkungen auf unsere freiheitlich-demokratische Gesell- 747 schaftsstruktur liegen auf der Hand, wenn Handlungs- und 748 Mitwirkungsfähigkeit eingeschränkt werden. Wenn die Ein- 749 schränkungen unterschiedlicher Art sind und uns als Gesamt- 750 gesellschaft unterschiedlich betreffen, verändert dies uns als 751 vielfältige und diverse Gesellschaft grundlegend und verän- 752 dert demokratische Prozesse wie politische Meinungsbildung. 753 Dass solche sogenannten Chilling Effects nur schwer vor 754 Gericht darstellbar sind, folglich eine rechtliche Überprüfung 755 fast unmöglich erscheint, ist ein Fakt. Es ist also auch die 756 grundlegende Frage, wie wir der Lösung dieser damit einher- 757 gehenden gesellschaftlichen Aufgabe nachkommen. In wel- 758 chem Miteinander wollen wir leben? Wer ist das Wir und wer 759 entscheidet? Ohne die Wahrnehmung der staatlichen Pflicht, 760 diesen Entscheidungsprozess offen und transparent zu beglei- 761 ten, interdisziplinär statt abgeschottet und elitär zu führen und 762 zu entscheiden, werden wir die Lücke zwischen gesamtge- 763 sellschaftlichem Anspruch, unserem bestehenden Grundge- 764 setz und der faktischen Lage von ebenfalls bestehenden 765 Grundrechtsverletzungen aufgrund von Überwachung nie 766 schließen und ohnehin nie aufdecken können. 767 Das, in Überwachungsmaßnahmen logischerweise 768 selbst angelegte Problem stellt die in ihr verankerte Intrans- 769 parenz dar. Während ein kleiner Teil der Gesellschaft immer 770 mehr Informationen und damit Macht ansammelt, weiß der 771 Großteil der Bevölkerung schlicht zu wenig über diese Vor- 772 gänge. Verstärkt wird dies durch den Einsatz von Technolo- 773 gien, wenn diese selbst mit fehlender Transparenz gebaut, mit 774 Daten befüllt, eingesetzt und letztlich die Ergebnisse nicht 775 evaluiert werden. 776 Bleibt also letztlich nur die digitale Selbstverteidi- 777 gung als letzte Möglichkeit des Eigenschutzes? Klar ist, dass 778 dies gerade nicht zu gleichberechtigter Teilhabe beitragen 779 würde. Zynisch auch gerade mit Blick auf das Machtverhältnis Francesca Schmidt & Johanna Luise Mellentin — Überwachung und Künstliche Intelligenz 25 780 von Bürger*in und Staat, denn das Verhältnis zur Verschlüsse- 781 lung hat selbst der Staat bis heute nicht geklärt. Er nimmt 782 oder gibt sich immer mehr das Recht staatlichen Durchgriffs, 783 wie beispielsweise mit Hilfe von Staatstrojanern. Während 784 zivilgesellschaftliche Organisationen wiederum durch gericht- 785 liche Klärung einen Überwachungsstopp einfordern müssen 786 (Mattes 2018), wird der Versuch der Ausweitung von staatli- 787 cher Seite fortgeführt, ja sogar soweit getrieben, Unterneh- 788 men zur Überwachungsunterstützung durch Verteilung von 789 Malware und somit zum Hacken der Kund*innen in die Pflicht 790 zu nehmen (Meister & Biselli 2019).

MENSCH ODER KI WER MUSS EIGENTLICH ÜBERWACHT WERDEN? 791 Und wer sollte diese Frage beantworten? Nicht nur, wenn es 792 um anlasslose Massenüberwachung geht, können die grund- 793 legenden Entscheidung wohl nur von der Gesamtgesellschaft 794 getroffen werden. In welcher Welt wollen wir leben, in wel- 795 chem Verhältnis, wie soll Macht verteilt sein, wer gehört dazu 796 und wer ist draußen? Bei Massenüberwachung wissen wir 797 nicht, wer von der Überwachung in welchem Umfang betrof- 798 fen ist. Oder doch? Wir überwachen schlicht alle per General- 799 verdacht, um das einzelne Überwachungsobjekt erst später 800 herauszudefinieren. Ein grundsätzliches Nein hierzu fällt leicht, 801 doch die Grenzen zu ziehen wohl faktisch nicht. 802 Bei individueller Einzelüberwachung, Überwachung 803 im privaten Bereich oder durch wirtschaftliche Unternehmen 804 scheint die Frage, welche Formen von Überwachung wir wol- 805 len und welche nicht, einfacher zu beantworten zu sein. Nicht 806 nur rechtlich, sondern auch faktisch. Doch bereits am proak- 807 tiven Ansatz zeigt sich das Scheitern. 808 Es geht nicht um ein Gefühl? Oder doch? Um der mit 809 Verwendung von Technologien einhergehenden Verantwor- 810 tung gerecht zu werden, müssen wir weg von der vielleicht 811 unbewusst getroffenen Entscheidung, dass es ausreicht, 812 Gefühle zur Legitimation von gesellschaftlichen Entscheidun- 813 gen bis hin zu Rechtsgrundlagen heranzuziehen. Weder für 814 die Entscheidung nach stärkeren und umfangreichen Über- 815 wachungsmaßnahmen zur Überdeckung von Angstgefühlen, 816 noch für ein unreflektiertes Vertrauen in Technik. Dies gilt 817 insbesondere für den zunehmenden Einsatz von Künstlicher Überwachung 26 818 Intelligenz, die häufig zu falschen Entscheidungen führen und 819 Diskriminierung verstärken kann, wie wir gezeigt haben. Black- 820 boxes, also intransparente, in sich geschlossene Systeme, 821 deren Aufbau und innerer Ablauf sich – wenn überhaupt – erst 822 aus den Reaktionen auf eingegebene Signale erschließen lässt, 823 sind zur Überwachung verwendet eine doppelte Bedrohung. 824 Das bedeutet, wir müssen die richtige überwachen: 825 Die Künstliche Intelligenz. 826 Damit bereits bestehende Diskriminierung und sys- 827 temische Verzerrungen durch KI-Systeme nicht verstärkt, son- 828 dern minimiert werden können, braucht es eine grundlegende 829 Transparenz bei ihrer Ausgestaltung. Von der offenen Kenn- 830 zeichnung des Einsatzes solcher Systeme beginnend, müssen 831 sie so nachvollziehbar und überprüfbar wie möglich entwickelt 832 und ausgestaltet sein. Explainable AI ist hier das Stichwort. 833 Eine Dokumentierungs- und Protokollierungspflicht 834 erscheint unausweichlich, um Fehler und Falschentscheidun- 835 gen aufdecken und beheben zu können. Beim Einsatz von 836 Künstlicher Intelligenz müssen nicht nur unbeabsichtigte Rück- 837 schlüsse auf einzelne Personen verhindert werden, es bedarf 838 auch zwingend kontrafaktischer Erklärungen wie Auskunfts- 839 ansprüche für Betroffene darüber, welche Faktoren zu einer 840 negativen Entscheidung geführt haben. 841 Je höher das Schädigungspotential, desto höhere 842 Anforderungen sind an die Kriterien von KI-Systemen anzu- 843 legen. Doch was bringen offene Standards, Datenqualität und 844 -robustheit oder Datenschutzregeln, wenn eine KI zur heimli- 845 chen Überwachung eingesetzt wird? Was bringt es Betroffe- 846 nen, wenn ihnen in Bezug auf Künstliche Intelligenz-Entschei- 847 dungen Rechte zustehen, wenn sie diese aber aufgrund von 848 fehlender Kenntnis der Überwachung nicht durchsetzen kön- 849 nen. Bedeutet das, dass beim Einsatz von Überwachung der 850 Einsatz von Künstlicher Intelligenz gar ganz verboten werden 851 muss? Klar scheint, dass bei Gesichtserkennungstechnik im 852 öffentlichen Raum etwa von einem nicht vertretbaren Schä- 853 digungsrisiko gesprochen werden muss. Mit Blick auf die Sen- 854 sibilität der meisten betroffenen Bereiche, die Eingriffsintensi- 855 tät, die Anzahl betroffener Personen oder die Irreversibilität 856 von Entscheidungen, wäre das für viele Bereiche zu bejahen. 857 An dieser Stelle muss gesagt werden, dass es durchaus Ein- 858 satzbereiche von Überwachung gibt, etwa im medizinischen 859 Bereich, in denen die Abwägung eine andere wäre. 860 Aber wer übernimmt die Verantwortung, zu entschei- 861 den, was uns Technologie in der Zukunft bringen soll und was 862 nicht? Wer entscheidet, welche Weichen die richtigen sind 863 und wo sie hinführen sollen und wer verantwortet sie letzt- 864 lich? Wer entwickelt, zertifiziert oder standardisiert? Und 865 welche gesellschaftlichen wie privaten Auswirkungen hat die 866 Antwort? Hierfür braucht es eine grundlegende Entscheidung 867 – persönlich und auch gesamtgesellschaftlich. In Deutschland, 868 Europa, aber auch weltweit. Überwachung geht uns alle an. 869 Sich aus dem Diskurs herausnehmen hat Auswirkungen, meist 870 in größerem Maße für all jene, die besonders von Überwa- 871 chung und Einschränkungen betroffen sind. Wir müssen diese 872 Debatte intersektional feministisch gestalten und führen, also 873 unter Einbeziehung von Macht- und Herrschaftsstrukturen, 874 mit Blick auf die unterschiedlichen Diskriminierungsformen 875 und Auswirkungen. Anders können wir die Fragen über das 876 Ob – von Überwachungsmaßnahmen mit oder ohne KI – hin 877 zum Wie und mit welchem Ergebnis und welchen Auswirkun- 878 gen nicht gerecht für die Zukunft beantworten.

Francesca Schmidt & Johanna Luise Mellentin — Überwachung und Künstliche Intelligenz 27 Francesca Schmidt arbeitet als Referentin für feministische Netzpolitik am Gunda-Werner-Institut für Feminismus und Geschlechterdemokratie und hat gerade ein Buch zu feminis- tischer Netzpolitik im Budrich Verlag herausgegeben.

Johanna Luise Mellentin ist Ethnologin mit rechtswissenschaftlichem Background, auf kommunaler Ebene digitalpolitische Refer- entin im Stadtrat Fürstenfeldbruck, Sprecherin der Landesarbeits- gemeinschaften Digitales und Medien bzw. Netzpolitik von Bündnis 90/Die Grünen in Bayern als auch Berlin und arbeitet zu diesen Themen als wissenschaftliche Mitarbeiterin in einem grünen Bundestagsbüro.

LITER ATUR Barr, Alistair (2015) „Google Mistakenly Tags Black People as ‚Gorillas,‘ Showing Limits of Algorithms.“ In: The Wallstreet Journal. Verfügbar unter: http://blogs.wsj.com/digits/2015/07/01/google-mistakenly- tags-black-people-as-gorillas-showing-limits-of-algorithms/ boyd, danah & Crawford, Kate (2012) CRITICAL QUESTIONS FOR BIG DATA: Provocations for a cultural, technological, and scholarly phenomenon. In: Information, Communication & Society, 15(5), 662–679. https://doi.org/10.1080/1369118X.2012.678878 Browne, Simone (2015) Dark matters: on the surveillance of blackness. Durham: Duke University Press. Bundesverfassungsgericht, 1 Senat (1983) „Bundesverfassungsgericht – Entscheidungen – Zur Verfassungsmäßig- keit des Volkszählungsgesetzes 1983.“ In: Bundesverfas- sungsgericht. Zugriff am 8.11.2020. Verfügbar unter: https:// www.bundesverfassungsgericht.de/SharedDocs/Entschei- dungen/DE/1983/12/rs19831215_1bvr020983.html Bundeszentrale für politische Bildung (2012) „8. März: Weltfrauentag / bpb.“ In: bpb.de. Zugriff am 6.11.2020. Verfügbar unter: https://www.bpb.de/politik/hinter- grund-aktuell/76102/8-maerz-weltfrauentag-07-03-2012 Buolamwini, Joy und Gebru, Timnit (2018) „Gender Shades: Intersectional Accuracy Disparities in Commercial Gender Classification.“ In: Sorelle A. Friedler & Christo Wilson (Hrsg.): Proceedings of Machine Learning Research (Band 81). Proceedings of Machine Learning Research: PMLR, 77–91. Dialog Versicherung AG (o. J.) „Generali Vitality.“ In: Dialog. Zugriff am 7.11.2020. Verfügbar unter: https://www.dialog-versicherung.de/produkte/privatkun- den-leben/generali-vitality Dolderer, Dr Winfried (2020) „Bedenken gegen Entfris­ tung­ von Vorschrif­ ten­ zur Terror­ is­ mus­ ­ bekämpfung.“ In: Deutscher Bundestag. Zugriff am 8.11.2020. Verfügbar unter: https://www.bundestag.de/dokumente/ textarchiv/2020/kw45-pa-innen-antiterrorgesetze-799842 Eggers, Maureen Maisha; Kilomba, Grada; Piesche, Peggy & Arndt, Susan (2005) „Konzeptionelle Überlegungen.“ In: Maureen Maisha Eggers, Grada Kilomba, Peggy Piesche & Susan Arndt (Hrsg.): Mythen, Masken und Subjekte. Kritische Weißseinsforschung in Deutschland. Münster: Unrast, 11–13. Überwachung 28 Eggers, Maureen Maisha; Kilomba, Grada; Piesche, Peggy & Arndt, Susan (Hrsg.) (2005) Mythen, Masken und Subjekte: kritische Weissseinsforschung in Deutschland. Münster: Unrast. Foucault, Michel (1977) Überwachen und Strafen: Die Geburt des Gefängnisses. (W. Seitter, Übers.). Frankfurt am Main: Suhrkamp Verlag. Gless, Sabine (2016) „Predictive policing und operative Verbrechensbekämpfung.“ In: Felix Herzog, Reinhold Schlothauer & Wolfgang Wohlers (Hrsg.): Rechtsstaatlicher Strafprozess und Bürgerrechte, Gedächtnisschrift für Edda Weßlau. Berlin: Duncker & Humblot, 165–180. Zugriff am 25.2.2018. Verfügbar unter: http://edoc.unibas.ch/44207/ Gorner, Jeremy (2013) „Chicago police use heat list as strategy to prevent violence.“ In: Chicago Tribune. Zugriff am 25.2.2018. Verfügbar unter: http:// articles.chicagotribune.com/2013-08-21/news/ct-met-heat- list-20130821_1_chicago-police-commander-andrew- papachristos-heat-list Grieger, Fabian und Schlindwein, Simone (2016) „Migrationspolitik und Rüstungsindustrie: Das Geschäft mit Hightech- Grenzen – taz.de.“ In: die tageszeitung. Zugriff am 8.11.2020. Verfügbar unter: https://taz.de/Migrationspolitik- und-Ruestungsindustrie/!5363960/ Lyon, David (Hrsg.) (2003) Surveillance as Social Sorting: Privacy, Risk and Automated Discrimi- nation. London: Routledge. Mattes, Anna Livia (2018) „Pressemitteilung: Verfassungsbeschwerde gegen Staatstrojaner eingelegt – GFF – Gesellschaft für Freiheitsrechte e.V.“ In: Gesellschaft für Freiheitsrechte. Zugriff am 8.11.2020. Verfügbar unter: https://freiheitsrechte.org/pm-vb-trojaner/ Meister, Andre & Biselli, Anna (2019) „Wir veröffentlichen den Gesetzentwurf – Seehofer will Staatstrojaner für den Verfassungsschutz.“ In: netzpolitik.org. Zugriff am 8.11.2020. Verfügbar unter: https://netzpolitik.org/2019/ wir-veroeffentlichen-den-gesetzentwurf-seeho- fer-will-staatstrojaner-fuer-den-verfassungsschutz/ Merz, Christina (2016) Predictive Policing – Polizeiliche Strafverfolgung in Zeiten von Big Data. Karlsruher Institut für Technologie (KIT). Sattler, Karl-Otto (2014) „Deutscher Bundestag – Keine Informationen an die NSA übermittelt.“ In: Deutscher Bundestag. Zugriff am 8.11.2020. Verfügbar unter: https://www.bundestag.de/dokumente/ textarchiv/2014/kw46_pa_1ua-339510 Snow, Jacob (2018) „Amazon’s Face Recognition Falsely Matched 28 Members of Congress With Mugshots.“ In: American Civil Liberties Union. Zugriff am 11.8.2019. Verfügbar unter: https://www.aclu. org/blog/privacy-technology/surveillance-technologies/ amazons-face-recognition-falsely-matched-28

Francesca Schmidt & Johanna Luise Mellentin — Überwachung und Künstliche Intelligenz 29 Digitale Gewalt 2

KONTROLLVERLUST UND ( DIGITALE) ENTMUNDIGUNG — DAS GE WALTPOTEN TIAL KUNSTLICHER INTELLIGENZ • LEENA SIMON

31 879 Wann hatten Sie das letzte Mal mit einer Künstlichen Intelli- 880 genz (KI) zu tun? Wenn es Ihnen schwerfällt, diese Frage zu 881 beantworten, mag das daran liegen, dass der Begriff zwar 882 vielen geläufig ist, seine Definition in der Öffentlichkeit aber 883 eher schwammig daherkommt. Das, was es gar nicht gibt 884 (starke KI), wird überall diskutiert, aber das, was real passiert 885 (schwache KI), ist eher selten Thema. Aber der Reihe nach: In 886 der öffentlichen Wahrnehmung, in Filmen oder Gedankenex- 887 perimenten ist die sogenannte „starke KI“ überproportional 888 häufig Thema. Dabei gibt es sie real gar nicht. Starke KI hat 889 das Ziel, die menschliche Intelligenz ebenbürtig zu imitieren. 890 Denken wir bei der Eingangsfrage ausschließlich an starke KI, 891 werden uns wohl eher keine Begegnungen einfallen. Anders 892 ist es mit der „schwachen KI“. Mit der kommen wir regelmäßig 893 in Berührung. Hier können wir aus einem anderen Grund schwer 894 sagen, wann wohl die letzte Begegnung war. Denn erstens 895 passiert das wirklich überaus häufig und zweitens ist es uns 896 nur selten bewusst. Das Wesen der schwachen KI ist in der 897 Öffentlichkeit nur selten Thema, weshalb kaum Allgemein- 898 wissen dazu besteht. Auch KI besteht letztlich nur aus Algorith- 899 men. Ihre Besonderheit besteht darin, dass sie ihre Wenn-Dann-Be- 900 ziehungen nicht mehr von uns vorgegeben kriegen, sondern 901 sich diese selbst herleiten. Ein simpler Algorithmus wird mit 902 allen möglichen Varianten, die eintreten können, und der 903 Anweisung, was im jeweiligen Fall geschehen soll, gefüttert. 904 Eine KI wird mit den Ergebnissen gefüttert und leitet sich die 905 verschiedenen Varianten selbst ab. Das hat den Vorteil, dass 906 auch unvorhergesehene Situationen von einer KI berechnet 907 werden können. Es hat aber den großen Nachteil, dass hier 908 falsche Schlüsse entstehen können, die wir leider nur sehr 909 schwer entdecken können, da wir nicht mehr nachvollziehen 910 können, wie die Entscheidung eigentlich zu Stande kam.

UNWISSENHEIT SCHU TZT VOR KONTROLLE NICHT 911 Es ist äußerst ungünstig, dass die Menschen so wenig von der 912 KI wissen, die sie umgibt. Denn sie trifft maßgebliche Ent- 913 scheidungen. Können wir diese Entscheidungsprozesse nicht 914 mehr nachvollziehen, können wir auch nicht mehr beurteilen, 915 ob sie problematisch sind. Wer auch in einer digitalen Welt 916 seine Mündigkeit bewahren möchte, sollte daher anfangen 917 über Transparenz bei KI zu sprechen. Dieser sind gleich mehr- 918 fach Steine in den Weg gelegt. Erstens lassen sich Firmen wie 919 Google, Facebook und Amazon eher ungerne in die Karten Digitale Gewalt 32 920 schauen. Und zweitens sind die Prozesse, die hinter KI stehen, 921 so komplex, dass es immer schwerer wird, sie auch nur im 922 Ansatz nachzuvollziehen, selbst wenn sie offen vorliegen. 923 Doch ohne Transparenz gibt es keine Möglichkeit, 924 die Technik zu kontrollieren, wodurch wir ihr und damit denen, 925 die sie steuern/einsetzen/gestalten, ausgeliefert sind. 926 Wussten Sie, dass sich nach Erscheinen eines Buches 927 innerhalb der ersten drei Tage entscheidet, ob es ein Best- 928 seller wird? Grund dafür ist der Amazon-Algorithmus, der 929 anhand der Verkaufszahlen der ersten drei Tage entscheidet, 930 ob er ein Buch auf seine Hitlist nimmt. Hat ein Buch es da rauf 931 geschafft, wird es von Amazon häufig empfohlen und ent- 932 sprechend häufiger gekauft. Bücher, die vielleicht etwas spä- 933 ter gezündet hätten, sind dann schon aus dem Rennen. Indem 934 Amazon die Kriterien bestimmt, welche Bücher auf die Hitliste 935 dürfen, nimmt es maßgeblich Einfluss auf die Bücher, die tat- 936 sächlich verkauft und gelesen werden. Die kapitalistisch aus- 937 gerichteten Algorithmen von Google, Facebook, Amazon und 938 Co. haben unsere Welt erheblich fester in der Hand, als den 939 meisten Menschen klar sein dürfte. Die Google-Tochter You- 940 Tube empfiehlt Videos aus ganz anderen Gründen, als sie uns 941 weiß machen will. Es geht nur vordergründig um das, was uns 942 interessieren könnte. In Wahrheit geht es um das, was uns 943 dazu bewegt, möglichst lange Zeit bei YouTube zu verbringen 944 und der Werbung ausgesetzt zu sein. Dass dies häufig dadurch 945 erreicht wird, dass der empfohlene Inhalt uns auch gefällt, ist 946 eher ein Abfallprodukt, welches fürs Marketing recycelt und 947 als Hauptziel verkauft wird. Weil es vor allem die Verweildauer 948 erhöhen will, empfiehlt Youtube besonders häufig Videos zu 949 Verschwörungsideologien, die eine besonders fesselnde Wir- 950 kung entfalten, sobald man ihnen auf den Leim geht. KI wird 951 häufig dazu eingesetzt, uns erst zu erforschen und dann zu 952 manipulieren. 953 YouTube hat an dieser Stelle eine Kurskorrektur ange- 954 kündigt, von der bisher aber nicht viel zu sehen ist. Dieses 955 (bisher noch oberflächliche) Einlenken entstand aber nicht 956 etwa aufgrund einer internen Ethik-Kommission, die die Wir- 957 kung der eigenen Algorithmen bewertet und auf die proble- 958 matische Wirkung aufmerksam wurde, sondern aufgrund 959 eines starken öffentlichen Drucks. Öffentlicher Druck ent- 960 steht aber nur bei den ganz großen Aufregern und setzt vor- 961 aus, dass die Öffentlichkeit auf die problematische Wirkung 962 einer Software aufmerksam wird. Das ist ohne Transparenz 963 kaum möglich und die Probleme werden nur bruchstückhaft 964 erfasst.

Leena Simon — Kontrollverlust und (digitale) Entmündigung 33 WELCHES VIDEO WIRD EMPFOHLEN?

Was wäre, wenn der Algorithmus mir dienen würde?

Passt das Video zu Nein meinen Interessen?

ähnelt anderen Videos, die ich mag Spam

Themenauswahl passt Sexismus

informativ Rassismus

lustig Hass oder Verschwörungsnarrative

Ja

Video wird vorgeschlagen das Video dürfte mir gefallen Was wirklich passiert..

anspruchsvoll oder komplex Youtube Ranking

Video wird nicht vorgeschlagen

Verschwörungsnarrative Lügen oder Fakes

viel angeklickt Hass

ähnelt bereits angesehenen Videos lustig

lange wirksame viel Verweildauer Werbung Interaktion

$

Profite für Youtube weitere Informationen: https://muendigkeit.digital PROBLEMATISCHE NORMEN UND WERTE WERDEN IN DER TECHNIK VEREWIGT 965 Nüchtern betrachtet sind Algorithmen nichts weiter als Glei- 966 chungen und Berechnungen. Erst durch die menschlichen 967 Werte, die sich darin abbilden und dann zu folgenschweren 968 Ergebnissen führen können, wird die Sache kompliziert. Je 969 komplexer die Berechnungen werden und je mehr sie geheim 970 gehalten werden, desto schwieriger ist es, diese nachzuvoll- 971 ziehen. Doch wir müssen sie nachvollziehen können. Denn 972 sie entscheiden zunehmend, was wir denken, lesen/sehen/ 973 hören und tun. 974 Aus demokratischer Sicht ist das äußerst brisant. 975 Denn auch subtil manipulierte Menschen sind unmündig und 976 treffen auch bei Wahlen keine freien Entscheidungen mehr. 977 Das muss den Betroffenen dabei nicht mal bewusst sein. Es 978 gilt beispielsweise als erwiesen, dass sich Russland zu Trumps 979 Gunsten in die US-Wahlen eingemischt hat. Dies geschieht 980 z.B. über Falschnachrichten oder Diskursverschiebungen bzw. 981 komplett fingierte Diskussionen. Doch selbst mit diesem Wis- 982 sen lässt sich im Nachhinein kaum mehr feststellen, wie viele 983 Menschen aufgrund dieser Einmischung ihre Wahlentschei- 984 dung geändert haben. Selbst die Betroffenen selbst dürften 985 sich dessen kaum bewusst sein. 986 Außerdem neigen Menschen, die ahnen, dass sie 987 manipuliert werden, aber nichts über die genauen Umstände 988 wissen, eher dazu Verschwörungsideologien zu glauben und 989 zu verbreiten. Der Eindruck von Kontrollverlust macht uns 990 anfällig dafür bei der Suche nach Halt nicht mehr so genau zu 991 prüfen, welchem Hirngespinst wir auf den Leim gehen. Eine 992 falsche Antwort ist vielen Menschen lieber als gar keine Ant- 993 wort. Wer weiß denn schon wirklich sicher, welche Informa- 994 tionen sein Smartphone so den lieben Tag lang verschickt? 995 Viele Menschen ziehen hier eine schlimme Antwort (Du wirst 996 den ganzen Tag überwacht.) einer vagen Antwort vor (Theo- 997 retisch wäre es möglich, dass du überwacht wirst, aber wir 998 können es nicht wissen.). 999 Hinzu kommt, dass gewisse Staatsoberhäupter und 1000 Medienvertreter „alternative Fakten“ – auch „Lügen“ genannt 1001 – gleichberechtigt neben wissenschaftliche Erkenntnisse stel- 1002 len. Sobald aber Wissenschaft und Wahrheit nicht mehr von 1003 Meinungsäußerungen und unbelegten Behauptungen getrennt 1004 werden können, wird es keine gesamtgesellschaftliche Erkennt- 1005 nis mehr geben können. Ohne eine gemeinsame Basis von als 1006 erwiesen anerkannten Wahrheiten, kann eine Demokratie 1007 keinen sinnvollen Entscheidungsprozess mehr führen.

Digitale Gewalt 36 MÜNDIGKEIT IST EIN MUSKEL, DER TR AINIERT WERDEN WILL 1008 Wir haben uns das Internet falsch anerzogen. Stets bringen 1009 wir uns nur bei, wie Technik zu bedienen ist, aber nicht, wie 1010 man sie hinterfragt und versteht. In Office-Kursen lernen wir, 1011 wie man einen Text fett macht, wie das Inhaltsverzeichnis 1012 funktioniert oder wie man eine Tabelle erstellt. Wir lernen aber 1013 nicht, dass es verschiedene Dateiformate gibt und warum es 1014 nicht sehr solidarisch ist, unfreie Dateiformate (wie docx, ppt 1015 oder xls) zu verwenden und dass man besser die freien For- 1016 mate (odt, pdf, ppt) nutzen sollte. Wir sprechen nicht darüber, 1017 dass ich mit dem Versenden einer Datei mein Gegenüber quasi 1018 dazu nötige, die entsprechende Software dazu anzuschaffen. 1019 Über die gesellschaftlichen Folgen der Digitaltechnik, die wir 1020 nutzen, nachzudenken, ist selten Teil eines Computerkurses 1021 oder einer Betriebsfortbildung. Wir haben uns gar nicht erst 1022 angewöhnt, solche Fragen zu stellen. Es soll einfach funktio- 1023 nieren und gut ist. 1024 Wenn unser Anspruch, Technik zu verstehen, aber 1025 mit der Fähigkeit, sie zu bedienen, erlischt, werden wir nicht 1026 berücksichtigen können, welche Folgen der Gebrauch dieser 1027 Technik haben könnte. Wir können keine Verantwortung für 1028 unsere digitalen Handlungen übernehmen, da wir sie dafür 1029 nicht ausreichend durchblicken. Digitale Mündigkeit muss 1030 geübt werden, doch es gibt kaum Gelegenheit dazu. Längst 1031 sind digitale Dienste mehr und mehr danach ausgerichtet, uns 1032 möglichst viele Entscheidungen abzunehmen. Das ist bequem, 1033 denn es erleichtert tatsächlich vieles. Ohne Vereinfachungen 1034 wäre es gar nicht möglich, Computer in unseren Alltag zu 1035 integrieren. Aber es zieht uns gleichzeitig immer weiter rein 1036 in einen Strudel der Unmündigkeit, den wir immer weniger 1037 kontrollieren können. Da klingen die Worte vom ollen Kant 1038 wieder auf und hallen in neuem Klang: „Es ist so bequem 1039 unmündig zu sein.“

Leena Simon — Kontrollverlust und (digitale) Entmündigung 37 KI BRAUCHT MITBESTIMMUNG ODER MITBESTIMMUNG IST DER KI KEY 1040 Wenn KI so entscheidende Auswirkungen auf unser gesamt- 1041 gesellschaftliches Zusammenleben hat, warum dürfen wir 1042 dann eigentlich nicht mitentscheiden, auf welchen Kriterien 1043 sie beruht? Google hat entschieden, dass Seiten, die häufig 1044 verlinkt werden, barrierefrei sind und keine Textdopplungen 1045 zu anderen Seiten aufweisen, weiter oben bei den Suchergeb- 1046 nissen aufgelistet werden. Das basiert mitunter auf stützens- 1047 werten Überlegungen. Häufige Verlinkung ist ein Hinweis dar- 1048 auf, dass viele die Seite für relevant halten, Barrierefreiheit 1049 und sauberer Code sind sinnvolle Werte, die durch solche Vor- 1050 gaben gepushed werden und Textdopplungen können darauf 1051 hinweisen, dass es sich um eine Seite handelt, die einfach nur 1052 den Text von anderen kopiert hat und versucht für Werbeein- 1053 nahmen zu nutzen. Doch all diese Faktoren haben auch eine 1054 Kehrseite: Seiten von Frauen werden seltener verlinkt als die 1055 von Männern. Verlinkungen werden munter hin und her ver- 1056 kauft, was bedeutet, dass diejenigen als relevanter eingestuft 1057 sind, die männlich sind und reich bzw. skrupellos genug, sich 1058 Verlinkungen zu kaufen. Die Strafe für Textdopplungen trifft 1059 leider häufig die Falschen. Dazu gehören die ursprünglichen 1060 Urheber.innen des Textes, der auf eine andere Seite kopiert 1061 wurde und Organisationen, die mit Crosspostings arbeiten. Ob 1062 es in unserem Sinne ist, dass hier so viele Kollateralschäden in 1063 Kauf genommen werden, werden wir bequemerweise nicht 1064 gefragt. Selbst die wirklich guten Vorgaben von Google, wie 1065 die Vorgaben zur Barrierefreiheit, kommen mit dem schalen 1066 Beigeschmack, dass dies Regeln sind, die eine Firma diktiert 1067 und die auf keinerlei demokratischem Prozess basieren. 1068 Jüngst haben Google und Apple eindrücklich gezeigt, wie ein- 1069 fach es für sie ist, ihre persönliche Weltanschauung einer gan- 1070 zen Gesellschaft aufzudrücken. Für die Corona-Warn-App 1071 wurde lange diskutiert, ob diese einen zentralen oder einen 1072 dezentraleren Ansatz fahren solle. In der Bundesregierung 1073 hatte man sich eigentlich schon für das zentrale Modell ent- 1074 schieden, als Google und Apple durch die Schnittstellen zu 1075 ihren Smartphones Fakten schufen und den dezentraleren 1076 Ansatz durchsetzten. Wieder ist es nicht der Inhalt der Ent- 1077 scheidung, der uns in diesem Fall aufschrecken sollte, sondern 1078 der Umstand, dass diese Firmen so viel Macht über solche 1079 Fragen haben.

Digitale Gewalt 38 MONETARISIERUNG VON INHALTEN GEFAHRDET DIE DEMOKRATIE 1080 Bleiben wir einen Augenblick bei Google. Wer heute ein Unter- 1081 nehmen gründet, kommt an Google nicht mehr vorbei. Pro- 1082 dukte werden heute anhand der Auswertung von Google-Su- 1083 chen erzeugt. Mit speziellen Tools kann man herausfinden, 1084 welche Fragen besonders häufig in die Suchmaschine ein- 1085 gegeben wurden. Dann braucht man nur noch einen Online-Ar- 1086 tikel, der verspricht die entsprechende Frage zu beantworten 1087 und hat das nächste Produkt erzeugt. Ob die Frage auch tat- 1088 sächlich beantwortet wird, spielt dabei weniger eine Rolle als 1089 der Werbelink, der im Text steht. Werbung, die als freundlicher 1090 Infobeitrag daherkommt, wird von vielen Menschen nicht als 1091 solche erkannt. Das Konzept funktioniert so gut, dass die ech- 1092 ten Infoseiten von Leuten, die das tatsächlich tun, um ihr Wis- 1093 sen zu teilen, drohen in der Masse von Fake-Infos unter zu 1094 gehen. Derweil verstecken immer mehr Medienhäuser ihren 1095 recherchierten und fundierten Journalismus hinter Account- 1096 walls. Das Verhältnis zwischen hochwertigen und minder- 1097 wertigen Informationsangeboten droht in ein gefährliches 1098 Ungleichgewicht abzugleiten. Während Fakes und Verschwö- 1099 rungsideologien – durch Algorithmen noch unterstützt – immer 1100 größere Verbreitung erfahren, sind die Gegendarstellungen 1101 immer seltener frei verfügbar. Wer Informationen mittels 1102 Künstlicher Verknappung kommerzialisieren will, hat die Idee 1103 des Internets nicht verstanden. Wenn wir die hochwertigen 1104 Informationen verknappen, führt das letztlich nur dazu, dass 1105 sie inmitten der ganzen irreleitenden und falschen Aussagen 1106 nicht mehr zu finden sind. Dann werden Gegendarstellungen 1107 oder differenzierte Erklärungen nur noch von den wenigen 1108 gelesen, die dafür zu zahlen bereit sind. Sie können sich genug 1109 Zeitungsabos leisten, um im System der Online-Zeitungen 1110 nicht wahnsinnig zu werden? Gratulation! Das ändert aber 1111 auch nicht viel. Denn Sie leben immer noch in einem Land, in 1112 dem hauptsächlich die Menschen wählen gehen, die keine 20 1113 Abos für Online-Zeitungen abgeschlossen haben und sich 1114 hauptsächlich auf Facebook informieren. Politik, die aus sol- 1115 chen Wahlen resultiert, können wir in Groß-Britannien und den 1116 USA beobachten.

Leena Simon — Kontrollverlust und (digitale) Entmündigung 39 KI MACHT FOLGENSCHWERE FEHLER 1117 KI übergibt Definitionsmacht an die, die in der Technikgestal- 1118 tung den Ton angeben. KI nützt tendenziell denen am meisten, 1119 die eh schon an der Macht sind und macht jene unsichtbar, die 1120 auch vorher schon marginalisiert waren. Somit birgt KI ein 1121 enormes Diskriminierungs- und Gewaltpotential. Das hängt 1122 damit zusammen, wie KI angelernt wird. Das Konzept basiert 1123 ja gerade darauf, dass wir nicht alle Regeln, die der Algorith- 1124 mus später mal haben soll, vorab ausformulieren müssen. Die 1125 Besonderheit von KI ist, dass sie diese Regeln basierend auf 1126 den Materialien, die wir ihr zur Verfügung stellen, selbst her- 1127 leitet. Das sind meist große Sammlungen von Entscheidungen, 1128 die Menschen getroffen haben. Doch Menschen haben Ras- 1129 sismus und Sexismus verinnerlicht. Eine KI, die aus unbewusst 1130 diskriminierenden Entscheidungen Verhaltensregeln ableitet, 1131 wird hinterher ganz maschinell diese Diskriminierung wieder- 1132 holen oder sogar neue Formen entwickeln. 1133 Gehen wir einen Schritt zurück und betrachten wir, 1134 wie eine KI lernt. Stellen Sie sich vor, Sie möchten eine KI ent- 1135 wickeln, die in der Lage ist, auf Fotos Autos zu erkennen. Das 1136 Datenmaterial, das Sie brauchen, um die KI anzufüttern, müs- 1137 sen Sie selbst erzeugen. Sie ziehen also los und fotografieren 1138 eine Landschaft zunächst ohne Autos. Dann stellen Sie Autos 1139 darauf und fotografieren erneut. Nun geben Sie diese Bilder 1140 der KI und teilen ihr mit, auf welchen Bildern Autos sind und 1141 auf welchen nicht. Um zu testen, ob das funktioniert hat, 1142 machen Sie denselben Fotovorgang noch mal an einer ande- 1143 ren Stelle und – siehe da – die KI kann alle Bilder richtig zuord- 1144 nen. Testen Sie dies nun mit realen Fotos, haben Sie plötzlich 1145 nur noch eine Trefferquote von etwa 50%. Was ist passiert? 1146 Die KI hat bemerkt, dass alle Fotos, die am Vormittag aufge- 1147 nommen wurden, keine Autos abbilden. Alle Fotos, die am 1148 Nachmittag aufgenommen wurden, zeigten Autos. Die KI hat 1149 also gar nicht das getan, was Sie wollten, sondern eine Abkür- 1150 zung gewählt, die selbstverständlich gar nicht geht, da sich in 1151 der Realität nicht anhand der Uhrzeit entscheidet, ob ein Auto 1152 irgendwo steht, oder nicht. Doch woher soll die KI das wissen? 1153 Sie hat nach einem Muster gesucht und es gefunden. Der Feh- 1154 ler fällt aber auch bei Ihrem Test nicht auf, da Sie wieder vor- 1155 mittags die Landschaft ohne Autos und nachmittags mit 1156 Autos fotografiert haben. Erst wenn Sie die Software auf die 1157 reale Welt loslassen, zeigen sich die Probleme. Allerdings ist 1158 hier selten so schnell ersichtlich, dass ein Fehler vorliegt. 1159 Genau so wenig, wie Sie bemerkten, dass Sie die Fotos nach 1160 einem Muster aufnahmen, ist Ihnen wohl eher selten klar, 1161 inwiefern Ihre Weltsicht Einfluss auf Ihre Entscheidungen 1162 nimmt. Diese integrieren die Hersteller.innen von Technik mit- 1163 unter in eine KI, ohne dass Sie sich darüber überhaupt im Kla- 1164 ren sind.

Digitale Gewalt 40 WIE KI DISKRIMINIERUNG ZEMEN TIERT 1165 In der Realität führt das dazu, dass bestehende Diskriminie- 1166 rung nicht nur reproduziert, sondern unter dem Eindruck der 1167 Neutralität von Maschinenberechnungen zementiert wird. Dafür 1168 gibt es unzählige Beispiele. Gesichtserkennung ist nur bei wei- 1169 ßen Männern akkurat, da sie vor allem an weißen männlichen 1170 Probanden trainiert wird. Besonders schlecht weg kommen 1171 schwarze Frauen. Bei ihnen ist die Verwechslungsgefahr beson- 1172 ders hoch. Was bedeutet: Die Gefahr, dass eine schwarze 1173 Frau zu Unrecht eines Verbrechens verdächtigt wird, weil sie 1174 der gesuchten Person ein wenig ähnlich sieht, ist sehr viel 1175 höher, als dass dies einem weißen Mann passiert. Unser Welt- 1176 bild transportiert sich aber nicht nur über die Probanden, son- 1177 dern auch über die Daten, die wir füttern. KI wird häufig 1178 eingesetzt, um einzuschätzen, ob jemand zu einem Vorstel- 1179 lungsgespräch eingeladen wird. Um diese zu trainieren, füt- 1180 tert man sie gewöhnlich mit den Daten früherer Bewerbungs- 1181 verfahren. Die KI kann dann analysieren, welche Bewerbungen 1182 zu einer Einladung führten und welche Menschen dann letzt- 1183 lich eingestellt wurden. Stellt solch eine KI fest, dass schwarze 1184 Bewerber.innen in der Vergangenheit bei gleicher Qualifika- 1185 tion nicht eingestellt wurden, wird sie daraus schließen, dass 1186 man diese gar nicht erst zum Vorstellungsgespräch einzula- 1187 den braucht. Eine andere KI soll bewerten, wie wahrscheinlich 1188 es ist, dass jemand (wieder) straffällig wird. In den USA wer- 1189 den nicht-weiße Menschen erheblich häufiger verurteilt. Was 1190 die KI nicht weiß: Das liegt nicht daran, dass sie häufiger straf- 1191 fällig werden, sondern am Rassismus im US-amerikanischen 1192 Rechtssystem. Die KI betrachtet ihre Lerndaten aber als „neu- 1193 tral“ und kann nur den Schluss ziehen, dass schwarze Men- 1194 schen eher straffällig werden. 1195 Derlei KI wird mittlerweile häufig eingesetzt. Ob bei 1196 der Frage, ob die Bank Ihnen einen Kredit gewährt, ob Sie zum 1197 Vorstellungsgespräch eingeladen werden oder – wie in Öster- 1198 reich – wie viel Mühe sich die Gesellschaft dabei gibt, ihnen zu 1199 helfen eine neue Arbeit zu finden. Bei der KI, die in Österreich 1200 den Arbeitslosen einen Score-Wert erteilt, wie vermittelbar 1201 sie sind, gilt Frausein als negativer Faktor. Es ist eine Sache, 1202 das zu erkennen und zu benennen: In Österreich haben arbeits- 1203 lose Frauen messbar schlechtere Chancen, wieder eine Stelle 1204 zu finden. Es ist eine andere Sache, dies über eine KI zu zemen- 1205 tieren, die Frauen tatsächlich eine schlechtere Vermittelbar- 1206 keit in den Score-Wert schreibt. 1207 In den wenigsten Fällen haben die Sachbearbeiten- 1208 den oder die Betroffenen eine Idee davon, wie eine KI zu ihrer 1209 Einschätzung kam. Wieder fehlt die Überprüfbarkeit oder die 1210 Möglichkeit, sich gegen mögliche Diskriminierung zu wehren. 1211 Selbst wenn der Computer nur eine Empfehlung ausgibt ist in 1212 der Regel zu beobachten, dass sich die Menschen in fast allen 1213 Fällen danach richten. Es wird schon seine Richtigkeit haben. 1214 Wer diesen Determinismus hinterfragt, wird häufig nicht 1215 ernst genommen oder als Querulant hingestellt.

Leena Simon — Kontrollverlust und (digitale) Entmündigung 41 DIGITALER MACHTERHALT 1216 Je mehr Fakten von Technik geschaffen werden, gegen die wir 1217 uns gar nicht mehr wehren können, desto größer wird auch 1218 das damit einhergehende Gewaltpotential. Im Großen bedeu- 1219 tet das, dass Machthaber und Firmenimperien die wahren 1220 Entscheidungsträger sind und demokratische Prozesse unter- 1221 laufen werden. Im Kleinen bedeutet das, dass Männer ihre 1222 Freundin überwachen und diese technisch drangsalieren, falls 1223 sie sich entscheidet, sich zu trennen. Digitale Übergriffe sind 1224 nicht dem männlichen Geschlecht vorbehalten. Auch mehr 1225 und mehr Frauen bedienen sich dieses Machtinstruments. 1226 Doch so lange Technik als Männersache gilt und KI die beste- 1227 henden Machtverhältnisse zementiert, werden Frauen von 1228 digitaler Gewalt weit mehr betroffen sein als Männer.

DER PERPETUUM MOBILE DER SICH SELBST ERFULLENDEN PROPHEZEIUNGEN 1229 Jüngst musste die britische Regierung ihr peinliches Vorhaben 1230 stoppen, die Noten der coronabedingt entfallenen Schul-Ab- 1231 schlussprüfungen per KI errechnen zu lassen. Die Ungerech- 1232 tigkeiten waren zu offensichtlich. 1233 Der Algorithmus urteilte aufgrund der Noten der 1234 letzten drei Jahre. Noch so eine Idee, die gut gemeint war aber 1235 statt der intendierten Innovation nur ein Festnageln in der Ver- 1236 gangenheit zur Folge hat. Und ein weiteres Beispiel, das zeigt, 1237 dass es vor allem die Kriterien sind, auf denen die Berechnun- 1238 gen basieren, auf die es ankommt. Kriterien, über die wir auch 1239 ein Wörtchen mitreden können, sollten. Wie nah hier Fiktion 1240 und Wirklichkeit beieinander liegen, verrät uns der Berliner 1241 Autor und Kleinkünstler Marc-Uwe Kling. 1242 In seinem Buch „Qualityland“ hört der Protagonist 1243 Peter schon seit er denken kann Kuschelrock. Er weiß gar 1244 nicht, ob er diese Musik überhaupt mag. Er hat sie mal auf- 1245 gelegt, als er eine Romanze hatte und glaubte, dass die Musik 1246 zum Anlass passt. Daraus leiten nun alle smarten Musikgeräte Digitale Gewalt 42 1247 (und davon gibt es viele in seiner fiktiven Welt) her, dass er 1248 Kuschelrock mag und spielen ihm nur noch diese Musik vor. 1249 Denn er hört es ja immer. Maschinen entscheiden, was er 1250 hören will, auf Basis von Entscheidungen, die andere Maschi- 1251 nen auf Basis von Entscheidungen anderer Maschinen getrof- 1252 fen haben. Das Perpetuum mobile der sich selbst erfüllenden 1253 Prophezeiungen. Einmal in eine Kiste sortiert, kommt man nie 1254 wieder heraus. Im Extremfall weiß man irgendwann selbst 1255 nicht mehr, ob man in die Kiste wirklich rein wollte, oder nur 1256 akzeptiert hat, dort einsortiert worden zu sein. 1257 Deshalb sollte man sich auch nicht verführen lassen 1258 zu denken, dass der Fehler der Briten darin bestand, dass ihr 1259 Algorithmus einfach nicht gut genug war. Wäre er besser 1260 gewesen, hätte es noch schlimmer kommen können. Wäre er 1261 nicht gekippt worden, wären die verbliebenen Ungerechtig- 1262 keiten unter den Tisch gefallen. Raten Sie mal, welche Grup- 1263 pen davon überdurchschnittlich stark betroffen gewesen 1264 wären. Die weiße, heteronormative Oberklasse hätte wohl 1265 eher nicht dazu gehört. Das Problem liegt eben nicht nur darin, 1266 dass die Algorithmen schlecht gemacht sind. Es setzt schon 1267 viel früher an. An dem Moment, in dem man irrtümlich dem 1268 Glauben erliegt, durch unreflektierte Reproduktion der (unge- 1269 rechten) Vergangenheit die Realität der Gegenwart abbilden 1270 oder gar verbessern zu können. 1271 Wenn wir uns den Algorithmen unterwerfen und 1272 ihnen die Gestaltung unserer Welt überlassen, wird Diskrimi- 1273 nierung, insbesondere gegen all die, die nicht männlich-weiß 1274 sind, zementiert. Denn Frauen wird bis heute eingeredet, dass 1275 Computer für sie uninteressant sind. Infolgedessen gibt es 1276 tatsächlich sehr viele Frauen, die nicht sonderlich viel über 1277 Computer wissen. Frauen werden strukturell von technischen 1278 Fragen ferngehalten. Die wenigsten Frauen wissen, was mit 1279 ihren Geräten eigentlich wirklich passiert und haben somit 1280 auch keine Kontrolle. Dies macht es anderen umso leichter, 1281 Macht über sie zu ergreifen. Oder sie nur zu verunsichern. Je 1282 mehr KI unsere Gesellschaft durchdringt, desto weniger Vor- 1283 stellung haben wir davon, was genau gerade eigentlich pas- 1284 siert. KI selbst ist hier nicht das Problem. Doch sie verstärkt 1285 durch ihre Intransparenz das ohnehin schon eklatante Macht- 1286 ungleichgewicht. Sie reproduziert und festigt die Diskriminie- 1287 rung, die es auch schon vorher gab.

Leena Simon — Kontrollverlust und (digitale) Entmündigung 43 KI SINNVOLL GESTALTEN 1288 Der Vormarsch der KI ist wohl kaum noch aufzuhalten. Umso 1289 dringender müssen wir nun die Frage stellen, wie sie gestaltet 1290 sein muss, um uns nicht zu schaden. Allerdings ist das ähnlich 1291 schwer zu definieren, wie der Begriff der KI selbst. Transpa- 1292 renz ist sicherlich einer der Schlüsselfaktoren. Es muss für die 1293 Menschen jederzeit erkennbar sein, wenn sie mit einer KI zu 1294 tun haben. Außerdem müssen ihre Entscheidungsprozesse 1295 nachvollziehbar sein. Menschen brauchen ein Veto-Recht 1296 gegenüber der Technik. Der große rote Knopf, mit dem der 1297 Mensch die Entscheidungshoheit an sich ziehen kann. Damit 1298 wir dazu aber überhaupt in der Lage sind, muss sich unsere 1299 gesamtgesellschaftliche Einstellung zur Technik ändern. Nur 1300 wenn wir den Trend umkehren, dass Technik immer weniger 1301 durch uns hinterfragt und bewertet wird, sind wir überhaupt 1302 in der Lage, KI so zu gestalten, dass sie möglichst wenige 1303 Machträume und Gewaltpotential öffnet. Dieses Umdenken 1304 muss sowohl bei Privatpersonen als auch bei Angestellten und 1305 in der Politik stattfinden. Eine KI sollte als potenziell pro- 1306 blematisch betrachtet und durch ständige Untersuchungen 1307 ethisch-technisch-soziologisch begleitet werden. Dafür braucht 1308 es klare Regelungen und Vorgaben, die eine KI erfüllen muss, 1309 damit sie nicht als problematisch gilt. Datenschutz- und Sicher- 1310 heitsfragen müssen von Anfang an mitgedacht und tief in der 1311 Technik verankert werden. Ethische Ziele müssen als Rahmen- 1312 vorgabe in einer Weise definiert werden, dass eindeutig mess- 1313 bar wird, wann diese eingehalten werden. Datensätze, die 1314 zum Antrainieren von KI verwendet werden, müssen sehr 1315 genau auf mögliche strukturelle Fehler geprüft werden. Per- 1316 sonen, die von einer KI-Entscheidung betroffen sind, müssen 1317 nicht nur das Recht haben, diese Entscheidung zu prüfen, son- 1318 dern auch dagegen vorzugehen. Um dies alles verlässlich zu 1319 überwachen, braucht es Strukturen, die sicher stellen, dass 1320 die Regeln auch eingehalten werden und dabei mit der rasan- 1321 ten Entwicklung der Technik mithalten können. Jede KI braucht 1322 außerdem einen Verantwortlichen. Eine Person, die für ent- 1323 stehende Schäden haftbar ist. Das ist misslich, da dieses Risiko 1324 nur schwer abschätzbar ist. Doch anders wird es nicht gehen. 1325 Maschinen können sich nicht vor Gerichten verantworten und 1326 eine Verantwortungsdiffusion muss unbedingt vermieden wer- 1327 den. Wer eine KI herstellt muss sich nun mal verdammt sicher 1328 sein, dass diese keinen Schaden anrichtet. Wie man sich da 1329 sicher sein soll? Kann man nicht. Ein Grund mehr, das Risiko 1330 nicht auf die Gesellschaft umzulegen. 1331 Falls Ihnen jetzt noch immer nicht klar sein sollte, 1332 wann Sie zuletzt mit einer KI zu tun hatten, sei Ihnen für die 1333 Ehrlichkeit gratuliert. Es ist in der derzeitigen Gestaltung von 1334 KI nicht vorgesehen, dass sie sich Ihnen kenntlich macht. 1335 Genau deshalb ist ihr Gewaltpotential auch so gefährlich.

Leena Simon ist graduierte (Netz-)Philosophin (MA) und IT-Beraterin und beschäftigt sich mit Digitaler Mündigkeit und Technik- paternalismus. Sie arbeitet u.a. für das Anti-Stalking-Projekt im Frieda Frauenzentrum in Berlin und für Digitalcourage e.V. Mehr zu ihrer Arbeit: https://muendigkeit.digital

Digitale Gewalt 44 Leena Simon — Kontrollverlust und (digitale) Entmündigung Algorithmische Entscheidungssysteme 3

EFFIZIENTE UNGLEICHHEIT • VICTORIA GUIJARRO-SAN TOS1

1 Mein Dank gilt in besonderer Weise Eva Maria Bredler, ohne deren Zeit und Scharfsinn dieser Text nicht entstanden wäre. 47 1336 In immer sensibleren Lebensbereichen soll Künstliche Intelli- 1337 genz (KI)2 eingesetzt werden oder wird es schon. Sogenannte 1338 algorithmische oder automatisierte Entscheidungssysteme 1339 werden verwendet, um Menschen bei der Entscheidungsfin- 1340 dung zu unterstützen oder zu ersetzen. Ihr Einsatzgebiet ist 1341 vielfältig und reicht von der Kreditvergabe über die Kriminali- 1342 tätsvorhersage bis hin zur Gewährung staatlicher Sozialleis- 1343 tungen. Erhofft werden sich schnellere, günstigere, objekti- 1344 vere – kurz effizientere Entscheidungsprozesse. Doch die 1345 Frage ist: Effizient für wen? 1346 Beispielsweise berechnet das österreichische Arbeits- 1347 marktchancenassistenz-System (im Folgenden AMS-Algo- 1348 rithmus3), welche Antragsteller*in mit welcher Wahrschein- 1349 lichkeit wieder in den österreichischen Arbeitsmarkt re- 1350 integrierbar ist. Dabei werden Personen, die die Datenpunkte 1351 „weiblich“ und „drittstaatsangehörig“ erfüllen, kategorisch 1352 schlechter bewertet als Personen, die die Datenpunkte „männ- 1353 lich“ und „österreichisch“ erfüllen (Holl et al. 2018: 11). Diese 1354 kategorisch schlechtere Bewertung führt dazu, dass der 1355 AMS-Algorithmus mit hoher Wahrscheinlichkeit ausländische 1356 Frauen der sogenannten Gruppe „N“ zuordnet (Holl et al. 2018: 1357 6; 144). Personen dieser Gruppe gelten als nur schwer in den 1358 Arbeitsmarkt re-integrierbar. Die Folgen dieser Einteilung 1359 sind ungewiss (Wimmer 2018b). Beim Chef des österreichi- 1360 schen Jobcenters (Arbeitsmarktservice) klingt an, dass sich 1361 teure Fördermaßnahmen bei dieser Personengruppe nicht 1362 lohnen würden (Kopf 2018; Dreas 20195). Investitionen in 1363 arbeitslose, ausländische Frauen gelten damit als ökono- 1364 misch ineffizient. 1365 Effizienz ist ein beliebtes Mantra in Zeiten der digi- 1366 talen Transformation. Allerdings ist Effizienz keine den Grund- 1367 rechten übergeordnete Maxime (Bertram 2020). 1368 Aber werden mit dem AMS-Algorithmus überhaupt 1369 Grund- und Menschenrechte berührt? Immerhin argumentiert 1370 der Chef des Arbeitsmarktservice, dass der AMS-Algorith- 1371 mus nur die Realität wiedergäbe (Kopf 2019). Frauen und Dritt- 1372 staatsangehörige seien statistisch schlechter in den Arbeits- 1373 markt zu integrieren – das sei nun mal so. Und ist das Tolle an 1374 KI nicht auch, dass sie vom Menschen – und damit vom Staat 1375 – unabhängige und objektive Entscheidungen trifft? Ist der 1376 Staat dann überhaupt verantwortlich? 1377 Es scheint, als würde auf Effizienzerwägungen eine 1378 Fassade algorithmischer Objektivität und statistischer Ein- 1379 deutigkeit (Lücking 2020) gebaut, hinter der Verantwortung 1380 abgegeben werden kann und sich Ungleichheiten unbesehen 1381 verfestigen. Grund- und Menschenrechte stehen dieser Fas- 1382 sade aber nicht machtlos gegenüber. Dieser Beitrag legt – 1383 ausgehend vom deutschen Grundrechtsrechtschutz – dar, 1384 warum.

2 Für technische Begriffe und Prozesse s. Lücking 2020; Lehr/Ohm 2017. 3 Zu den verschiedenen Namen s. Berner/Schüll 2020: 3. 4 Gruppe mit den niedrigsten Chancen N-Gruppe; Gruppe mit den besten Chancen H-Gruppe; Gruppe mit mittleren Chancen M-Gruppe. 5 „[Die] Abbildung der Arbeitsmarktchancen inkl. der Diskriminierungen ist ja gerade die Basis dafür, gezielt Unter stützungsmaßnahmen zu setzen, kann aber auch helfen, die Grenzen der Sinnhaftigkeit des Einsatzes besonders teurer arbeits- marktpolitischer Maßnahmen aufzuzeigen.“

Algorithmische Entscheidungssysteme 48 1. COMPUTER SAID SO 1385 KI, algorithmische Entscheidungssysteme oder autonome 1386 Systeme werden oft synonym gesetzt. Häufig hört man auch 1387 von dem Blackbox-Algorithmus (z.B. Martini 2019), oder Sätze 1388 wie: „Der Algorithmus ist so komplex, dass noch nicht einmal 1389 die Programmiererin weiß, was er tut“. Dies suggeriert, dass 1390 ein Algorithmus ein undurchdringliches, selbständiges Wesen 1391 sei. Obwohl die bisher eingesetzten algorithmischen Entschei- 1392 dungssysteme keineswegs so kompliziert sind, wie medial 1393 häufig dargestellt (vgl. AlgorithmWatch 2019: 7; der AMS-Al- 1394 gorithmus basiert beispielsweise auf nachvollziehbarer Sta- 1395 tistik), vermittelt dieses Narrativ den Eindruck, dass der Staat 1396 seine Verantwortung an dieses als Software verkörperte 1397 Wesen abgeben könnte. „Sie denken, sie werden benachtei- 1398 ligt? Was soll ich sagen … computer says no“. Little Britain 1399 droht zum Drehbuch exekutiver Staatsmacht zu werden (vgl. 1400 Little Britain 2012). 1401 Die Verfassung und Menschenrechtsverträge geben 1402 allerdings ein anderes Drehbuch vor. In diesem ist Grund- 1403 rechtsschutz notwendiges Korrelar staatlicher Entscheidungs- 1404 verantwortung (BVerfG 2019: Rn. 42) – Staatsmacht gibt es 1405 nur zum Preis von Grundrechten. Wenn die Staatsgewalten 1406 (Legislative, Exekutive, Judikative) ein algorithmisches Ent- 1407 scheidungssystem einsetzen und dadurch dem Staat zure- 1408 chenbar Grundrechte beeinträchtigen, kann sich die Staats- 1409 macht vor dieser Verantwortung nicht hinter einem Algorith- 1410 mus verstecken. Der Staat bleibt verantwortlich – unabhän- 1411 gig davon, ob eine benachteiligende Behandlung durch seine 1412 Beamt:innen oder durch ein von ihm eingesetztes algorithmi- 1413 sches System vermittelt wird (vgl. BVerfG 2020: Rn. 192; 1414 Gericht von Den Haag 2020).6 1415 Problematischer als der Algorithmus ist vielmehr die 1416 Tatsache, dass algorithmische Entscheidungssysteme häufig 1417 (Rieder & Rudschies 2020: EASST) von privaten Software- 1418 firmen entwickelt werden. Der Staat hat deshalb nicht nur die 1419 Grundrechte der vom algorithmischen Entscheidungssystem 1420 betroffenen Personen zu achten, sondern auch die Grund- 1421 rechte der Softwareunternehmen.7 Dies kann sich auf Trans- 1422 parenzanforderungen und auf Ebene der Rechtfertigung8 von 1423 Grundrechtseingriffen auswirken (Sommerer 2020: 227ff.), 1424 hindert die Zurechnung der Grundrechtsbeeinträchtigung 1425 zum Staat allerdings nicht. 1426 Kurzum: der strengen menschen- und grundrechtli- 1427 chen Verantwortung kann sich der Staat durch den Einsatz 1428 algorithmischer Systeme nicht entziehen (Gericht von Den 1429 Haag 2020: Rn. 6.42; Yeung 2019: 13; 60ff.).

6 Das österreichische Jobcenter (Arbeitsmarktservice) ist ein öffentlich-rechtliches Unternehmen und deshalb der staatlichen Sphäre zugehörig, § 1 Arbeitsmarktservicegesetz, BGBl. Nr. 313/1994. 7 Zum Beispiel den von Artikel 12, 14 Grundgesetz und Artikel 14 Europäische Grundrechtecharta umfassten Ge- schäftsgeheimnisschutz. 8 Siehe Kapitel 4.

Victoria Guijarro-Santos — Effiziente Ungleichheit 49 2. RELEVANTE GRUNDRECHTE 1430 Der Staat bleibt also trotz des Einsatzes „autonomer KI“ an 1431 Menschen- und Grundrechte gebunden. Welche Grundrechte 1432 sind im Rahmen algorithmisch vermittelter Diskriminierungen 1433 relevant? Und wovor schützen sie uns? Im Folgenden werden 1434 die Grundrechte auf informationelle Selbstbestimmung und 1435 Datenschutz (2.1) sowie die Grundrechte auf Gleichbehand- 1436 lung und Antidiskriminierung (2.2) näher beleuchtet und in 1437 Kapitel 3 betrachtet, wie dieser Grundrechtsschutz durch KI 1438 beeinträchtigt wird.

2.1 GRUNDRECHTE AUF INFORMATIONELLE SELBSTBESTIMMUNG UND DATENSCHU TZ 1439 Artikel 2 Abs. 1 Grundgesetz lautet: „Jeder9 hat das Recht auf 1440 die freie Entfaltung seiner Persönlichkeit“. Das hierin enthal- 1441 tene Allgemeine Persönlichkeitsrecht schützt nicht vor allem, 1442 was die Persönlichkeitsentwicklung irgendwie beeinflussen 1443 kann (BVerfG 2017: Rn. 38). Denn Persönlichkeit entwickelt 1444 sich erst in Interaktion und Kommunikation mit anderen (Hilde- 1445 brandt 2016: 80ff.; BVerfG 2017: Rn. 38). Der Schutz greift 1446 aber dann, „wenn die selbstbestimmte Entwicklung und Wah- 1447 rung der Persönlichkeit spezifisch gefährdet ist“ (BVerfG 1448 2017: Rn. 38). Externe Einflüsse müssen also eine gewisse 1449 Schwelle überschreiten. Dies ist der Fall, wenn umfassende 1450 digitale Persönlichkeitsbilder erstellt werden, ohne dass die 1451 Betroffene dessen Richtigkeit und Verwendung hinreichend 1452 kontrollieren kann. Diese Gefahr hat das Bundesverfassungs- 1453 gericht – gerade auch mit Blick auf die Bedingungen auto- 1454 matischer Datenverarbeitung – bereits 1985 erkannt. Im 1455 sogenannten Volkszählungsurteil betonte das Bundesverfas- 1456 sungsgericht, dass grundsätzlich jede*r selbst über die Preis- 1457 gabe und Verwendung der eigenen Daten bestimmen können 1458 soll (BVerfG 1985: Rn. 153ff.). Damit trägt das Grundrecht auf 1459 informationelle Selbstbestimmung Gefährdungen der Persön- 1460 lichkeit durch Datenerhebung und -verarbeitung Rechnung Algorithmische Entscheidungssysteme 50 1461 (BVerfG 2018: Rn. 37). Auch der Europäische Gerichtshof für 1462 Menschenrechte konkretisierte das Recht auf Privatsphäre 1463 (Art. 8 Europäische Menschenrechtskonvention (EMRK)) schon 1464 früh zum Schutzschild gegen intransparente und umfassende 1465 Datenauswertung (EGMR 1984: Rn. 67; EGMR 2008: Rn. 99). 1466 Mit der Europäischen Grundrechtecharta wurde der Bedeu- 1467 tung des Datenschutzes für die individuelle Persönlichkeits- 1468 entfaltung und Freiheitsausübung, die in einer demokrati- 1469 schen Gesellschaft als notwendig erachtet werden (BVerfG 1470 1985: Rn. 154; Hildebrandt 206: 8710; Human Rights Council 1471 2014), durch das Grundrecht auf Datenschutz in Artikel 7 1472 Nachdruck verliehen.

9 Zum Gendern und Recht: Lischewski 2020. 10 „[...]within constitutional democracy, privacy is a public good in as far as it protects practices of identity building that are preconditional in a vigilant civil society.“

2.2 GRUNDRECHTE AUF GLEICH- BEHANDLUNG UND ANTI- DISKRIMINIERUNG 1473 Gemäß Artikel 3 Abs. 1 Grundgesetz und Artikel 20 Grund- 1474 rechtecharta, sind alle Menschen vor dem Gesetz gleich. Das 1475 bedeutet aber nicht, dass alle Menschen identisch behandelt 1476 werden sollen (Gerhard 1990). Tatsächlich differenziert die 1477 Staatsmacht ununterbrochen: wird ein Gesetz erlassen oder 1478 nicht? Greift die Polizei ein oder nicht? Anstelle einer identi- 1479 schen Behandlung tritt das Gebot, Ungleiches ungleich und 1480 Gleiches gleich zu behandeln (BVerfG 2003: Rn. 92). Weicht 1481 der Staat hiervon ab, muss dies sachlich begründet sein (BVerfG 1482 2014: Rn. 121; EuGH 2010: Rn. 64). Das Grundrecht auf Gleich- 1483 behandlung kann somit als Grundrecht auf sachlich begrün- 1484 dete (Un-)Gleichbehandlung verstanden werden. 1485 In einem Fall wie dem des AMS-Algorithmus, wird 1486 aber nicht nach irgendwelchen Kriterien differenziert, sondern 1487 Frauen kategorisch ein schlechterer Ko-Effizient zugerechnet 1488 als Männern. Relevant sind deswegen die spezielleren Dis- 1489 kriminierungsverbote. Bevor diese näher ausgeführt werden, 1490 sei darauf hingewiesen, dass Diskriminierungsverbote im deut- 1491 schen Grundrechtsschutz bisher ein „merkwürdiges Schat- Victoria Guijarro-Santos — Effiziente Ungleichheit 51 1492 tendasein“ geführt haben (BVerfG 1983: 303; Baer & Markard 1493 2018: Rn. 410). Das bedeutet, dass sie nur selten angewendet 1494 werden und deshalb nicht so scharf konturiert sind, wie zum 1495 Beispiel die Grundrechte auf informationelle Selbstbestim- 1496 mung und Datenschutz. Licht und Kontur wird den Diskrimi- 1497 nierungsverboten hauptsächlich durch die Arbeit feministi- 1498 scher Rechtswissenschaftler*innen gegeben, auf deren Wissen 1499 die folgenden Ausführungen überwiegend beruhen. 1500 Diskriminierungsverbote werden auch besondere 1501 Gleichheitssätze genannt (Boysen 2012: Rn. 117). Denn sie ver- 1502 bieten spezifische Ungleichbehandlungen von Personen auf- 1503 grund rechtlich benannter Kategorien (vgl. Mangold 2016/2020 1504 i.V.: 5). Artikel 3 Abs. 3 Grundgesetz bestimmt beispielsweise, 1505 dass niemand wegen der dort benannten Kategorien wie 1506 Geschlecht oder Rasse11 benachteiligt oder privilegiert wer- 1507 den soll. Artikel 21 Grundrechtecharta verbietet Diskriminie- 1508 rungen wegen der dort bezeichneten Kategorien. Es handelt 1509 sich hierbei um „spezifische Ungleichbehandlungen“, weil es 1510 nicht um das Verbot irgendwelcher Differenzierungen geht, 1511 sondern darum kategorial bestimmte Ungleichheitsverhält- 1512 nisse, die Personen(gruppen) historisch marginalisieren, nicht 1513 weiter zu vertiefen (Baer & Markard 2018: Rn. 387; 407; Röh- 1514 ner 2019: 171; 174). Es muss also geprüft werden, ob eine Per- 1515 son aufgrund eines Ungleichheitsverhältnisses (wie zum Bei- 1516 spiel Sexismus), das als Kategorie aufgezählt wird (Geschlecht) 1517 individuell benachteiligt wird. 1518 Ist dies der Fall, trägt der Staat für diese „spezifische 1519 Ungleichbehandlung“ eine sehr viel höhere Rechtfertigungs- 1520 last als für eine „einfache Ungleichbehandlung“ nach Artikel 1521 3 Abs. 1 Grundgesetz (Baer & Markard 2018: Rn. 433ff.). Benach- 1522 teiligungen wegen des Geschlechts beispielsweise, können 1523 nur gerechtfertigt werden, „soweit sie zur Lösung von Prob- 1524 lemen, die ihrer Natur nach nur entweder bei Männern oder 1525 bei Frauen auftreten können, zwingend erforderlich sind“ 1526 (BVerfG 1992: 207). Dass es „natürliche Unterschiede“ zwi- 1527 schen Männern und Frauen gäbe, ist eine problematische 1528 Annahme des Bundesverfassungsgerichts (Adamietz 2006: 1529 380; vgl. Butler 1990). Trotzdem verdeutlicht diese Aussage, 1530 dass die Rechtfertigungs-Latte sehr hoch liegt, wenn eine 1531 Benachteiligung geschlechtsbezogen ist. 1532 Die Diskriminierungsverbote kennen keine Bagatell- 1533 grenze (Langenfeld 2020: Rn. 27). Beispielsweise unterfällt 1534 auch die Situation dem Schutz von Artikel 3 Abs. 3 Grundge- 1535 setz, in der ein automatisierter Seifenspender weiße, aber nicht 1536 Schwarze12 Haut erkennt (Whites Only; Benjamin 2019: 67f.) – 1537 ein Fall sozusagen algorithmischer Alltagsdiskriminierung. 1538 Die individuelle Bedeutung von Diskriminierungsver- 1539 boten zum Schutz vor Würde- und Persönlichkeitsverletzun- 1540 gen (Baer & Markard, 2018: Rn. 407; Lehner 2013: 375ff.), 1541 sowie die gesellschaftliche Bedeutung von Antidiskriminie- 1542 rung für wirtschaftlichen und gesellschaftlichen Zusammen- 1543 halt (EU-Antirassismus-Richtlinie: Erwägungsgrund 9), wird 1544 durch Diskriminierungsverbote in sechs Menschenrechtsver- 1545 trägen13 und fast allen demokratischen Verfassungen welt- 1546 weit ausgedrückt. Trotz dieses weitreichenden Konsenses, 1547 besteht in Rechtswissenschaft- und praxis wenig Einigkeit 1548 über die Details (Stanford Encylopedia).

Algorithmische Entscheidungssysteme 52 11 Dieser Begriff wird als soziale Konstruktion verstanden und als analytisches Konzept verwendet, näher Cengiz Barskanmaz 2011. 12 Im Anschluss an antirassistische, empowernde Politik- en wird Schwarz hier großgeschrieben AK Forschungs- Handeln, 2016. 13 Z.B: Artikel 2 Allgemeine Erklärung der Menschenrechte; Artikel 26 Internationaler Pakt politischer und bürgerlicher Rechte; Artikel 14 EMRK.

3. WIE GREIFT KI EIN? 1549 Fassen wir kurz zusammen: Der Staat bleibt an Grund- und 1550 Menschenrechte gebunden und wir werden vor invasiven 1551 digitalen Persönlichkeitsprofilen, sachlich ungerechtfertig- 1552 ten Ungleichbehandlungen und Diskriminierungen geschützt. 1553 Soweit so klar. Aber was bedeutet das konkret bezogen auf 1554 algorithmische Entscheidungssysteme? Wie genau wird der 1555 nachgezeichnete grund- und menschenrechtliche Schutz 1556 durch algorithmisch vermittelte Benachteiligungen beein- 1557 trächtigt? 1558 Stellen wir uns vor, eine Frau und Mutter meldet sich 1559 in Österreich arbeitslos. Danach erhält sie einen Bescheid, der 1560 ihr erklärt, dass sie keine Förderung vom Arbeitsmarktservice 1561 erhalten wird, weil ihr Integrationschancen-Wert (IC-Wert) 1562 unter 25% liegt. Sie gehört damit zur Gruppe „N“. Der Grund 1563 für den schlechten IC-Wert ist, dass der Datenpunkt „weiblich“ 1564 mit einem negativen Ko-Effizient von -0,14 und der Daten- 1565 punkt „betreuungspflichtig“ mit -0,15 bewertet wird.

Victoria Guijarro-Santos — Effiziente Ungleichheit 53 3.1 GRUNDRECHTE AUF INFORMATIONELLE SELBST- BESTIMMUNG UND DATEN- SCHU TZ 1566 Allein dadurch, dass Daten erfasst und abgeglichen werden, 1567 wird in die Grundrechte auf informationelle Selbstbestim- 1568 mung und Datenschutz eingegriffen (BVerfG 2018: Rn. 45ff). 1569 Bei einem algorithmischen Entscheidungssystem kommt hinzu, 1570 dass auf Basis dieser Daten ein digitales Persönlichkeitsprofil 1571 konstruiert wird. Das spezifische Problem hieran ist weniger, 1572 dass eine Person zur „gläsernen Bürgerin“ würde, sondern 1573 eher, dass ihr (und auch allen anderen Frauen und Müttern) 1574 generalisierende Annahmen „untergeschoben“ werden. Auf 1575 Basis dieser Generalisierungen wird ein Profil erstellt (sog. 1576 Profiling), obwohl die Antragstellerin womöglich ganz anders 1577 ist bzw. entgegen der statistischen Generalisierung doch gute 1578 Chancen auf dem Arbeitsmarkt hätte. 1579 Tatsächlich sind falsche Fremdbilder keine Ausnahme, 1580 sondern vielmehr algorithmischen Entscheidungssystemen 1581 inhärent. Denn statistische Vorhersagen können sich annä- 1582 hern, prophezeien aber keine Wahrheiten (Lücking 2020). 1583 Irgendwer ist immer „falsch negativ“, das heißt entgegen der 1584 statistischen Erwartung zum Beispiel doch re-integrations- 1585 fähig (vgl. Zweig/Krafft 2018). Im Fall des AMS-Algorithmus 1586 liegt die Fehlerquote beispielsweise bei 15%. Das heißt, dass 1587 Medienberichten zufolge jährlich 50.000 Personen falsch 1588 bewertet werden (Wimmer 2018a). 1589 Die Betroffenen haben keinen Einfluss auf diesen 1590 Prozess. Ihr digitales Persönlichkeitsprofil wird unabhängig 1591 von ihnen konstruiert. Ihnen wird jeglicher Raum für die effek- 1592 tive Entgegenstellung ihres Selbstbildes genommen. Statt- 1593 dessen wird den Betroffenen ein stereotypes Fremdbild 1594 übergestülpt, dessen Richtigkeit und Verwendung sie nicht 1595 beeinflussen können (Britz 2008: 184ff; 193). 1596 Generalisierungen sind alltäglich. Wir haben kein 1597 Recht darauf, nur so gesehen zu werden, wie wir uns das wün- 1598 schen (s. oben). Aber wir haben ein Recht darauf, an dem 1599 kommunikativen Prozess der Persönlichkeitskonstruktion der- 1600 art beteiligt zu werden, sodass wir auf wirkmächtige Fremd- 1601 bilder real einwirken können (Britz 2008: 193f.; 207f.; diess. 1602 2019: 675ff.). Bei automatisierten Entscheidungssystemen 1603 wird einem diese Möglichkeit genommen: Weiblich zu sein ist Algorithmische Entscheidungssysteme 54 1604 negativ, Mutter zu sein ist negativ – Ende.14 Auf diese Weise 1605 wird der Raum für Persönlichkeitsentfaltung durch Datenver- 1606 arbeitung verschlossen und die Grundrechte auf informatio- 1607 nelle Selbstbestimmung und Datenschutz beeinträchtigt.

14 Beim AMS-Algorithmus soll noch eine Mitarbeitende zwischen Software-Ergebnis und letztgültiger Entscheidung geschaltet werden (Kopf 2018). Trotzdem ist ein algorithmisch erzieltes Ergebnis so eindrücklich, dass psychologisch davon ausgegangen wird, dass Menschen nicht davon abweichen, sog. automation bias (Sommerer 2020: 71ff).

3.2 GRUNDRECHTE AUF ANTI- DISKRIMINIERUNG 1608 Die Antragstellerin erleidet im Beispielfall einen Nachteil, da 1609 sie keine Leistungen vom Arbeitsmarktservice erhält. In Wirk- 1610 lichkeit ist gar nicht so eindeutig, was aus der Kategorisierung 1611 in Gruppe „N“ folgt. Klar ist, dass die meiste Förderung in 1612 Gruppe „M“ investiert werden soll – der Personengruppe, die 1613 statistisch mittelmäßige Chancen hat (Wimmer 2018b). Wahr- 1614 scheinlich ist, dass Personen der Gruppe „N“ einer anderen 1615 Einrichtung zugeordnet werden und damit aus dem Arbeits- 1616 marktservice-System herausgenommen werden sollen (Kopf 1617 2018; Lopez 2019: 298; Berner & Mass 2020: 4). Die dort 1618 angebotenen Maßnahmen seien nicht qualifikationsbezogen, 1619 sondern zielten auf soziale Stabilisierung ab (Berner & Schüll 1620 2019; Weber et al. 2019). Letztendlich kann aber kaum mehr 1621 als geraten werden, welcher Nachteil genau aus der Zuwei- 1622 sung zu Gruppe „N“ folgt. Der Einfachheit halber denken wir 1623 deswegen den Beispielfall weiter. 1624 Die Antragstellerin erleidet nicht nur einen Nachteil, 1625 sondern wird auch im Vergleich zu Männern benachteiligt. 1626 „Männlich-sein“ wirkt sich auf die Bewertung durch den AMS- 1627 Algorithmus weder positiv noch negativ aus. Das vergleichs- 1628 weise höhere Risiko der Antragstellerin, in Gruppe „N“ einge- 1629 teilt zu werden, wirkt sich in der Verweigerung von Sozial- 1630 leistungen aus. Diese Benachteiligung müsste in einem der 1631 kategorial gefassten Ungleichheitsverhältnissen gründen. Der 1632 AMS-Algorithmus weist allen Müttern einen negativen Ko-Ef- 1633 fizienten zu. Das ist kein Zufall. Der AMS-Algorithmus wurde 1634 anhand vergangener Fälle des Arbeitsmarktservice program- 1635 miert. Der Algorithmus hat auf diese Weise den Frauen am 1636 österreichischen Arbeitsmarkt entgegengebrachten Sexis- 1637 mus erlernt und reproduziert ihn nun (Lopez 2019: 294; 302). 1638 Auch Kriterien wie „Betreuungspflichten“ scheinen auf den Victoria Guijarro-Santos — Effiziente Ungleichheit 55 1639 ersten Blick zwar ein formal neutrales Kriterium zu sein. 1640 Immerhin können Frauen wie Männer für die Betreuung von 1641 Kindern oder anderen Angehörigen verantwortlich sein. Tat- 1642 sächlich kümmern sich aber vor allem Frauen um die Kinder- 1643 betreuung und Pflege. Sorgearbeit ist weiterhin weiblich (Dreas 1644 2019: 223). Das Kriterium „Betreuungspflichten“ scheint also 1645 neutral, betrifft jedoch faktisch Frauen. Entsprechend wirken 1646 sich beim AMS-Algorithmus „Betreuungspflichten“ nur für 1647 Frauen negativ aus (Holl et al. 2018: 13). 1648 Ein anderes, maskierteres Beispiel ist ein in Chicago 1649 eingesetzter Algorithmus des sogenannten Predictive Poli- 1650 cings. Hier ermittelt der Algorithmus auf Basis von Daten aller 1651 in den letzten fünf Jahren festgenommen Personen, ob eine 1652 Person Täter oder Opfer von Schusswaffengewalt wird (Som- 1653 merer 2020: 80ff). Abgesehen davon, dass festgenommen zu 1654 werden, nicht bedeutet auch tatsächlich strafrechtlich gehan- 1655 delt zu haben, sind Daten über Festnahmen auch deswegen 1656 problematisch, weil sie gegebenenfalls stattgefundenes poli- 1657 zeiliches Racial Profiling15 wiedergeben (Sommerer 2020: 110; 1658 112). Formal-neutrale Festnahmedaten können dann zum 1659 Ergebnis führen, dass der Algorithmus im Ergebnis rassifi- 1660 zierte Männer häufiger einer Straftat verdächtigt, als weiße 1661 Männer oder Frauen. 1662 Das Antidiskriminierungsrecht nimmt Diskriminie- 1663 rungen ihre Maske mit der Rechtsfigur der mittelbaren Dis- 1664 kriminierung ab (BVerfG 1997: Rn. 36; Röhner 2019: 213ff): 1665 Mit der Verwendung formal-neutraler Kriterien, können Dis- 1666 kriminierungsverbote nicht umgangen werden, wenn sie sich 1667 effektiv für eine kategorial geschützte Personengruppe 1668 benachteiligend auswirken. Die Umgehung muss gar nicht 1669 beabsichtigt sein. Es muss kein böser Wille nachgewiesen 1670 werden, um den Schutzbereich der Diskriminierungsverbote 1671 zu berühren (Mangold 2016 & 2020 i.V.: 155). 1672 Es könnte nun manch eine argumentieren, dass ja 1673 gar nicht alle Frauen in Gruppe „N“ fallen und auch Männer 1674 dort eingruppiert werden würden. Hieraus könnte der Schluss 1675 gezogen werden, dass die arbeitslose Mutter doch nicht wegen 1676 des Geschlechts benachteiligt wird. Dies wäre ein Fehlschluss. 1677 Es muss nämlich genau betrachtet werden, warum auch Män- 1678 ner in Gruppe „N“ kategorisiert worden sind und andere Frauen 1679 nicht. Anhand des AMS-Algorithmus lässt sich das plastisch 1680 durchspielen: Ein Mann könnte zum Beispiel beeinträchtigt 1681 sein (negativer Ko-Effizient von -0,67) und eine Frau könnte 1682 keine Betreuungspflichten haben und unter 30 Jahre alt sein 1683 (keine Auswirkungen; Holl et al. 2018: 11). Der AMS-Algorith- 1684 mus veranschaulicht auf diese Weise, dass Ungleichheitsver- 1685 hältnisse Personen gesellschaftlich unterschiedlich positio- 1686 nieren. Ein Mann kann gegenüber einer Frau privilegiert sein. 1687 Ist er beeinträchtigt, kann er aber aufgrund seiner Beeinträch- 1688 tigung – und nicht seinen Geschlechtes – im Vergleich zu einer 1689 able-bodied – Frau benachteiligt werden. Andersherum kann 1690 eine Frau gegenüber einer anderen Frau privilegiert sein, weil 1691 sie nicht mit Sorgearbeit belastet und besonders jung ist. 1692 Sexismus, Able-ismus und Age-ismus, können Männer und 1693 Frauen unterschiedlich positionieren. 1694 Diese Komplexität, nach der sich nicht immer alle 1695 Ungleichheitsdimensionen in jeder Situation gleich auswirken, 1696 sondern genau geprüft werden muss, welche Machtverhält- 1697 nisse sich wie miteinander verschränken, hat Kimberlé Crens- 1698 haw mit dem Begriff der Intersektionalität geprägt (Crens- 1699 haw 1989: 151f). Der AMS-Algorithmus fungiert entsprechend 1700 als intersektionaler Rechenschieber. Die Rechtspraxis erkennt 1701 intersektionale Diskriminierung bis heute nicht immer (EuGH Algorithmische Entscheidungssysteme 56 1702 2016; BVerfG 2003a; siehe aber EuGH 2011; BVerfG 2015). 1703 Rechtswissenschaftler*innen feilen jedoch an rechtlichen Lin- 1704 sen, um Intersektionalität auch für Richter*innen sichtbar zu 1705 machen (vgl. Atrey 2019; Weinberg 2020). 1706 In dem Beispielfall wird die arbeitslose Mutter somit 1707 aufgrund der Ungleichheitsdimension Geschlecht benachtei- 1708 ligt. Damit wird in den Schutzgehalt der Diskriminierungs- 1709 verbote eingegriffen.

15 Verfassungsrechtlich näher Leidinger 2019.

4. MEHR ALS EFFIZIENZ 1710 Der AMS-Algorithmus beeinträchtigt die Grundrechte auf 1711 informationelle Selbstbestimmung und Datenschutz, sowie 1712 jene auf Antidiskriminierung. Dies kann auch für andere durch 1713 Algorithmen vermittelte Benachteiligungen gelten. Für sich 1714 genommen folgt aus diesen Eingriffen aber noch nicht, dass 1715 algorithmische Entscheidungssysteme in allen Behörden sofort 1716 deinstalliert werden müssten. Grund- und Menschenrechte 1717 schützen bestimmte Verhaltensweisen. Beeinträchtigt der 1718 Staat ein geschütztes Verhalten, dann muss der Staat dies gut 1719 begründen, das heißt rechtfertigen. Grund- und Menschen- 1720 rechte verbieten Eingriffe somit nicht absolut, sondern schir- 1721 men uns vor einem wild um sich greifenden Staat ab, indem 1722 sie eine Rechtfertigung für die erfolgten Beeinträchtigungen 1723 fordern. Grund- und Menschenrechtseingriffe können zudem 1724 nicht irgendwie gerechtfertigt werden. Vielmehr muss die 1725 Rechtfertigung bestimmten Anforderungen genügen.

4.1 KEIN EINGRIFF OHNE GESETZ 1726 Zum einen darf in Grundrechte grundsätzlich nur auf Basis 1727 einer Rechtsgrundlage eingegriffen werden (Vorbehalt des 1728 Gesetzes). Gerade bei Eingriffen in die Grundrechte auf infor- 1729 mationelle Selbstbestimmung und Datenschutz, kommt der 1730 Rechtsgrundlage eine besondere Bedeutung zu. Denn sie 1731 muss absichern, dass der Raum für Persönlichkeitsentfaltung Victoria Guijarro-Santos — Effiziente Ungleichheit 57 1732 trotz Datenverarbeitung wieder geöffnet wird. Die Rechts- 1733 grundlage muss deswegen klar und detailliert über den 1734 Umfang und die Anwendung der Datenverarbeitung informie- 1735 ren und bestimmte Mindestgarantien zusichern (EGMR 2008: 1736 Rn. 99; Gericht von Den Haag: Rn. 6.66ff). Beim Profiling müs- 1737 sen den Betroffenen darüberhinausgehende Rechte an die 1738 Hand gegeben werden, wie besondere Informationsrechte 1739 (Artikel 14 Abs. 2 lit. g DSGVO) oder ein Anfechtungsrecht, mit 1740 dem falsche digitale Persönlichkeitsbilder angefochten wer- 1741 den können (Artikel 22 Abs. 3 DSGVO). Auf diese Weise soll 1742 die betroffene Person wieder ins Spiel der Fremd- und Selbst- 1743 bilder gebracht werden. 1744 Tatsächlich genügt die derzeitige Rechtsgrundlage 1745 für den Einsatz des AMS-Algorithmus diesen (und anderen) 1746 datenschutzrechtlichen Anforderungen nicht. Deswegen 1747 wurde der Einsatz des AMS-Algorithmus von der österreichi- 1748 schen Datenschutzbehörde vorerst gestoppt (ORF 2020).

4.2 ZU WELCHEM ZWECK? 1749 Doch auch nach Schaffung einer solchen Rechtsgrundlage, 1750 stellt sich die Frage, ob der Einsatz des AMS-Algorithmus 1751 gerechtfertigt werden kann. 1752 An dieser Stelle erweist sich Effizienz als nicht sehr 1753 stabiles Fundament. Effizienz ist ein sehr ungenaues Argu- 1754 ment. Sie beschreibt nämlich lediglich eine Zweck-Mittel-Re- 1755 lation. Für die Rechtfertigung ist aber wichtig, welcher Zweck 1756 genau mit dem erfolgten Grundrechtseingriff verfolgt wird. 1757 Nur wenn Zweck und Eingriff in einem angemessenen Ver- 1758 hältnis stehen, kann der Eingriff gerechtfertigt werden (Ver- 1759 hältnismäßigkeitsprinzip). Dafür braucht es auch Informatio- 1760 nen. Verweist der Staat lediglich auf den Algorithmus, genügt 1761 dies nicht (Gericht von Den Haag 2020: Rn. 6.80ff; BVerfG 1762 2020: BND16). 1763 Ein algorithmisches Entscheidungssystem könnte 1764 möglicherweise verwendet werden, um Diskriminierungen zu 1765 vermeiden. Aber ist ein algorithmisches Entscheidungssystem 1766 dafür wirklich geeignet? Einzelne Personen wie Beamt*innen 1767 können entgegen diskriminierender Strukturen handeln. Ein 1768 Algorithmus trifft hingegen massenweise die gleiche (diskri- 1769 minierende) Entscheidung (O’Neill 2015). 1770 Nehmen wir mal an, der AMS-Algorithmus würde 1771 eine gewinnbringende Verteilung knapper, staatlicher Res- 1772 sourcen bezwecken. Dies könnte durch die Segmentierung 1773 arbeitsloser Personen wahrscheinlich auch erreicht werden. 1774 Aber sind Sexismus, Rassismus, Able-ismus und Age-ismus 1775 hierfür legitime Unterscheidungsgründe? Anstatt nach den 1776 individuellen Fähigkeiten zu fragen, werden alle Frauen und 1777 Mütter als eher nicht re-integrationsfähig bewertet. Inwiefern 1778 hilft es Frauen, psychosoziale Beratung zu bekommen, wenn 1779 der Grund für diese Prognose nicht in ihrer Person, sondern 1780 auf den ihnen entgegengebrachten Sexismus beruht?

Algorithmische Entscheidungssysteme 58 1781 Würden Personen auf Basis des erkannten Sexismus 1782 segmentiert, um zum Beispiel Frauen spezielle Förderpro- 1783 gramme zu Teil werden zu lassen, könnte die Segmentierung 1784 gerechtfertigt werden (vgl. Gleichbehandlungsanwaltschaft 1785 2019: 3). Denn dann würde versucht, ein Ungleichheitsverhält- 1786 nis auszugleichen. Das Grundgesetz sieht gerade vor, dass 1787 der Staat die Gleichberechtigung von Frauen und Männern 1788 durch die Beseitigung von Nachteilen auch tatsächlich fördert 1789 (Artikel 3 Abs. 2 S. 2 Grundgesetz). Dies gelingt allerdings 1790 nicht, wenn – wie mit dem AMS-Algorithmus – ein diskrimi- 1791 nierender status quo eingefroren und als Begründung für wei- 1792 tere Benachteiligungen genutzt wird (Fröhlich & Spiecker 2018).

5. FAZIT 1793 Mithilfe von Grund- und Menschenrechten, kann hinter die 1794 Fassade algorithmischer Entscheidungssysteme geblickt wer- 1795 den. Dahinter halten sie uns einen Spiegel vor, in dem Ungleich- 1796 heitsverhältnisse abgebildet werden. Insoweit hat der Chef 1797 des Arbeitsmarktservice also Recht: Die Realität „ist so“ – 1798 zumindest zurzeit.17 Frauen haben es auf dem österreichi- 1799 schen Arbeitsmarkt nicht leicht. Mit dem Einsatz des AMS- 1800 Algorithmus wird das auch so bleiben. Allerdings sollten mar- 1801 ginalisierte Personen(gruppen) durch den staatlichen Einsatz 1802 von KI nicht noch weiter an den gesellschaftlichen Rand 1803 gedrängt werden. Es muss vielmehr stets das grund- und 1804 menschenrechtlich gebotene Maß an Einzelfallgerechtigkeit 1805 aufrechterhalten bleiben (Britz 2008: 212ff).

17 Zu den Grenzen der „realen Abbildung“ durch den AMS-Algorithmus s. Lopez (2019).

Victoria Guijarro-Santos ist wissenschaftliche Mitarbeiterin an der Universität Münster (Lehrstuhl Professorin Markard). Sie forscht an der Schnittstelle digitaler Technologien, Grund- und Menschenrechten sowie feministischer Rechtstheorie.

Victoria Guijarro-Santos — Effiziente Ungleichheit 59 LITER ATUR Adamietz, Laura (2006) „Transgender ante portas?“. Kritische Justiz 2006 (39)4, 368–380. AK ForschungsHandeln (2016) „InterdepenDenken dialogisch verhandeln – Eine Einleitung“, in: AK ForschungsHandeln (Hg.), InterdepenDenken! Wie Positionierung und Intersektionalität forschend gestalten?, w_orten&meer: Stralsund, 8–28. AlgorithmWatch (2019) „Atlas der Automatisierung – automatisierte Entscheidungen und Teilhabe in Deutschland“, online unter: https://atlas. algorithmwatch.org/wp-content/uploads/2019/07/Atlas_der_ Automatisierung_von_AlgorithmWatch.pdf [25.09.2020]. Atrey, Shreya (2019) Intersectional Discrimination, Oxford: Oxford University Press. Baer, Susanne & Markard, Nora (2018) „Art. 3 Abs. 3“, in: Hermann von Mangoldt et al. (Hg.), Grundgesetz Kommentar, München: C.H. Beck. Barskanmaz, Cengiz (2011) „Rasse – Unwort des Antidiskriminierungsrechts?“. Kritische Justiz (44)4, 382–389. Benjamin, Ruha (2019) Race After Technology, Medford: Polity Press. Berner, Heiko/ Schüll, Elmar (2020) „Bildung nach Maß. Die Auswirkungen des AMS-Algorithmus auf Chan- cengerechtigkeit, Bildungszugang und Weiterbildungs- förderung“. Magazin erwachsenbildung.at 2020 (40), 1–12. Bertram, Alice (2020) „Recht auf Ineffizienz – Eine Untersuchung des Verhältnisses von Grund- rechten zur Effizienz“, in: 60. Assistententagung Öffentliches Recht (Hg.), Der digitalisierte Staat, Baden-Baden: Nomos Verlagsgesellschaft, 87–102. Boysen, Sigrid (2012) „Artikel 3“, in: von Münch, Ingo & Kunig, Philip (Hg.), Grundgesetz-Kom- mentar, München: C.H. Beck. Britz, Gabriele (2008) Einzelfallgerechtigkeit versus Generalisierungen, Tübingen: Mohr Siebeck. Britz, Gabriele (2019) „Freie Entfaltung der Persönlichkeit (Artikel 2 I 1 GG) – Verfassungsver- sprechen zwischen Naivität und Hybris?“. Neue Zeitschrift für Verwaltungsrecht 38 (10), 672–677. Butler, Judith (1990/2007) Gender trouble, Oxon: Routledge, BVerfG 1983: BVerfGE 63, 266 (298 ff.) – Zulassung zur Anwaltschaft. BVerfG 1985: BVerfGE 65, 1 (43, Rn. 154) 1985 Volkszählungsurteil BVerfG 1997: BVerfGE 97, 35 – Hamburger Ruhegeldgesetz. BVerfG 2003, BVerfGE 110, 141 – Kampfhunde. BVerfG 2003a: BVerfGE 108, 282 – Kopftuch I. BVerfG 2014, BVerfGE 138, 136 – Erbschaftssteuer. BVerfG 2015, BVerfGE 138, 296 – Kopftuch II. BVerfG 2017, BVerfGE 147, 1 – Dritte Option. BVerfG 2018: BVerfGE 150, 244 (309) – Kfz-Kennzeichenkontrollen 2 BVerfG 2019: BVerfG, Beschluss des Ersten Senats vom 06. November 2019, 1 BvR 16/13, Recht auf Vergessen I. BVerfG 2020: BVerfG, Urteil des Ersten Senats vom 19. Mai 2020, 1 BvR 2835/17 – Ausland-ausland-Fernmeldeaufklärung. Crenshaw, Kimberlé (1989) „Demarginalizing the Intersection of Race and Sex: A Black Feminist Critique of Antidiscrimination Doctrine“. The University of Chicago Legal Forum (1989)1, 139–167. Algorithmische Entscheidungssysteme 60 Dreas, Susanne A. (2019) „Zum Verhältnis von Care und Gender oder: Warum ist Sorgearbeit weiblich?“, in: Kolhoff, Ludger (Hg.), Aktuelle Diskurse in der Sozialwirtschaft II, Wiesbaden: Springer, Wiesbaden, 223–239. EGMR 1984, § 64 Series A no. 82, Malone vs. the United Kingdom, 2.08.1984. EGMR 2008, Rs. 30562 und 30566/04, Marper vs. the United Kingdom, 4.12.2008. EuGH 2010, ECLI:EU:C:2010:534 – Chatzi. EuGH 2011, ECLI:EU:C:2011:675 – Brachner. EuGH 2016, ECLI:EU:C:2016:897 – Parris. Fröhlich, Wiebke & Spiecker gen. Döhmann, Indra (2018) „Können Algorithmen diskriminieren?“, in: Verfassungsblog, 26.12.2018, online unter: https://verfassungsblog.de/ koennen-algorithmen-diskriminieren/ [25.09.2020]. Gericht von Den Haag, ECLI:NL:RBDHA:2020:1878 – SyRI. Gerhard, Ute (1990) Gleichheit ohne Angleichung, München: C.H. Beck. Human Rights Council A/HRC/28/39, 19.12.2014, Summary of the Human Rights Council panel discussion on the right to privacy in the digital age. Hildebrandt, Mireille (2016) Smart Technologies and The Ends of Law, Celtenham: Edward Elgar. Holl, Jürgen; Kernbeiß, Günther; Wagner-Pinter, Michael (2018) Das AMS-Arbeitsmarkt-chancen-Modell, Dokumentation zur Methode, Wien: Synthesis Forschung. Kopf, Johannes (2018) „AMS-Vorstand Kopf: ‚Was die EDV gar nicht abbilden kann, ist die Motivation‘“, in: Der Standard, 10.10.2018, online unter https://www.derstandard.at/story/2000089096795/ams- vorstand-kopf-menschliche-komponente-wird-entschei- dend-bleiben [25.09.2020]. Kopf, Johannes (2019) „Der Beipackzettel zum AMS-Algorithmus“ in: Futurezone, 09.10.2019, online unter: https://futurezone.at/meinung/der-bei- packzettel-zum-ams-algorithmus/400641347 [25.09.2020]. Langenfeld, Christine (2020) „Art. 3 Abs. 3“, in: Maunz, Theodor/Dürig, Günter, Grundgesetz-Kom- mentar, München: C.H. Beck. Lehr, David & Ohm, Paul (2017) „Playing with the Data: What Legal Scholars Should Learn about Machine Learning“. U.C. Davis Law Review 51(2), 653–71. Leidinger, Andreas (2019) „Drei Perspektiven auf Racial Profiling: Konservativ, liberal, kritisch“. Kritische Justiz 51(4), 450–463 Little Britain „Computer sagt Nein“, in: Youtube, 08.03.2012, online abrufbar unter: www.youtube.com/watch?v=ajdafAwJsho [25.09.2020]. Lischewski, Isabel (2020) „Im Namen des Gesetzes – Misgendering durch die Verfassung?“, in: Verfassungsblog, 02.07.2020, online unter: https://ver- fassungsblog.de/im-namen-des-gesetzes/ [25.09.2020]. Lopez, Paola (2019) „Reinforcing Intersectional Inequality via the AMS Algorithm in Austria“. Proceedings of the STS Conference Graz 2019, 289–309. Lücking, Phillip (2020) „Automatisierte Ungleichheit“, in: netzforma* e.V. (Hg.), Wenn KI, dann feministisch – Impulse aus Wissenschaft und Aktivismus. Berlin, 65-76. Mangold, Anna Katharina (2016/2020) Demokratische Inklusion durch Recht, Habilitationsschrift 2016/2020 in Vorbereitung, Tübingen: Mohr Siebeck. Martini, Mario (2019) Blackbox Algorithmus – Grundfragen einer Regulierung Künstlicher Intelligenz, Berlin: Springer. Victoria Guijarro-Santos — Effiziente Ungleichheit 61 Richtlinie 2000/43/EG des Rates vom 29.06.2000, ABL. 180 (22), 19.07.2000. Rieder, Gernot & Rudschies Catharina (2020) „Notes on the Political Economy of Welfare AI“, Vortrag, 21.08.2020, bei: EASST 2020. Röhner, Cara (2019) Ungleichheit und Verfassung, Weilerwist: Velbrück Wissenschaft. O’Neill, Cathryn (2016) Weapons of Math Destruction, New York: Broadway Books. ORF (2020) „Zukunft für AMS-Algorithmus ungewiss“, 21.08.2020, online unter: https://orf.at/stories/3178348/ [25.09.2020]. Sommerer, Lucia (2020) Personenbezogenes Predictive Policing, Baden-Baden:Nomos Ver- lagsgesellschaft. Standford Encyclopedia of Philosophy (2011/2020) „Discrimination“, online unter: https://plato.stanford.edu/entries/ discrimination/#OrgInsStrDis [25.09.2020]. Weber, Friederike; Hager, Isa; Krüse, Tobias & Reidl, Christine (2019) Evaluierung des Betreuungsformates für Personen mit multiplen Ver- mittlungserfordernissen (BBEN). Endbericht der prospect Research & Solution Unternehmensberatung, Wien: Arbeits- marktservice. Weinberg, Nils (2020) „Ansätze zur Dogmatik der intersektionalen Benachteiligung“, in: Europäische Zeitschrift für Arbeitsrecht (13), 60-77. Whites Only – Part Two in: YouTube, online unter: https://www.youtube.com/ watch?v=gKUTDAvmNtA, [25.09.2020]. Wimmer, Barbara, (2018a) „AMS-Chef: ‚Mitarbeiter schätzen Jobchancen pessimistischer ein als der Algorithmus‘“, in: Futurezone, 12.10.2018, online unter: https://futurezone.at/netzpolitik/ams-chef-mitarbei- ter-schaetzen-jobchancen-pessimistischer-ein-als-der-al- gorithmus/400143839 [25.09.2020]. Wimmer, Barbara (2018b) „Computer sagt nein: Algorithmus gibt Frauen weniger chancen beim AMS“ in: Futurezone, 06.12.2018b, online unter: https:// futurezone.at/netzpolitik/computer-sagt-nein-algorith- mus-gibt-frauen-weniger-chancen-beim-ams/400345297 [25.09.2020]. Yeung, Karen (2019) „Responsibility and AI“, in: Council of Europe (Hg.), Council of Europe Study DGI(2019)05. Zweig, Katharina A./Krafft, Tobias D. (2018) „Fairness und Qualität algorithmischer Entscheidungen“, in: Mohabbat Kar, Resa/ Thapa, Basanta/Parycek, Peter (Hg.), (Un)Bere- chenbar?, Berlin:Kompetenzzentrum Öffentliche IT, 204–227.

Algorithmische Entscheidungssysteme 62 Victoria Guijarro-Santos — Effiziente Ungleichheit Algorithmische Entscheidungssysteme 4

AU TOMATISIERTE UNGLEICHHEIT WIE ALGORITHMISCHE EN TSCHEIDUNGS- SYSTEME GESELLSCHAFTLICHE MACHT- VERHALTNISSE ( RE) PRODUZIER EN • PHILLIP LUCKING

65 1806 In den medialen Debatten rund um die Themen „Künstliche 1807 Intelligenz“ und Algorithmen wird auf der einen Seite häufig 1808 von einer am Horizont erscheinenden drohenden Gefahr 1809 geschrieben und vor der ungeheuren, irgendwie unpersönli- 1810 chen Macht dieser neuen Hochtechnologien gewarnt. Auf der 1811 anderen Seite werden im Kontext von Medienkampagnen wie 1812 Industrie 4.0 allerhand positive Seiten dieser Technologien 1813 betont. Das reicht von angeblich deutlich erhöhten Produkti- 1814 onskapazitäten über bessere Chancen im internationalen 1815 Konkurrenzwettbewerb bis hin zur generellen Lösung aller 1816 möglichen (gesellschaftlichen) Probleme.1 Dabei wird allzu oft 1817 übersehen, dass jenseits von abstrakter Roboterherrschaft 1818 oder blühenden Algorithmenlandschaften einzelne Techno- 1819 logien (teil)automatisierter, algorithmischer Entscheidungs- 1820 systeme teilweise schon lange im Einsatz sind. Gerade solche 1821 mit existenzieller Dimension (also nicht, welche passenden 1822 Serien dir bei Netflix angeboten oder welche individualisierten 1823 Inhalte dir bei Instagram angezeigt werden) betreffen vor 1824 allem bereits marginalisierte Personengruppen – Frauen*, 1825 People of Color (PoCs), Arme, Geflüchtete und weitere. Wäh- 1826 rend im Zusammenhang mit beispielsweise Gesichtserken- 1827 nungssystemen (Köver 2019) oder rassistischen Suchergeb- 1828 nissen bei Google (Spiegel 2018) heute viele wichtige Debatten 1829 über Bias in Algorithmen geführt werden, wird oft übersehen, 1830 dass jenseits von Produkten im „consumer-Bereich“ solche 1831 Technologien, getrieben von einer fortschreitenden Effizienz- 1832 logik und vor dem Hintergrund eines gesellschaftlichen Digi- 1833 talisierungstrends in vielen (staatlichen) Sektoren bereits ein- 1834 gesetzt werden. Ein paar Beispiele: 1835 2018 wurde das Buch Automating Inequality von 1836 Virgina Eubanks in den USA veröffentlicht. In diesem Buch 1837 beschreibt die Autorin die Rolle algorithmischer Entscheidun- 1838 gen bei der immer stärker auf Effizienz und Kosteneinsparun- 1839 gen optimierten staatlichen Verwaltung von Sozialleistungen 1840 und Armut in den Vereinigten Staaten. Ein Fallbeispiel im Buch 1841 beschreibt die Folgen eines bereits 2008 im Bundesstaat 1842 Indiana eingeführten automatisierten Entscheidungssystems, 1843 welches über die Berechtigung (eligibility) zum Erhalt von 1844 dringend benötigter Sozialhilfe anhand der automatischen 1845 Auswertung eines seitenlangen Antragsformulars und der im 1846 Rechenzentrum verfügbaren Daten entscheidet. Wie im Buch 1847 beschrieben, sind die Folgen solcher nur schwer anfechtbarer 1848 Entscheidungen für Betroffene oder deren Angehörige nicht 1849 selten existenzbedrohend. Gerade Menschen in prekären 1850 Lebenslagen besitzen oft nicht die Kapazitäten, um sich gegen 1851 einmal getroffene und behördlich legitimierte algorithmische 1852 Entscheidungen zu wehren, geschweige denn, diese auch nur 1853 annähernd nachzuvollziehen. Ein weiteres, europäisches Bei- 1854 spiel findet sich beim österreichischen Arbeitsmarktservice 1855 (AMS, vergleichbar mit dem Jobcenter in Deutschland). Ab 1856 Januar 20212 soll dort ein algorithmisches Entscheidungssys- 1857 tem eingesetzt werden, welches anhand der persönlichen 1858 Daten einer als arbeitssuchend gemeldeten Person die Aus- 1859 sichten auf Wiedereingliederung in den Arbeitsmarkt schätzt 1860 (Fanta, 2018). Einsortiert in eine von drei möglichen Katego- 1861 rien bekommen diese Menschen mehr oder weniger Unter- 1862 stützungsleistungen. Problematisch ist unter anderem, dass 1863 Personen mit eingetragener Geschlechtskategorie „Frau“, 1864 einer Herkunft außerhalb der EU, gesundheitlichen Einschrän- 1865 kungen oder anderen Markern sozialer Ungleichheit der 1866 zugrundeliegenden Statistik zufolge perspektivisch schwerer 1867 in den Arbeitsmarkt einzugliedern sind und somit weniger 1868 Punkte erzielen. In der Folge entscheidet das System, dass Algorithmische Entscheidungssysteme 66 1869 diese Personen letztlich weniger unterstützenswert sind. 1870 Auch in Deutschland werden algorithmische Entscheidungs- 1871 systeme in Behördenvorgänge integriert. Auf der Suche nach 1872 höherer Effizienz bei der Entscheidung über Asylanträge lies 1873 das Bundesamt für Migration und Flüchtlinge (BAMF) von 1874 einer Softwarefirma eine sogenannte Dialekterkennungssoft- 1875 ware entwickeln, um den „Sprachhintergrund“ und damit die 1876 Herkunft von Asylbewerber:innen zu schätzen (BAMF 2018). 1877 Die Angaben der Personen werden mit den Ergebnissen des 1878 Systems verglichen und so eventuelle Widersprüchlichkeiten 1879 „aufgedeckt“. Das 2018 als „bestes Digitalisierungsprojekt“ 1880 ausgezeichnete „Sprachbiometrische Assistenzsystem“ basiert 1881 laut der Reporterin Anna Biselli allerdings auf allerlei fragwür- 1882 digen Annahmen (etwa, dass Dialekte vor Ländergrenzen halt 1883 machen) und ist mit einer Erfolgsquote von nicht genau über- 1884 prüfbaren 85% auch noch fehleranfällig (Biselli 2018). Die 1885 Mitarbeiter:innen erhalten nur in den seltensten Fällen die 1886 eigentlich benötigten speziellen Schulungen, um umfassend 1887 über die Funktionsweise und Grenzen dieser Systeme infor- 1888 miert zu sein, öffentliche Transparenz oder unabhängige Kon- 1889 trolle sind nicht vorgesehen. 1890 Als Mittel für eine kostengünstige, schnelle und auch 1891 weniger fehleranfällige Optimierung von Arbeitsabläufen 1892 scheinen algorithmische Entscheidungssysteme und ver- 1893 wandte Technologien wie Künstliche Intelligenz, maschinelles 1894 Lernen und Big Data wie geschaffen zu sein – mit unter ande- 1895 rem den oben beschriebenen Folgen. Zugunsten dieser Ziele 1896 wird übersehen oder billigend in Kauf genommen, dass daten- 1897 basierte algorithmische Entscheidungssysteme meist den 1898 status quo reproduzieren, denn Kern dieser Systeme ist die 1899 Entscheidungsfindung auf Basis von Daten aus der Vergan- 1900 genheit. Lässt sich eine andere, gar „feministische KI“ in Anbe- 1901 tracht aller bisher genannten Negativbeispiele überhaupt 1902 denken? Im Folgenden soll zuerst ein grundlegendes Ver- 1903 ständnis dieser Technologien und zugrundeliegender Mecha- 1904 nismen vermittelt werden, um sich anschließend Perspektiven 1905 und Grundlagen alternativer Nutzbarkeit anzunähern.

1 Der Grundgedanke, Computertechnologien universal auf so gut wie alle Probleme anzuwenden wurde von Evgeny Morozov kritisch „Solutionismus“ genannt. Siehe Morozov (2013). 2 Aufgrund fehlender Technikfolgenabschätzung und nicht zuletzt öffentlicher Kritik steht die flächendeckende Ein- führung des Algorithmus zum genannten Zeitpunkt momentan in Frage. Siehe Wimmer (2020).

Phillip Lücking — Automatisierte Ungleichheit 67 KLEINE BEGRIFFSKUNDE 1906 Aus Informatiker:innen-Perspektive wird ein ALGORITH- 1907 MUS als eine endliche, exakt festgelegte Abfolge von Anwei- 1908 sungen definiert – eine Schritt-für-Schritt Anleitung für das 1909 Berechnen des größten gemeinsamen Teilers zweier Zahlen 1910 beispielsweise. Die Eingabe sind zwei Zahlen (Eingabevaria- 1911 blen), diese Zahlen werden einer Anweisung folgend bearbei- 1912 tet, das Ergebnis oder die Ausgabe ist der größte gemein- 1913 same Teiler (Ausgabevariable). Algorithmen können aber 1914 nicht nur für mathematische Berechnungen eingesetzt wer- 1915 den. Vielmehr lässt sich so gut wie alles, was in bestimmte 1916 Datenformate übersetzen werden kann, algorithmisch bear- 1917 beiten. Auf Basis vorliegender Daten, bspw. der persönlichen 1918 Daten einer Person (Eingabevariable), lässt sich eine Schät- 1919 zung, bspw. ihrer Chancen in den Arbeitsmarkt integriert zu 1920 werden (Ausgabevariable), berechnen. Zwischen Eingabe und 1921 Ausgabe steht eine fest definierte „Übersetzung“ der Einga- 1922 bedaten. Diese ist in den Grenzen der Übersetzbarkeit von 1923 Phänomenen in computerlesbare Daten beliebig wählbar und 1924 kann von simplen mathematischen Berechnungen bis hin zu 1925 datenbasierten, statistischen Schätzungen reichen. Wenn 1926 Algorithmen, in den einleitenden Beispielen, Entscheidungen 1927 unterstützen oder sogar ganz übernehmen, wird von algorith- 1928 mischen Entscheidungssystemen gesprochen.3 In manchen 1929 Fällen unterstützen sie dann beispielsweise die Entscheidun- 1930 gen von Sachbearbeiter:innen im Jobcenter. Entscheidungen 1931 über eine Kreditvergabe werden heute oft vollautomatisch 1932 von Algorithmen getroffen. Auch im sogenannten High-Fre- 1933 quency-Trading (HFT) entscheiden sich selbst verbessernde 1934 Algorithmen in Sekundenbruchteilen über den Kauf oder Ver- 1935 kauf von Finanzprodukten. 1936 KÜNSTLICHE INTELLIGENZ (KI) bezeichnet ein 1937 seit 1956 bestehendes Forschungsgebiet der Informatik. Die 1938 Gründungsväter4 der KI waren damals überaus selbstsicher 1939 davon überzeugt, innerhalb kürzester Zeit menschenähnliche 1940 Intelligenz, verstanden als generelle Problemlöse- oder Ent- 1941 scheidungsfähigkeit, nachbilden zu können. Wie die Geschichte 1942 zeigt, sind manche Systeme über 60 Jahre später zwar sehr 1943 gut darin, GO zu spielen und Quizfragen zu beantworten; von 1944 menschenähnlichen kognitiven Fähigkeiten sind die Systeme 1945 jedoch auch 2020 noch weit entfernt. Deswegen wurde dazu 1946 übergegangen, zwischen starker und schwacher KI zu unter- 1947 scheiden: starke KI liegt noch in ferner Zukunft, mit schwacher 1948 KI wird die Spezialisierung auf ganz konkrete Probleme 1949 bezeichnet, welche „intelligent“ gelöst werden sollen. Solche 1950 hochspezialisierten Systeme können dann jeweils zum Bei- 1951 spiel erfolgreich Computerspiele bestreiten, Sprache verste- 1952 hen oder Objekte in Bildern erkennen. Der Intelligenzbegriff 1953 ist traditionell sehr uneindeutig. Der vom Informatiker Alan 1954 Turing entworfene „Turing Test“ definiert eine Maschine als 1955 intelligent, wenn ein Menschen im Chatkontakt mit dieser 1956 Maschine und einem anderen Menschen nicht zwischen die- 1957 sen unterscheiden kann (Turing 1950: 433–460). Aus einer 1958 soziologischen Perspektive betrachtet, zeichnet intelligente 1959 Akteur:innen eher die Fähigkeiten aus, in einer komplexen 1960 Umwelt in wechselseitiger Abhängigkeit mit Anderen zu 1961 kooperieren. Der Name des Forschungsgebiets gibt also ein Algorithmische Entscheidungssysteme 68 1962 mehrdeutiges Ziel vor, sorgt mit Science-Fiction Assoziatio- 1963 nen allerdings für viele Missverständnisse. 1964 Ein Teilgebiet der KI ist das MASCHINELLE LER- 1965 NEN. Das Ziel ist hier, Algorithmen so zu gestalten, dass sie 1966 in der Lage sind aus Erfahrungen zu „lernen“, also sich mit 1967 neuen Informationen selbst zu verbessern. Statt eine exakte 1968 Schritt-Für-Schritt Anleitung zur Lösung eines bestimmten 1969 Problems zu benötigen, wird die Erstellung der Anleitung oder, 1970 wie oben beschrieben, der Vorgang der Übersetzung von Ein- 1971 in Ausgabedaten, dem Algorithmus in Teilen selbst überlassen. 1972 Seit 2012 sind künstliche neuronale Netze die bekanntesten 1973 und auch erfolgreichsten Modelle des maschinellen Lernens 1974 und der KI. Weil diese Netze teilweise sehr viele (tiefe) „Schich- 1975 ten“ haben, in welchen die Eingabedaten immer weiter „über- 1976 setzt“ werden, wird hier auch von deep learning gesprochen. 1977 Beim überwachten Lernen5 „lernt“ ein solches Netz in der Trai- 1978 ningsphase6 anhand einer riesigen Anzahl von Beispieldaten 1979 (Stichwort Big Data) beispielsweise – in diesem Fall relativ 1980 unproblematisch – bestimmte Tierarten in Bildern zu erken- 1981 nen. Ein einmal trainiertes Netz ist nach Überprüfung der Feh- 1982 lerrate dann für den Einsatz auf neue Bilder anwendbar und 1983 liefert Wahrscheinlichkeitswerte für jede vorher trainierte 1984 Tierart im Bild. Dieses Zuweisen von Wahrscheinlichkeitswer- 1985 ten wird oft auch als „Voraussage“ (engl. prediction) bezeich- 1986 net. Eine Art extremes Beispiellernen und grundsätzlich ver- 1987 schieden von der Art, wie Menschen lernen. Ein Kind muss 1988 sich glücklicherweise keine Millionen Katzenbilder anschauen, 1989 um eine Katze zu erkennen. Das Verfahren wird vor allem im 1990 Bereich der Objekterkennung in Bildern (z.B. autonomes Fah- 1991 ren), dem Übersetzen von Texten (z.B. DeepL) oder der Sprach- 1992 verarbeitung (z.B. SIRI, Alexa) relativ erfolgreich eingesetzt.7 1993 Diese Systeme sind fast immer eine black box. Zum einen, weil 1994 Unternehmen die Quellcodes ihrer Software fast nie offenle- 1995 gen. Zum anderen, weil im Beispiel von selbstlernenden neuro- 1996 nalen Netzen nicht einmal die Programmierer:innen genau 1997 verstehen können, was genau ein solches System lernt, wel- 1998 che Zwischenschritte vom Eingangsbild zur schlussendlichen 1999 Klassifikation führen. 2000 DATE N werden unter anderem wegen ihrer Anwen- 2001 dung in der oben genannten Art von maschinellen Lernver- 2002 fahren teilweise als „das neue Öl“ der digitalen Ökonomie 2003 bezeichnet. Das ist auch der Grund, warum viele Unterneh- 2004 men ein so großes Interesse an möglichst allen Daten haben, 2005 die sie in die Finger bekommen können. Gespeichert wird erst 2006 mal alles, in der Hoffnung es irgendwann nutzen zu können. 2007 Maschinelle Lernverfahren wie oben beschrieben funktionie- 2008 ren nur, wenn es die entsprechenden Beispieldaten gibt; also 2009 etwa Millionen Tierbilder, die auch vorher als solche von Men- 2010 schen gekennzeichnet worden sind. Wenn ihr im Internet 2011 schon einmal sogenannten „Captchas“ begegnet seid, über- 2012 nehmt ihr damit genau diese Art von Arbeit – dem soge- 2013 nannten labeln oder kennzeichnen von Beispieldaten. Neben 2014 allgemeinen Daten sind personenbezogene Daten für Unter- 2015 nehmen besonders interessant. Für die Individualisierung im 2016 consumer-Bereich oder eben in der staatlichen Verwaltung 2017 werden diese bereits vielfältig genutzt. Das Grundprinzip ist 2018 immer ähnlich: große Mengen an Beispieldaten werden als 2019 repräsentativ angenommen, neue „Fälle“ werden anhand die- 2020 ser Repräsentationen eingeordnet, kategorisiert, bewertet. 2021 Ein Problem ist hier oft die Diversität der Datensätze. Bei- 2022 spielsweise hat Joy Buolamwini, Forscherin am MIT (Massa- 2023 chusetts Institute of Technology), in einem Forschungsprojekt 2024 nachgewiesen, dass Gesichtserkennungssysteme vor allem Phillip Lücking — Automatisierte Ungleichheit 69 2025 mit Bildern von weißen, männlichen Gesichtern trainiert wur- 2026 den und so die Erkennung für weibliche BPoC selten oder nie 2027 funktionierte (Buolamwini & Gebru 2018). Ein weiteres Prob- 2028 lem sind die Besitzverhältnisse im Hinblick auf die Datensätze: 2029 als lukrative Kapitalanlage sind sie fast immer das Privat- 2030 eigentum von Unternehmen und dementsprechend unter 2031 Verschluss (u.a. Zuboff 2018). Beim Beispiel der Dialekt- 2032 erkennungssoftware lässt sich weder überprüfen, welche 2033 Sprachaufnahmen als Trainingsdaten ausgesucht wurden, 2034 noch wie genau der Algorithmus programmiert wurde. Gene- 2035 rell lässt sich das Prinzip des Lernens anhand von existieren- 2036 den Beispieldaten auch noch unter einem anderen Gesichts- 2037 punkt kritisieren. Denn selbst wenn es eines Tages gelänge, 2038 Datensätze sowohl divers als auch transparent zu gestalten, 2039 so werden durch diese Verfahren bestehende Verhältnisse 2040 potentiell zementiert und reproduziert. Das oben bereits 2041 genannte System des AMS in Österreich schätzt beispiels- 2042 weise die Aussicht auf Integration in den Arbeitsmarkt immer 2043 nur anhand von bestehenden, also historischen Daten ein. In 2044 einer patriarchalen, rassistisch strukturierten Gesellschaft 2045 sind die Aussichten in dieser Hinsicht für gebildete, weiße 2046 Österreicher tatsächlich besser. Mit dem Einsatz dieser Sys- 2047 teme werden diese Verhältnisse mit technischen Mitteln ver- 2048 objektiviert und immer weiter reproduziert, die Gegenwart 2049 wird in die Zukunft projiziert. Das System funktioniert also gar 2050 nicht falsch, sondern reproduziert einen Teilbereich gesell- 2051 schaftlicher Realitäten. Datenbasierten algorithmischen Ent- 2052 scheidungssystemen lässt sich somit ein tendenzieller Kon- 2053 servativismus attestieren; zumindest wenn sie so eingesetzt 2054 werden, wie es heute üblich ist.

3 Für eine Übersicht bietet sich der Atlas der Automa- tisierung von Algorithm Watch an, eine NGO welche u.a. von der Bertelsmann Stiftung gefördert wird: https://algorithmwatch. org/out-now-atlas-of-automation/. 4 Auch heute sind in Deutschland nur ca. 16% Prozent aller KI-Fachkräfte nicht cis-männlich: https://www.gew.de/ aktuelles/detailseite/neuigkeiten/nur-wenige-frauen-sind-im-ki- bereich-taetig/. 5 Überwachtes Lernen bedeutet, dass eine definierte Ausgabe existiert und so laufend überwacht werden kann, ob ein Algorithmus „richtig“ lernt. Es gibt noch das „unüberwachte Lernen“ und das „Verstärkungslernen“ mit etwas anderer Funktionsweise für nicht klar definierbare Ausgaben. 6 Das Trainieren von solchen Modellen ist enorm ressourcenintensiv – ein aktuelles, extremes Beispiel aus der künstlichen Sprachverarbeitung kostet pro Training um die 150.000$ und zeichnet sich laut einer Studie von 2019 durch einen C02-Fußabdruck-Äquivalent von circa 5 Autos gerechnet auf ihre gesamte Lebenszeit inklusive Herstellungsprozess und Kraftstoff aus. Siehe Strubell et al. (2019). 7 Die besten Algorithmen haben 2017 bei der standard- isierten ImageNet Datenbank mit ca. 14 Millionen annotierten Bildern und 20.000 Kategorien mit einer Erfolgsrate von 95% ein vorläufiges Maximum erreicht.

Algorithmische Entscheidungssysteme 70 EIN UNIVERSALES WERKZEUG? 2055 Wie beschrieben sind moderne algorithmische Entschei- 2056 dungssysteme basierend auf Methoden des maschinellen 2057 Lernens prinzipiell universell anwendbar, egal ob auf Bilder, 2058 Sprachaufnahmen, persönliche Daten oder eine Kombination 2059 dieser Daten. Deswegen sind diese Verfahren extrem beliebt, 2060 lassen sich gut verkaufen und werden tatsächlich auch auf 2061 fast alles Mögliche angewandt. Ein Beispiel: trainiert auf die 2062 Profilfotos und Angaben zur Sexualität von Profilen einer 2063 Datingplattform sagt ein System der Arbeitsgruppe eines 2064 Professors in Stanford 2018 mit gewisser Zuverlässigkeit die 2065 Angaben zur Sexualität vorher nicht trainierter Profilfotos 2066 derselben Datingplattform voraus – das erste „AI-gaydar“ 2067 war geboren (Wang & Kosinski 2018). Selbstbewusst und in 2068 der Tradition westlicher, männlicher Wissenschaftstradition 2069 spekulierte der Professor in der Veröffentlichung über das 2070 Vorhandensein von gewissen, von Menschen nicht wahr- 2071 nehmbaren, Gesichtszügen, die Homosexualität „beweisen“. 2072 Kulturelle Marker wie etwa Gesichtspflege, gewisse Posen 2073 oder auch etablierte visuelle Standards in der Community 2074 genau dieser Datingplattform – und damit nicht auf eine ein- 2075 fache, konstante Formel reduzierbare Erklärungsansätze – 2076 wurden dabei wenig diskutiert; schließlich ist mann hier auf 2077 der Suche nach der Essenz von Sexualität – und einen objek- 2078 tiven Wissenszugriff darauf. Diverse Autor:innen wiesen in 2079 kritischen Beiträgen darauf hin, dass solche Anwendungsfälle 2080 unleugbare Ähnlichkeiten zur Pseudowissenschaft der Phy- 2081 siognomie aufweisen, welche bereits im vorletzten Jahrhun- 2082 dert als haltlos entlarvt wurde.8 Vertreter:innen dieser Strö- 2083 mung behaupteten damals, den Charakter eines Menschen 2084 aus dem Gesicht ableiten zu können und so auf wissenschaft- 2085 liche Art entweder auf- oder abwerten zu können. Diese und 2086 ähnliche Methoden waren (und sind es teilweise auch heute 2087 noch) die vermeintlich wissenschaftliche Grundlage von Ras- 2088 sismus und anderen kategorisierenden, auf Ein- und Ausgren- 2089 zung basierenden Ideologien. Nicht wenig überraschend ist, 2090 dass ähnliche Systeme wie das obige auch schon angewen- 2091 det wurden, um die „Kriminalität“ von Menschen anhand ihres 2092 Gesichts zu bestimmen (vgl. Wolf 2019). 2093 Verfahren des maschinellen Lernens, welche Daten 2094 in diese oder jene Kategorie einsortieren, erzeugen also unwei- 2095 gerlich Aussagen, welche durchaus als „Wahrheiten“ inter- 2096 pretiert werden (können) und diese so gewissermaßen auch 2097 (re)produzieren. Die tendenziell (technik)deterministische und 2098 essentialistische, also die Suche nach tieferen, letzten und 2099 unabänderlichen Wahrheiten bezüglich (sozialer) Phänomene 2100 und der Glaube, dass Technik diese aufdecken kann, erfährt 2101 dank maschinellen Lernverfahren eine Art Revival.9 Dabei ist 2102 klar, dass diese Verfahren aber maximal Korrelationen, also 2103 lose, lokale Zusammenhänge zwischen – im obigen Beispiel 2104 – Profilbild und sexueller Orientierung oder – im Beispiel der 2105 Dialekterkennungssoftware – zwischen Sprachaufnahme 2106 und Herkunftsland finden. Dabei ist wichtig zu bemerken, 2107 dass auch diese lauter Einschränkungen unterworfen sind: Phillip Lücking — Automatisierte Ungleichheit 71 2108 erstens, dass, wie jede:r Erstsemester:in der Statistik lernt, 2109 sich Kausalitäten nicht aus Korrelationen ableiten lassen. 2110 Zweitens sind sie beschränkt auf beispielsweise genau die 2111 eine Datingplattform zu der Zeit der Datenaufnahme; schließ- 2112 lich wandeln sich beispielsweise soziale, visuelle Codes mit 2113 der Zeit und können sich auch von Community zu Community 2114 stark unterscheiden. Auch hier ist der im vorherigen Absatz 2115 erwähnte, konservative Charakter von datenbasierten algo- 2116 rithmischen Entscheidungssystemen erkennbar.

8 Zum Weiterlesen (engl.): https://medium.com/@ blaisea/physiognomys-new-clothes-f2d4b59fdd6a. 9 Für eine auf Big Data bezogene Auseinandersetzung siehe bspw. Prietl (2019).

EINE FEMINISTISCHE KRITIK DER OBJEK TIVITÄT 2117 Aus feministischer Perspektive wurde der Zugriff auf ver- 2118 meintlich „tiefere Wahrheiten“ und „objektives Wissen“ mit- 2119 hilfe der Wissenschaft schon in den 80er Jahren von feminis- 2120 tischen Denker:innen als patriarchale Herrschaftstechnik 2121 kritisiert. So attestierte Donna Haraway westlichen, meist 2122 weißen Wissenschaftlern die Konstruktion eines „Blicks von 2123 Nirgendwo“ (engl. view from nowhere), um aus einer ver- 2124 meintlich neutralen Position der Wissenschaft Allgemeinheits- 2125 ansprüche oder Wahrheiten durchzusetzen. Dem setzt sie das 2126 Konzept von situiertem Wissen (situated knowledges) ent- 2127 gegen, welches besagt, dass jedes Wissen von spezifischen 2128 Körpern unter besonderen materiellen, kulturellen und politi- 2129 schen Bedingungen produziert wird und so auch verstanden 2130 werden muss. Diese Perspektive könnte auch auf die Unter- 2131 suchung von algorithmisch produziertem Wissen angewandt 2132 werden. Statt sich auf die Suche nach nur einer Objektivität 2133 zu begeben, entwickelte Sandra Harding das Konzept von 2134 starker Objektivität (engl. strong objectivity). Dieses betont, 2135 dass kontextualisiertes, in gegenseitiges Verhältnis gesetztes 2136 Wissen im Vergleich zu vermeintlich wertneutralem Wissen 2137 einen „stärkeren“ Objektivitätsanspruch hat – besonders von 2138 Personen, welche von Ungleichheitsverhältnissen betroffen 2139 sind. Das Wissen von intersektional betroffenen Personen 2140 erhält also einen privilegierten Zugang zu sonst unsichtbarem, 2141 im Forschung und Wissenschaft übersehenem Wissen und Algorithmische Entscheidungssysteme 72 2142 verdient nach Harding besondere Beachtung. So sollte dies 2143 bei der Untersuchung von algorithmischen Entscheidungs- 2144 systemen stets mitgedacht und so weit wie möglich einge- 2145 arbeitet werden. Die beiden Schlaglichter sind nur kleine Aus- 2146 schnitte einer möglichen feministischen Intervention in die 2147 Technisierung von Sozialstaat und Co. Sie sind sicher nicht die 2148 einzigen Konzepte, welche helfen können, sich aus feministi- 2149 scher Perspektive kritisch mit den Produktionen von algorith- 2150 mischen Entscheidungssystemen auseinander zu setzen und 2151 diese in ihren Kontext eingebettet zu verstehen. Dies steht im 2152 Gegensatz zu einer vermeintlich wissenschaftlichen, objekti- 2153 vierenden „Neutralisierung“ von zugrundeliegenden Wertur- 2154 teilen und Folgen von Technologien, welche dadurch beste- 2155 hende Machtverhältnisse zementieren. So wird im öffentlichen 2156 Diskurs oft von „Algorithmen“ gesprochen, wenn eigentlich 2157 das Zusammenspiel verschiedener Teile eines sozio-techni- 2158 schen Systems, also einer Mischung aus technischen und 2159 menschlich-sozialen Teilen, gemeint ist. Der oben erwähnte 2160 AMS Algorithmus ist aus einer ausdifferenzierten sozio-tech- 2161 nischen Perspektive betrachtet kein klar abgrenzbares Pro- 2162 gramm, sondern eher ein Netzwerk verschiedener Akteur:in- 2163 nen, ihrer Interessen, (historischer) Daten und so weiter. Die 2164 Vorannahmen bei der Entwicklung, die zugrundeliegenden 2165 Statistiken, die in die Berechnung einfließenden persönlichen 2166 Daten, die von der Berechnung ausgeschlossenen Daten, die 2167 überwiegend weißen Programmierer des Programms (Myers 2168 West et al. 2019), die zugrundeliegenden Interessen und Ziel- 2169 vorgaben des Unternehmens10 und des Staates; all dies spielt 2170 neben den Codezeilen eine beachtliche Rolle. Die Technolo- 2171 gien an sich wirken wie eine Art Neutralisierungsfilter, welche 2172 alles nicht-Technische verdecken können. „Algorithmus“ ist 2173 sozio-technisch betrachtet ein diffuser Begriff und wird in der 2174 Öffentlichkeit doch oft implizit mit etwas rein Technischem, 2175 vermeintlich Neutralem und sich unserem Zugriff entziehen- 2176 den assoziiert.11 Dem gilt es etwas entgegen zu setzen.

10 Der Arbeitsmarktservice in Österreich ist wie das Job- center in Deutschland nach dem Vorbild eines klassischen Unternehmens organisiert. 11 Wie Algorithmen im öffentlichen Diskurs legitimiert werden findet sich am Beispiel der o.g. Dialekterkennungs- software des BAMF bei Keiner (2020).

AUSBLICK 2177 Perspektivisch wird sich das Einsatzgebiet algorithmischer 2178 Entscheidungssysteme aller Wahrscheinlichkeit nach weiter 2179 vergrößern. Autohersteller:innen nutzen die Systeme für die 2180 Verarbeitung von Sensoren, um autonomes Fahren zu ermög- 2181 lichen, Werbetreibende sortieren anhand von Verhaltensdaten 2182 Konsument:innen in immer ausdifferenzierte Zielgruppen, 2183 Plattformbetreiber:innen erzeugen individuelle Feeds, um Nut- 2184 zer:innen möglichst lange bei der Stange zu halten, Sicher- 2185 heitsbehörden setzen die Technologie ein, um verdächtige Phillip Lücking — Automatisierte Ungleichheit 73 2186 Menschen zu identifizieren und zu überwachen und so weiter. 2187 Während sich im Fall des autonomen Fahrens noch argumen- 2188 tieren ließe, dass bei beispielsweise der Unterscheidung von 2189 Fußgänger:innen und Verkehrsschildern unverdächtige Ent- 2190 scheidungen über die Bewegung eines Fahrzeugs getroffen 2191 werden – so diese denn zuverlässig funktionieren – so wird es 2192 mit Blick auf Entscheidungen bezüglich fundamentalen Rech- 2193 ten und Bedürfnissen (meist sowieso schon marginalisierter) 2194 Personen betreffend sehr viel problematischer. Die hier auf- 2195 geführten Beispiele und unzählige weitere Berichte machen 2196 eine kritische öffentliche Debatte unersetzlich. Leider fehlt es 2197 an gehörten kritischen Stimmen aus der Informatik und in der 2198 Öffentlichkeit an Wissen über die Funktionsweise und Hinter- 2199 gründe von Technologien. 2200 Sind algorithmische Entscheidungssysteme also 2201 rundheraus abzulehnen, nichts weiter als weitere Herrschafts- 2202 instrumente zur Festigung bestehender Ungleichheitsverhält- 2203 nisse? Unter den gegebenen Bedingungen scheint sich diese 2204 Schlussfolgerung aufzudrängen. Allerdings sollte dabei nicht 2205 aus den Augen verloren werden, dass Technologien beste- 2206 hende Machtverhältnisse auch „nur“ spiegeln und diese durch 2207 massenhafte Anwendung verstärken können. Sie sind gewis- 2208 sermaßen Resultate politischer Auseinandersetzungen und 2209 damit umkämpftes Terrain. Eine demokratische Aneignung 2210 ist theoretisch möglich. Die in die Technologien eingeschrie- 2211 benen, codierten Herrschaftsverhältnisse in KI, Big Data 2212 und Co. müssen verstanden und decodiert, gewissermaßen 2213 gehackt werden. Dazu bedarf es eines ausdifferenzierten Ver- 2214 ständnisses dieser Technologien, welche nicht als isolierte 2215 Phänomene, neutrale Werkzeuge oder fremdartige Artefakte 2216 behandelt werden sollten, sondern als in Technik gegossene 2217 Gesellschaftsverhältnisse, welche unter basisdemokratische 2218 Kontrolle gebracht werden können. Um zu einem kontextsen- 2219 sitiven, intersektionalen Verständnis zu gelangen, ist die Ein- 2220 beziehung und Beteiligung gerade betroffener, marginali- 2221 sierter Personengruppen im Sinne einer partizipativen Tech- 2222 nikanalyse und -entwicklung zentral und ein möglicher erster 2223 Schritt. Ebenso prominent sollte die Klärung der Frage stehen, 2224 ob algorithmische Entscheidungssysteme – nur weil sie vor- 2225 geblich universal eingesetzt werden können – überhaupt in 2226 allen Bereichen eingesetzt werden sollten. Danach könnte 2227 eine basisdemokratische, partizipative Technikentwicklung 2228 von den Positionen der Betroffenen im Besonderen und der 2229 Gesellschaft im Allgemeinen ausgehend die Erfahrungen und 2230 Bedürfnissen möglichst diverser Positionen einbeziehen. Aus- 2231 gehend von einem sorgfältigen Verständnis bestehender Ver- 2232 hältnisse und unter Bezugnahme auf reale Bedürfnisse Vieler 2233 lässt sich KI durchaus feministisch denken und entwickeln. Im 2234 Gegensatz zu den universalistischen, verobjektivierten Annah- 2235 men von Silicon Valley und Co., für welche Technik immer die 2236 „richtige“ Lösung zu sein scheint, kann eine feministische Tech- 2237 nikentwicklung ein tastendes Voranschreiten ohne dogmati- 2238 sche Vorannahmen sein, welches die heute beobachtbaren 2239 negativen Folgen einer neoliberalen, kapitalistischen Technik- 2240 entwicklung umgehen kann.

Phillip Lücking arbeitet als sozialwissenschaftlicher Informatiker und forscht zur Reproduktion sozialer Ungleichheiten durch algorithmische Systeme, emanzipatorischen Algorithmen und einer postkapitalistischen KI für alle.

Algorithmische Entscheidungssysteme 74 LITER AT UR BAMF (2018) „eGovernment Preisverleihung: 1. Platz“, in: BAMF Meldungen, 21.06.2018, online unter: https://www.bamf.de/SharedDocs/ Meldungen/DE/2018/20180621-am-egovernment.html [abgerufen am 4.9.2020]. Biselli, Anna (2018) „Eine Software des BAMF bringt Menschen in Gefahr“, in: Vice, 20.08.2018, online unter: https://www.vice.com/de/article/ a3q8wj/fluechtlinge-bamf-sprachanalyse-software-ent- scheidet-asyl [abgerufen am 4.9.2020]. Buolamwini, Joy & Gebru, Timnit (2018) „Gender shades: Intersectional accuracy disparities in commercial gender classification“, Proceedings of the 1st Conference on Fairness, Accountability and Transparency, PMLR 81, 77–91. Der Spiegel (2018) „Google entschuldigt sich für fehlerhafte Gesichererkennung“, in: Der Spiegel, 02.07.2015, online unter: https://www.spiegel. de/netzwelt/web/google-fotos-bezeichnet-schwarze-als- gorillas-a-1041693.html [abgerufen am 4.9.2020]. Eubanks, Virginia (2018) Automating inequality: How high-tech tools profile, police, and punish the poor, New York: St. Martin’s Press. Fanta, Alexander (2018) „Österreichs Jobcenter richten künftig mit Hilfe von Software über Arbeitslos“, in: Netzpolitik.org, 13.10.2018, online unter: https://netzpolitik.org/2018/oesterreichs-jobcenter-rich- ten-kuenftig-mit-hilfe-von-software-ueber-arbeitslose/ [abgerufen am 4.9.2020]. Köver, Chris (2019) „Gesichtserkennung: Kritik macht Algorithmen genauer, nicht nur für weiße Männer“, in: Netzpolitik.org, 7.2.2019, online unter: https://netzpolitik.org/2019/gesichtserkennung-kritik-macht- algorithmen-genauer-nicht-nur-fuer-weisse-maenner/ [abgerufen am 4.9.2020]. Morozov, Evgeny (2013) Smarte neue Welt: digitale Technik und die Freiheit des Menschen. München: Karl Blessing Verlag. Myers West, Sarah; Whittaker, Meredith & Crawford, Kate (2019) „Discriminating Systems“, in: AI NOW, online unter: https://ainowinsti- tute.org/discriminatingsystems.pdf [abgerufen am 4.9.2020]. Prietl, Bianca (2019) „Die Versprechen von Big Data im Spiegel feministischer Rationali- tätskritik“. GENDER–Zeitschrift für Geschlecht, Kultur und Gesellschaft 11(3), 11–25. Keiner, Alexandra (2020) „Algorithmen als Rationalitätsmythos“, in: Leineweber, Christian/de Witt, Claudia (Hg.), Algorithmisierung und Autonomie im Diskurs: Perspektiven und Reflexionen auf die Logiken automatisierter Maschinen, Hagen: FernUniversität in Hagen, 47–67. Strubell, Emma; Ganesh, Ananya & McCallum, Andrew (2019) „Energy and policy considerations for deep learning in NLP“, arXiv preprint arXiv:1906.02243. Turing, Alan (1950) „Computing Machinery and Intelligence“, in: Mind 59 (236), 433–460. Wang, Yilun & Kosinski, Michael (2018) „Deep neural networks are more accurate than humans at detecting sexual orientation from facial images“, in: Journal of personality and social psychology 114(2), 246–257 . Phillip Lücking — Automatisierte Ungleichheit 75 Wimmer, Babarar (2020) „AMS-Algorithmus sollte ganz abgedreht werden“, in: futurezone.at, 24.8.2020, online unter: https://futurezone.at/netzpolitik/ams- algorithmus-sollte-ganz-abgedreht- werden/401009924 [abgerufen am 12.10.20]. Wolf, Christian (2019) „Was steht uns ins Gesicht geschrieben?“, in: Spektrum.de, 18.08.2019, online unter: https://www.spektrum.de/news/emotionen- kriminalitaet-und-charakter-was-kann- gesichtserkennung-aus-dem-gesicht- lesen/1629144 [abgerufen am 4.9.20]. Zuboff, Shoshona (2018) Das Zeitalter des Überwachungskapitalismus, Frankfurt/New York: Campus Verlag.

Algorithmische Entscheidungssysteme 5

KI UND BESCHAFTIGUNG : DAS ENDE MENSCHLICHER VORURTEILE ODER DER BEGINN VON DISKRIMINIERUNG 2.0? • DENIZ ERDEN

77 2241 In der Vergangenheit wurden Frauen im Bereich der bezahlten 2242 Arbeit diskriminiert. Trotz Verbesserungen ist der gleichbe- 2243 rechtigte Zugang zu dieser wichtigen wirtschaftlichen Res- 2244 source bisher nicht erreicht worden. Nicht-Diskriminierungs- 2245 Regelungen sind zwar inzwischen Teil vieler nationaler wie 2246 internationaler rechtlicher Rahmenbedingungen, allerdings 2247 noch nicht im ausreichenden Maße. Mittlerweile hat sich der 2248 Einsatz von Künstlicher Intelligenz (KI), genauer gesagt von 2249 Machine-Learning-Algorithmen, Algorithmen des maschinel- 2250 len Lernens, vor allem im Zusammenhang wichtiger Entschei- 2251 dungsprozesse, wie z.B. bei der Einstellung für einen Arbeits- 2252 platz, als neue Bedrohung herausgestellt, die Anlass zu Bedenken 2253 hinsichtlich diskriminierender Folgeschäden gibt. 2254 Die Automatisierung bei Personalentscheidungen 2255 wie Einstellungen oder Beförderungen, wurde als Instrument 2256 zur Bekämpfung menschlicher Vorurteile und subjektiv dis- 2257 kriminierender Entscheidungen eingeführt, welche bekann- 2258 termaßen systemischen Mustern gegenüber benachteiligten 2259 Gruppen folgen. Diese Bekämpfung von Vorurteilen sowie 2260 diskriminierender Entscheidungen zeitigt jedoch nur begrenz- 2261 ten Erfolg. Vielmehr kam mit der Einführung automatisierter 2262 Personaleinstellungen eine neue Form der Bedrohung mittels 2263 maschinell erlernter Algorithmen ins Spiel, denn sie sind 2264 datengesteuert (Kim 2017). Und Daten, wie feministische und 2265 andere kritische Wissenschaftler*innen seit Langem zeigen, 2266 sind nicht neutral. Neben der Einführung neuer Formen von 2267 Vorurteilen ist es deshalb wahrscheinlich, dass automatisierte 2268 Entscheidungen, die auf Daten basieren, die bestehende Vor- 2269 eingenommenheit in der Gesellschaft aufrechterhalten und 2270 verstärken, selbst wenn sie gut gemeint sind. 2271 Es gibt ein scheinbar wachsendes Ökosystem, in 2272 dem mehrere Anbieter Lösungen für Vielfalt und Integration 2273 als Dienstleistung anbieten und versprechen, dass ihre unvor- 2274 eingenommenen Modelle zu integrativeren Entscheidungen 2275 und vielfältigeren Teams führen werden. Einige Studien haben 2276 sich bereits damit befasst, wie solche Technologien funktio- 2277 nieren (Bogen & Rieke 2018; Langenkamp et al. 2020; Rag- 2278 havan et al. 2020; Sánchez-Monedero et al. 2020; Tambe et 2279 al. 2020). Ich werde von diesen Studien profitieren, um die 2280 Herausforderungen zu verstehen, die diese technologischen 2281 Lösungen vermutlich in Angriff nehmen, ungelöst lassen, auf- 2282 rechterhalten oder verstärken werden. Daher ist es wichtig, 2283 die Gründe für die frühere Diskriminierung zu identifizieren 2284 und zu erkennen, wie sie sich in Modelle einschleichen, die 2285 diese Vergangenheit überwinden wollen. Das Gesetz in seiner 2286 Gesamtheit an Regelungskomplexen wurde instrumentali- 2287 siert, um Frauen und andere benachteiligte Gruppen sowohl 2288 zu ermächtigen, als auch unterzuordnen. Ich halte es für nütz- 2289 lich, die Art und Weise der Regelsetzung im juristischen 2290 Bereich mit der Kodierung von machine-learning Algorithmen 2291 zu vergleichen. Beide wären in der Pflicht, faire Ergebnisse für 2292 alle zu erzielen, hätten aber sofort Probleme bei der Anwen- 2293 dung allgemeiner Regeln auf eine Vielzahl unterschiedlicher 2294 Realitäten. Hierbei geht es nicht darum, dem Nihilismus zum 2295 Opfer zu fallen, sondern um die Suche nach den besten Werk- 2296 zeugen, die zusammenwirken, um sich gegenseitig stärken zu 2297 können. Darüber hinaus ist es förderlich auch zu untersuchen, 2298 wie Antidiskriminierungsrecht, Datenschutzrecht und Tech- 2299 nologie ineinandergreifen, um diesen Herausforderungen in 2300 einem europäischen Kontext zu begegnen.

Algorithmische Entscheidungssysteme 78 KÜNSTLICHE IN TELLIGENZ IN HUMAN RESSOURCES 2301 Immer mehr Arbeitgeber*innen verwenden Techniken des 2302 machine learnings, welche Muster in den ihnen zur Verfügung 2303 stehenden Daten (Schulungsdaten) erkennen, um „Einstel- 2304 lungsmodelle“ mit vorausschauenden Ergebnissen zu erstellen. 2305 Die Nutzung prädiktiver Analysen und automatisier- 2306 ter Entscheidungen ist nicht nur für Arbeitgeber*innen attrak- 2307 tiv, die Inklusion und Vielfalt erstreben. Einstellungsverfahren 2308 sind in der Regel zeitaufwendig, und je mehr Zeit sie in Anspruch 2309 nehmen, desto mehr Unternehmensressourcen werden für 2310 diese Aufgaben bereitgestellt. Darüber hinaus soll die prä- 2311 diktive Analyse dabei helfen, bessere Einstellungsentschei- 2312 dungen zu treffen, was dazu führen kann, besser geeignete 2313 Teammitglieder einzustellen, Diebstahl zu verhindern und die 2314 Mitarbeiter*innenzahl zu erhöhen (Bogen & Rieke 2018). 2315 Es ist wichtig zu bedenken, dass es nie eine einzige 2316 Entscheidung über die Einstellung oder Nicht-Einstellung von 2317 Bewerber*innen gibt, sondern eine kumulative Reihe kleiner, 2318 die in verschiedenen Schritten getroffen werden, wie z.B. die 2319 Bekanntgabe einer offenen Stelle, die Bewertung von Quali- 2320 fikationen oder die Vorauswahl für das Vorstellungsgespräch. 2321 Es gibt verschiedene Anbieter*innen auf dem Markt, die sich 2322 auf diese unterschiedlichen Schritte spezialisiert haben, die 2323 Arbeitgeber*innen für die verschiedenen Schritte des Einstel- 2324 lungsverfahrens wählen können. Ein Blick auf diese Vielfalt 2325 kann helfen zu verstehen, wie die Automatisierung bei der 2326 Einstellung funktioniert. Der „hiring funnel“, zu deutsch „Ein- 2327 stellungs-Trichter“, wird häufig verwendet, um zu zeigen, wie 2328 die Anzahl der Kandidat*innen durch Sourcing, Screening, 2329 Interviews und Auswahlstufen reduziert wird. Der Bericht der 2330 in Washington ansässigen Non-Profit-Organisation Upturn 2331 über Einstellungsalgorithmen gibt Einblick in Billigkeit und 2332 Befangenheit in diesen Phasen, von denen der folgende Teil 2333 weitgehend profitiert (Bogen & Rieke 2018). 2334 Während der Sourcing-Phase wird ein Bewerber*in- 2335 nenpool angelegt. Einige Anbieter*innen1 bieten Lösungen für 2336 die Analyse der Sprache von Stellenbeschreibungen an, um 2337 sie für bestimmte Gruppen attraktiver zu machen, einschließ- 2338 lich eines „Gender-Tone-Meters“, der anzeigt, ob der Text für 2339 ein Geschlecht abschreckend ist. Arbeitgeber*innen nutzen 2340 auch alle verfügbaren Anzeigetechnologien, die Behavioral 2341 Targeting und Microtargeting für bestimmte demographische 2342 Gruppen ermöglichen. Potenzielle Mitarbeiter*innen können 2343 über zentralisierte Anzeigenetzwerke auf Job-Plattformen, 2344 über Suchmaschinen, auf Social Media, über individuelle Web- 2345 sites und mobile Apps gezielt angesprochen werden. Zur 2346 Bestimmung solcher Nutzer*innengruppen, die gezielt ange- 2347 sprochen oder ausgeschlossen werden sollen, werden übli- 2348 cherweise Daten verwendet, die von den Nutzer*innen zur 2349 Verfügung gestellt werden, sowie Daten, die aus ihren Online- 2350 Aktivitäten abgeleitet werden. Es gibt jedoch Beispiele, in Deniz Erden — KI und Beschäftigung 79 2351 denen weiblichen und männlichen Arbeitssuchenden diese 2352 Anzeigen unterschiedlich zugestellt wurden, z.B. erhielten 2353 männliche Nutzer mehr Anzeigen, die für hochbezahlte Stellen 2354 werben, oder weibliche Nutzerinnen erhielten weniger häufig 2355 eine Anzeige für MINT-Stellen (Mathematik, Informatik, Natur- 2356 wissenschaft und Technik) (Wachter 2020). 2357 Ein weiterer Prozess ist das Matching, das durch so 2358 genannte Recommender-Systeme durchgeführt wird, die ent- 2359 weder auf inhaltsbasierter oder kollaborativer Filterung beru- 2360 hen. Ersteres beurteilt, woran User*innen interessiert zu sein 2361 scheinen, indem Online-Aktivitäten untersucht werden, wäh- 2362 rend letzteres auf der Grundlage der geschlussfolgerten Inte- 2363 ressen von Personen, die den User*innen ähnlich sind, vorher- 2364 sagt, woran sie vermutlich interessiert sind. Diese beiden 2365 Filterverfahren sind beispielsweise in der Lage, Frauen von 2366 Führungspositionen fernzuhalten. Erstens könnten Frauen 2367 aufgrund ihrer tatsächlichen Fähigkeiten auf Stellen in niedri- 2368 geren Positionen klicken, so dass ein Modell, das nur aus die- 2369 sem Verhalten lernt, ihre Positionen, die ihren Fähigkeiten ent- 2370 sprechen, möglicherweise nicht zeigt. Andererseits könnte 2371 eine Frau, die sich für Führungspositionen interessiert auch 2372 aus der Matching-Gruppe ausgeschlossen werden, weil andere 2373 Frauen mit ihren Fähigkeiten kein Interesse an solchen Posi- 2374 tionen zeigen (Bogen & Rieke 2018). 2375 In der Screening-Phase werden die Bewerber*innen 2376 beurteilt, um festzustellen, ob sie die erforderlichen Qualifika- 2377 tionen oder Spitzenleistungen erbringen. Während Bewer- 2378 ber*innen, die als nicht qualifiziert gelten, abgelehnt werden, 2379 gehen die stärksten Bewerber*innen in die nächste Phase 2380 über. Chatbots, die Natural Language Processing (NLP), natür- 2381 liche Sprachverarbeitung, verwenden, würden in dieser Phase 2382 Gespräche führen, um auf der Grundlage der von den Arbeit- 2383 gebenden vorgegebenen Kriterien zu entscheiden, ob die 2384 Bewerber*innen für die Stelle qualifiziert sind. Es gibt andere 2385 Beurteilungsinstrumente, die den Bewerber*innen Umfragen 2386 zur Selbsteinschätzung, Spiele und interaktive Aktivitäten 2387 anbieten, um ihre Persönlichkeitsmerkmale zu erforschen und 2388 sie mit den gewünschten Merkmalen der Arbeitgeber*innen 2389 zu vergleichen, die in der Regel auf den derzeitigen oder frü- 2390 heren Spitzenkräften basieren. 2391 In der Interview-Phase werden in der Regel Video-In- 2392 terviews mit Hilfe verschiedener Technologien wie Sprach- 2393 erkennung, Gesichts- und Stimmanalyse analysiert, um die 2394 zukünftige Arbeitsleistung der Bewerber*innen auf der Grund- 2395 lage der Leistungskennzahlen der Arbeitgeber*innen, die wie- 2396 derum von derzeit erfolgreichen Mitarbeiter*innen abgeleitet 2397 werden, vorherzusagen. Diese immer wiederkehrende Methode, 2398 aktuelle Mitarbeiter*innen als Beispiel zu nehmen ist kritisch 2399 zu betrachten, wenn ein Unternehmen einen Wandel anstrebt. 2400 Beispielsweise können sich Gesichtsausdrücke und ihre Bedeu- 2401 tungen in verschiedenen Kulturen unterscheiden. Lächeln gilt 2402 in Deutschland und China als intelligent, im Iran jedoch als 2403 unintelligent (Krys et al. 2014). In diesem Fall könnte das 2404 Modell, wenn es anhand der Daten der Top-Performer eines 2405 deutschen Unternehmens mit überwiegend deutschen Mit- 2406 arbeiter*innen geschult wurde, ein Muster des Lächelns auf- 2407 finden. Am Anfang mag dies wie ein neutrales Kriterium aus- 2408 sehen, jedoch könnte sich eine Person aus dem Iran während 2409 eines Interviews aus Angst, unintelligent zu wirken, vom 2410 Lächeln abhalten und deshalb eine negative Bewertung erhal- 2411 ten. Auch wird in vielen Kulturen der Blickkontakt mit dem 2412 anderen Geschlecht, insbesondere für Frauen, als negatives 2413 Attribut angesehen, und ein Algorithmus, der den Blickkon- Algorithmische Entscheidungssysteme 80 2414 takt als positives Attribut für Engagement und Selbstver- 2415 trauen nimmt, kann Frauen aus nicht-westlichen Kulturen 2416 diskriminieren. 2417 Die Auswahl-Phase richtet sich an die in die engere 2418 Wahl gezogenen Bewerber*innen, bei denen Background- 2419 checks durchgeführt werden sollen. Einige der neuen Tools, 2420 die in diesem Bereich angeboten werden, prognostizieren 2421 Kinderwünsche und daraus resultierende Betreuungsaktivi- 2422 täten oder das Risiko der Kandidat*innen, sich auf toxische 2423 Verhaltensweisen wie sexuelle Belästigung einzulassen, indem 2424 öffentlich zugängliche Inhalte analysiert werden, die diese 2425 Kandidat*innen in sozialen Medien oder Blogbeiträgen produ- 2426 ziert haben. Einige der Einstellungs-Tools in diesem Stadium 2427 helfen Arbeitgeber*innen dabei, die Wahrscheinlichkeit vor- 2428 herzusagen, mit der Kandidat*innen ein bestimmtes Angebot 2429 annehmen. Durch die Anpassung von Gehalt, Bonus und ande- 2430 ren Leistungen können sie ein Angebot so anpassen, dass es 2431 nicht abgelehnt werden kann. In diesem Fall kann das Modell 2432 beispielsweise aus dem bestehenden Gender Pay Gap lernen 2433 und ihn erfolgreich aufrechterhalten, indem Frauen niedrigere 2434 Gehälter angeboten werden (Bogen & Rieke 2018).

1 textio.com/products/recruiting

IST FRAUEN- FEINDLICHKEIT DURCH MASCHINEN VERLETZENDER ALS DURCH MITMENSCHEN? 2435 Algorithmen lernen aus Daten, die zwangsläufig historisch 2436 sind. Wie Feministinnen artikuliert haben, gibt es eine Reihe 2437 von Gründen, warum Frauen in der Vergangenheit von der 2438 Beschäftigung ausgeschlossen, segregiert und unterbezahlt 2439 wurden. Zunächst einmal hat die Beschränkung der Frauen 2440 auf die private Sphäre der Familie als patriarchalische Strate- 2441 gie der Kontrolle über Frauenkörper eine bedeutende Rolle bei 2442 der Ausgrenzung von Frauen aus der öffentlichen Sphäre 2443 gespielt (Walby 1990). Der Haushalt war das Privatleben der 2444 Männer, in dem sie eine Pause von der Geschichtsschreibung Deniz Erden — KI und Beschäftigung 81 2445 im öffentlichen Raum einlegten, und wo Frauen die Kinder 2446 betreuten und reproduktive Hausarbeit verrichteten. Dies 2447 wurde als Tugenden der Frauen angesehen, für die sie nicht 2448 bezahlt werden sollten. Im Gegensatz dazu wurde alles, was 2449 mit Technologie zu tun hat, als qualifizierte Arbeit verstan- 2450 den. Von der Erfindung der ersten landwirtschaftlichen Werk- 2451 zeuge bis zur Programmierung des ersten elektronischen 2452 Universalcomputers, ENIAC, wurden die Errungenschaften 2453 der Frauen in der Technologie jedoch nicht anerkannt und 2454 als Teil ihrer normalen Fertigkeiten wie Stricken oder Nähen 2455 betrachtet, von denen damals behauptet wurde, sie seien 2456 keine große Sache. 2457 Man kann viele Gerichtsurteile finden, die Frauen den 2458 Zugang zur Hochschulbildung und zur öffentlichen Repräsen- 2459 tation verweigern, ebenso wie solche, die diskriminierende 2460 Einstellungspraktiken billigen, die alle auf die delikate Natur 2461 von Frauen verweisen, die zum privaten Bereich gehören, wo 2462 sie sich auf die Kinderbetreuung und die Organisation des 2463 Haushalts konzentrieren sollten. Hier beanspruchte die Rechts- 2464 ordnung für sich, eine neutrale Tatsache für alle Frauen her- 2465 vorzuheben, die auf traditionellen Annahmen beruht und 2466 Blindheit gegenüber allen nicht-bürgerlichen Erfahrungen von 2467 Frauen widerspiegelt (Fredman 1997). Auf der anderen Seite 2468 arbeiteten innerhalb der Arbeiterklasse männliche Arbeiter 2469 bewusst in Gewerkschaften, um Frauen in häuslichen Pflich- 2470 ten zu halten, was ein weiterer Grund für die Unterordnung der 2471 Frauen an beiden Orten ist, welche sich so gegenseitig ver- 2472 stärken (Hartmann 1976). Die Ausgrenzung erfolgte auch in 2473 Form von Schutzgesetzen, die Frauen während der Schwan- 2474 gerschaft und Stillzeit von der Arbeit abhielten. Die Art und 2475 Weise, wie diese Gesetze gestaltet wurden, war eine Über- 2476 setzung des Modells „männlicher Ernährer – weibliche Betreu- 2477 erin“, welches die traditionelle genderspezifische Arbeitstei- 2478 lung auf dem Arbeitsmarkt widerspiegelt. Diese schwächere 2479 Position der Frauen auf dem Arbeitsmarkt schmälerte ihre 2480 Verhandlungsmacht und führte dazu, dass sie sich auf Nied- 2481 riglohnbranchen konzentrierten, was auch als Strategie zur 2482 Rechtfertigung dafür benutzt wurde, Frauen niedrigere Löhne 2483 als Männern zu zahlen, was andernfalls gegen die Gleichstel- 2484 lungsgrundsätze verstoßen würde, wenn sie die gleiche Arbeit 2485 verrichten und in der gleichen Fabrik arbeiten würden. Die 2486 feministische Forschung hat gezeigt, dass der Ausschluss von 2487 Frauen aus der Technologie auch eine Folge der männlichen 2488 Dominanz im Handwerk war, die sich während der industriel- 2489 len Revolution entwickelte (Wajcman 2009). Heute ist die 2490 genderspezifische Arbeitsteilung immer noch mit der Asso- 2491 ziation von Technologie, Männlichkeit und der Vorstellung 2492 davon verbunden, was als qualifizierte Arbeit gilt. 2493 Ein weiteres Phänomen des genderspezifischen 2494 Arbeitsmarktes ist die berufliche Segregation, die sich in zwei 2495 Kategorien unterteilt: Die horizontale Segregation bezieht 2496 sich auf die Tendenz von Frauen und Männern, in verschiede- 2497 nen Berufen tätig zu sein, während die vertikale Segregation 2498 sich auf die Tendenz von Frauen und Männern bezieht, in ver- 2499 schiedenen Positionen innerhalb desselben Berufs oder Unter- 2500 nehmens beschäftigt zu sein (auch bekannt als die soge- 2501 nannte „Gläserne Decke“). Heute können wir diesen Trend in 2502 Unternehmen beobachten, in denen die Personalabteilungen 2503 und die Callcenter überwiegend mit weiblichen Mitarbeiterin- 2504 nen besetzt sind, während die technischen Abteilungen und 2505 der Vertrieb überwiegend von Männern dominiert werden. Es 2506 überrascht nicht, dass letztere die besseren Wege zu Spitzen- 2507 positionen im Management sind. Darüber hinaus passen die Algorithmische Entscheidungssysteme 82 2508 Anforderungen dieser Positionen wie eine ununterbrochene 2509 Karriere, also täglich auf Vollzeitbasis und jederzeit für Reisen 2510 verfügbar zu sein, nicht zu den familiären Verpflichtungen. Die 2511 berufliche Segregation ist auch für die als Feminisierung von 2512 Berufen bezeichnete Tendenz verantwortlich, dass der Eintritt 2513 von Frauen zu einer Herabstufung der Bezahlung und des Sta- 2514 tus eines Berufs führt.2 2515 Wenn Frauen bereits so strukturell diskriminiert wur- 2516 den, warum gehen wir jetzt hart gegen Algorithmen und ihre 2517 Entwickler*innen vor? Und, wenn die Diskriminierung von 2518 Frauen auf dem Arbeitsmarkt so tief verwurzelt ist, wie kön- 2519 nen wir dann erwarten, dass einige Technologieanbieter*in- 2520 nen sie beheben? Um diese oft gehörten Fragen beantworten 2521 zu können, müssen wir uns genauer ansehen, (1) warum und 2522 wie maschinell erlernte Algorithmen diskriminieren, (2) wie 2523 sich diese von der Diskriminierung durch Menschen unter- 2524 scheidet, und (3) wie wir die Schäden durch maschinelle Vor- 2525 urteile mildern können. Aufgrund des begrenzten Umfangs 2526 und des begrenzten Platzes ist es mein Ziel, hier einen Einblick 2527 in die Beantwortung dieser Fragen zu geben. Daher werden 2528 möglicherweise nicht alle Gründe abgedeckt, und für Exper- 2529 ten*innen auf verwandten Gebieten könnte es sich eher ver- 2530 einfachend lesen. 2531 Das Ziel der Machine-Learning-Algorithmen ist es, 2532 etwas vorherzusagen oder abzuschätzen (z.B. ob eine E-Mail 2533 Spam ist, ob Bewerber*innen gute Mitarbeiter*innen wären 2534 oder nicht). Hierfür muss definiert werden, was vorhergesagt 2535 werden soll (Spam-E-Mail, gute Mitarbeiter*innen), und es 2536 muss eine Möglichkeit gefunden werden, dies zu messen (Lehr 2537 & Ohm 2017). Bei Einstellungsalgorithmen ist die Zielvariable 2538 in der Regel „gute*r Mitarbeiter*in“, was sehr schwer zu mes- 2539 sen ist. Zudem ist es ein Konstrukt, das in Form eines körper- 2540 lich gesunden cis-Geschlechts-Mannes ohne häusliche Be- 2541 lastung geformt wurde. Arbeitgeber*innen müssen einige 2542 messbare Ergebnisse auf der Grundlage von Fachkenntnissen 2543 herausfinden, wie z.B. höhere Leistungsbewertungen, längere 2544 Betriebszugehörigkeit oder Verkaufszahlen als gute Indikato- 2545 ren für gute Mitarbeiter*innen (Barocas & Selbst 2016); all 2546 dies würde wiederum Qualitäten widerspiegeln, die struktu- 2547 rell belastete gute Mitarbeiter*innen möglicherweise nicht 2548 aufweisen können. 2549 Die vorliegenden Daten werden dann in zwei Daten- 2550 sätze unterteilt, die als Trainingsdaten und Testdaten be- 2551 zeichnet werden. Grundsätzlich würde ein Modell mit den Trai- 2552 ningsdaten lernen, indem es den richtigen Antworten aus- 2553 gesetzt wird, und dann wird das resultierende Vorhersage- 2554 modell (auch Algorithmus genannt) auf neue, nicht klassifi- 2555 zierte Daten angewendet, die als „Testdaten“ bezeichnet wer- 2556 den. Wenn der*die Entwickler*in davon überzeugt ist, dass 2557 er*sie bereit ist, wird der Algorithmus so eingesetzt, dass 2558 er*sie beim Treffen von Entscheidungen im wirklichen Leben, 2559 die aus dem Training resultieren, funktioniert. Das Konzept 2560 „Garbage In, Garbage Out“ ergibt sich aus der Tatsache, dass 2561 voreingenommene Trainingsdaten dazu führen würden, dass 2562 das Modell diskriminiert. Beispielsweise ist bei Techniken des 2563 überwachten Lernens3 die Zielvariable, die das Modell vorher- 2564 zusagen versucht, bekannt und wird von den Programmierern 2565 gekennzeichnet (z.B. wissen, was eine Spam-Mail ist, und sie 2566 als solche kennzeichnen, so dass die Maschine lernen kann, 2567 was Spam ist). Mit anderen Worten: da das Modell die gekenn- 2568 zeichneten Trainingsdaten als Grundwahrheit akzeptiert, füh- 2569 ren Vorurteile, die die Trainingsdaten enthalten können, zu 2570 verzerrten Ergebnissen (Kim 2017). Die Messung dessen, was Deniz Erden — KI und Beschäftigung 83 2571 gute Mitarbeiter*innen oder eine gute Arbeitsleistung aus- 2572 macht, ist ein komplexeres Thema als die Identifizierung von 2573 Spam. Es kann nie genug Daten geben, die alles aufzeichnen, 2574 was gute Performer*innen tun. Arbeitsdefinitionen sind in der 2575 Regel weit gefasst, viele Aufgaben werden in Teams ausge- 2576 führt und auf dem Weg dorthin gibt es Stereotypen und Vor- 2577 urteile von Teammitgliedern oder Vorgesetzten, die sich auf 2578 die Bewertungen auswirken. 2579 In den meisten Fällen bewahren Unternehmen außer- 2580 dem keine detaillierten Daten über Kandidat*innen auf, die 2581 nicht eingestellt wurden. Der Machine-Learning-Algorithmus 2582 würde also auf dem begrenzten Datensatz früherer Anstel- 2583 lungen trainiert werden, der höchstwahrscheinlich bereits 2584 historische Verzerrungen widerspiegelt und daher die zukünf- 2585 tigen Bewerber*innenpools falsch darstellt. In einem bekann- 2586 ten Beispiel diskriminierte der Einstellungsalgorithmus von 2587 Amazon weibliche Bewerberinnen. Er wurde auf Basis der 2588 Arbeitsleistung früherer Angestellter geschult, bei denen es 2589 sich zumeist um weiße Männer handelte, weshalb sie auch die 2590 besten Leistungsträger waren. Der Algorithmus gab nicht nur 2591 weißen Männern höhere Ergebnisse, sondern schloss auch 2592 Bewerber*innen aufgrund von Attributen aus, die mit Frauen 2593 in Verbindung gebracht wurden, darunter auch Kurse in Frau- 2594 enstudien (Tambe et al. 2019). Außerdem könnten Arbeitge- 2595 ber*innen, die zur Auswahl ihrer Bewerber*innen Algorithmen 2596 einsetzen, nicht wissen, wie jene durch das algorithmisierte 2597 Verfahren abgelehnte Bewerber*innen abgeschnitten hätten. 2598 Es erscheint möglich, dass die durch den Algorithmus schließ- 2599 lich ausgewählten und infolgedessen eingestellten Personen 2600 die für die Auswahl erheblichen Kriterien nur gerade so erfüllt 2601 hätten. Diskriminierende Modelle würden so zu selbsterfüllen- 2602 den Prophezeiungen werden. 2603 Je mehr Variablen man hat, desto mehr Daten wer- 2604 den benötigt, um ein vernünftiges Maß an Genauigkeit im 2605 Modell zu erhalten, was kostspielig sein könnte. Aus diesem 2606 Grund ist einer der wichtigen Bestandteile von maschinellen 2607 Lernprozessen die Bestimmung der Variablen, die ein- oder 2608 ausgeschlossen werden sollen. Variablen, die scheinbar kei- 2609 nen Mehrwert bei der Lösung des Problems bieten und daher 2610 aus den Daten ausgeschlossen werden, könnten eher mit den- 2611 jenigen in Verbindung gebracht werden, die weiter vom Main- 2612 stream entfernt sind. Kürzlich zeigte die Gender Shades-Stu- 2613 die (Buolamwini & Gebru 2018), dass die Algorithmen zur 2614 Gesichtserkennung bei Frauen mit dunkler Haut signifikant 2615 ungenauer waren als bei Frauen mit heller Haut und am 2616 genauesten bei hellhäutigen Männern. Obwohl es in vielen 2617 Gerichtsbarkeiten illegal sein könnte, Entscheidungen auf der 2618 Grundlage geschützter Merkmale zu treffen, ist auch bekannt, 2619 dass der Ausschluss eines geschützten Merkmals der geschütz- 2620 ten Gruppe mehr Schaden zufügen kann. Ein Beispiel ist die 2621 „weggelassene Variable von Vorurteilen“, dass race aus einigen 2622 guten Gründen weggelassen wird und das Modell auf der 2623 Grundlage der allgemeinen Daten einen negativen Zusam- 2624 menhang zwischen früherem Militärdienst und der Arbeits- 2625 leistung herausfindet, während für Afroamerikaner*innen tat- 2626 sächlich ein positiver Zusammenhang besteht. Dieses Modell 2627 könnte am Ende Afroamerikaner*innen stärker benachteili- 2628 gen, als es der Fall wäre, wenn race nicht ausgeschlossen 2629 würde (Kim 2017). 2630 Andererseits sind Daten über Frauen und andere 2631 geschützte Gruppen mit größerer Wahrscheinlichkeit fehler- 2632 hafter, unter- oder überrepräsentiert, was dazu führen kann, 2633 dass diese Gruppen auf systematische Weise weniger akku- Algorithmische Entscheidungssysteme 84 2634 rat dargestellt sind, was Schäden durch unfaire Entscheidun- 2635 gen und damit Diskriminierungen auslösen würde (Barocas & 2636 Selbst 2016). Da das Leben der Frauen vom öffentlichen 2637 Leben ausgeschlossen war, wurde es nicht erfasst; dies ist 2638 einer der Gründe dafür, dass die Bedürfnisse der Frauen bei 2639 der Aufstellung allgemeiner Regeln und der Organisation 2640 öffentlicher und privater Institutionen nicht berücksichtigt 2641 wurden. Heute sehen wir dieses Phänomen, wenn eine gerin- 2642 gere Datenerfassung zu algorithmischer Diskriminierung 2643 bestimmter Gruppen führt. 2644 Schlussendlich könnte während des Trainings alles 2645 richtig gemacht werden, ein messbares objektives Kriterium 2646 als Zielvariable gewählt und die geschützten Attribute weg- 2647 gelassen werden, aber der Algorithmus könnte immer noch 2648 diskriminieren, indem er einen neutralen Faktor findet, der 2649 sowohl mit den Zielvariablen als auch mit einer geschützten 2650 Klasse stark korreliert (Proxy-Diskriminierung). Zum Beispiel 2651 wurde in einem Machine-Learning-Modell herausgefunden, 2652 dass die Entfernung, die ein*e Arbeitnehmer*in vom Arbeits- 2653 platz entfernt lebt, ein sehr starker Indikator für die Dauer der 2654 Betriebszugehörigkeit ist. Im US-Kontext sind jedoch Postleit- 2655 zahlen als Proxy für race bekannt (Kim 2017). 2656 Einer der Hauptunterschiede des machine learnings 2657 besteht darin, dass Korrelationen, die der Mensch nicht her- 2658 ausfinden könnte, in den Modellen auftauchen und ihre Vor- 2659 hersagen zum Nachteil bestimmter traditionell benachteiligter 2660 Gruppen oder für das menschliche Auge völlig unbemerkter 2661 Gruppen verzerren würden. Für diejenigen, denen keine Stel- 2662 lenanzeige angezeigt wurde oder die zu einem früheren Zeit- 2663 punkt unter Tausenden von Bewerber*innen abgelehnt wur- 2664 den, ist es besonders schwer, sich der Diskriminierung aufgrund 2665 komplexer Muster und Korrelationen bewusst zu sein, die sub- 2666 tiler wäre als menschliche Diskriminierung (Wachter, Mittel- 2667 stadt, & Russell 2020). Zum Beispiel identifizierte ein Modell 2668 einer Screeningfirma den Namen Jared und das Spielen von 2669 Lacrosse in der High School als starke Anzeichen für Erfolg 2670 (Bogen & Rieke 2018). 2671 Während Menschen in der Regel ein Gespür für die 2672 Diskriminierung gegenüber anderen Menschen haben, kann 2673 es wirklich schwer sein, sich bewusst zu werden, wenn Maschi- 2674 nen diskriminieren (Wachter et al. 2020). Da Maschinen ande- 2675 rerseits eher mit mathematisch-statistischen Argumenten für 2676 ihre Diskriminierung aufwarten können, vertrauen sowohl die 2677 Arbeitgeber*innen als auch die potenziellen und derzeitigen 2678 Arbeitnehmer*innen eher darauf, dass ihre Urteile fair sind, ein 2679 Konzept, das als automation bias bekannt ist (Bogen & Rieke 2680 2018). Ein weiterer Unterschied besteht darin, dass Maschi- 2681 nen immer konservativer sind als Menschen, da sie sich keine 2682 andere Zukunft vorstellen können und an die Daten gebunden 2683 sind, mit denen sie gefüttert wurden, wobei es sich immer um 2684 Daten handeln wird, die eine vergangene und eingeschränkte 2685 Realität widerspiegeln. Die meisten fairnessbewussten Algo- 2686 rithmen können mit komplexen sensiblen Attributen und inter- 2687 sektioneller Diskriminierung nicht umgehen. Aufgrund der 2688 begrenzten Möglichkeiten zur Fehlerkorrektur und der Mög- 2689 lichkeiten zur Verstärkung von Feedback-Effekten bergen die 2690 Einstellungsalgorithmen zudem das Risiko einer Verschärfung 2691 von Vorurteilen und Ungleichheiten. Letztlich sind Maschinen 2692 in der Lage, die Verzerrung auf einen größeren Maßstab als 2693 Menschen zu übertragen und zu diskriminieren.

Deniz Erden — KI und Beschäftigung 85 2 Für ein gegensätzliches Beispiel, siehe: The First 1940s Coders Were Women – So How Did Tech Bros Take Over? (https://www.history.com/news/coding-used-to-be-a-womans- job-so-it-was-paid-less-and-undervalued). 3 Die meisten Algorithmen, die bei der Einstellung und in anderen Bereichen des Personalwesens verwendet werden, werden mit Techniken des überwachten Lernens entwickelt (Lehr & Ohm 2017).

WO IST DAS GESETZ? 2694 Bevor es Künstliche Intelligenz gab, versuchten Menschen, 2695 Probleme der Diskriminierung zu lösen, indem sie gesetzliche 2696 Regeln schrieben, anstatt zu kodieren. Wie zuvor erwähnt, 2697 haben sich Gesetze auch an der Aufrechterhaltung von 2698 Ungleichheiten mitschuldig gemacht. Sowohl in Gesetzen als 2699 auch im Machine-Learning-gibt es allgemeine Regeln, um 2700 individuelle und Gruppenfairness zu erreichen. 2701 Es gibt eine Reihe von Metriken, die zur Formulierung 2702 von Fairness verwendet werden können, so dass es möglich 2703 ist, diese in Machine-Learning-Systemen zu berücksichtigen. 2704 Auf Gruppenebene werden Fairness, Chancengleichheit, aus- 2705 geglichene Quoten und demographische Gleichheit4 verwen- 2706 det. Da sie alle unterschiedliche Kriterien zur Erreichung von 2707 Fairness widerspiegeln, können sie nicht gleichzeitig erfüllt 2708 werden, d.h. sie sind inkompatibel und Fairness muss für jedes 2709 gegebene Problem kontextuell definiert werden. Auch im 2710 Feminismus gibt es keine allgemein anerkannte Definition von 2711 Fairness, und je nach Kontext, Zeitraum oder Weltsicht der 2712 Frauen wurden unterschiedliche Vorstellungen von Gleichheit 2713 verfolgt. Als liberale Feministinnen gegen den Ausschluss aus 2714 der öffentlichen Sphäre kämpften, benutzten sie die aristote- 2715 lische Vorstellung von Verfahrensgerechtigkeit, die darin besteht, 2716 gleiche Fälle gleich und ungleiche Fälle unterschiedlich zu 2717 behandeln. Obwohl sie nützlich war, um Frauen Zugang zu 2718 traditionell männlichen Privilegien in der öffentlichen Sphäre 2719 zu verschaffen, setzte sie auch Männer als Norm fest. Diese 2720 Vorstellung von Gleichheit ignoriert nicht nur die Realität der 2721 gesellschaftlichen Machtstrukturen, sondern verewigt und 2722 legitimiert sie auch. Auf der Suche nach besseren Vorstellun- 2723 gen von Gleichberechtigung war das feministische Denken 2724 eine Zeit lang in dem Dilemma gefangen, ob für eine Gleich- 2725 stellung von Frauen mit Männern ausreicht oder es darüber 2726 hinaus der Einräumung von Sonderrechten für Frauen bedürfe. 2727 Solche Sonderrechte würden Schwangerschaft und Kinder- 2728 betreuung abdecken, aber das Risiko in sich bergen, Frauen 2729 als von der Norm abweichend zu stigmatisieren. Substantive 2730 Gleichheit erkennt an, dass blinde Gerechtigkeit keine Gerech- 2731 tigkeit ist, Gruppenzugehörigkeiten sollen anerkannt werden, 2732 und Einzelpersonen sollen im Verhältnis zu den Vor- und Nach- 2733 teilen, Stärken und Schwächen ihrer Gruppe behandelt wer- Algorithmische Entscheidungssysteme 86 2734 den. Und so wie es bei Fairness-Metriken im machine learning 2735 der Fall ist, schließen sich formale Gleichheit und substantive 2736 Gleichheit gegenseitig aus. Chancengleichheit hingegen folgt 2737 dem individuellen Ansatz der formalen Gleichheit, während 2738 die Anerkennung der blinden Gerechtigkeit bestehende Unge- 2739 rechtigkeiten und Ungleichheiten verewigen kann. Der Gerichts- 2740 hof der Europäischen Union (EuGH) wendet Chancengleich- 2741 heit zum Schutz von Teilzeitbeschäftigten an und erkennt an, 2742 dass Teilzeitbeschäftigte aufgrund ihrer Kinderbetreuung und 2743 anderer familiärer Pflichten überwiegend Frauen sind. Es 2744 gelingt ihm jedoch nicht, die familienunfreundlichen Bedin- 2745 gungen und die Kultur der längeren Arbeitszeiten strukturell 2746 zu verändern (Fredman 1997). In der Praxis führt die Anwen- 2747 dung der Chancengleichheit also nicht unbedingt dazu, dass 2748 zwei andere Vorstellungen von Gleichheit zu einem gerechte- 2749 ren Ergebnis führen. 2750 Da unsere Identitäten und Gruppenzugehörigkeiten 2751 fließend und mehrdimensional sind, kann Fairness nicht erreicht 2752 werden, ohne Intersektionalität anzuerkennen, ein Begriff, der 2753 von Kimberlé Crenshaw (1989) geprägt wurde, um zu erklären, 2754 dass die aus mehreren Gründen erlebte Diskriminierung eine 2755 völlig andere und verstärkte Erfahrung ist als eindimensionale 2756 Diskriminierung. In zwei Fällen aus jüngster Zeit (Achibata 2757 und Bougnaoui) wehrte sich der EuGH dagegen, die Diskrimi- 2758 nierung muslimischer Frauen am Arbeitsplatz aufgrund des 2759 Tragens eines Kopftuchs als eine besondere Art der Diskrimi- 2760 nierung anzuerkennen, die ausschließlich muslimische Frauen 2761 erfahren, und eben nicht alle Frauen und erst recht keine mus- 2762 limische Männer (Schiek 2018). 2763 Wie mildern Unternehmen, die Vielfalt und Integra- 2764 tion als Dienstleistung über Einstellungsalgorithmen anbieten, 2765 Vorurteile bei der Beschäftigung? Obwohl sie Dienstleistun- 2766 gen für einen eher globalen Markt anbieten, sind die meisten 2767 Anbieter in den USA ansässig. Das US-Gesetz schreibt vor, 2768 dass die am höchsten und die am niedrigsten eingestuften 2769 demografischen Kategorien einer 4/5-Regel folgen müssen, 2770 die leicht maschinell übersetzbar ist und im EU-Recht nicht 2771 existiert. Wie in den jüngsten wissenschaftlichen Arbeiten 2772 erörtert, ist das Antidiskriminierungsrecht der EU eher kon- 2773 textabhängig (Wachter et al. 2020). Viele der Angebote auf 2774 dem Markt beschränken sich zudem auf ein einachsiges Iden- 2775 tifikationsverständnis, das die intersektionelle Diskriminie- 2776 rung vernachlässigt (Sánchez-Monedero et al. 2020). Schon 2777 allein die Tatsache, dass diese datengesteuerten Lösungen 2778 von der Vergangenheit geprägt sein müssen, um in Zukunft 2779 funktionieren zu können, macht ihre Progressivität fragwür- 2780 dig. Wenn die Modelle insgesamt die Einstellungskosten sen- 2781 ken, mit einem akzeptablen Genauigkeitsniveau arbeiten und 2782 nicht wesentlich gegen das Gesetz verstoßen, gibt es nicht 2783 viel Grund zu der Annahme, dass Anbieter und Arbeitgebende 2784 eine weitere Milderung von Vorurteilen anstreben würden. 2785 Was bietet das europäische Recht, statt auf Prince 2786 Charming zu warten? Insbesondere Antidiskriminierungs- 2787 und Datenschutzgesetze sind zwei Rechtsgebiete, die von 2788 Wissenschaftler*innen herangezogen wurden, die sich mit 2789 algorithmischen Vorurteilen und Diskriminierung befassen. 2790 Nahezu alle Formen der Diskriminierung, die durch 2791 voreingenommene Einstellungsalgorithmen, wie sie oben dis- 2792 kutiert wurden, auftreten können, sind theoretisch nach dem 2793 EU-Antidiskriminierungsgesetz vor Gericht anklagbar, da die 2794 Beschäftigung der Bereich ist, in dem der breiteste Schutz 2795 gewährt wird. In der Praxis ist es jedoch nicht so einfach. 2796 Algorithmische Diskriminierung fällt am ehesten unter indi- Deniz Erden — KI und Beschäftigung 87 2797 rekte Diskriminierung und ist schwieriger zu erkennen und zu 2798 beweisen. Eine arbeitssuchende Person, der keine Stellenan- 2799 zeigen auf einer Plattform gezeigt werden, wäre nie in der 2800 Lage zu wissen, dass sie diskriminiert wurde. Selbst, wenn sie 2801 die Diskriminierung spürt, könnte sie nicht wissen, wer ihr 2802 gegenüber bevorzugt wird. Sie wäre daher nicht in der Lage, 2803 eine Diskriminierung des ersten Anscheins nachzuweisen und 2804 würde damit die erste Anforderung für die Einleitung eines 2805 Diskriminierungsverfahrens nicht erfüllen. Wenn wir davon 2806 ausgehen, dass es ihr gelingt, diesen ersten Schritt zu beste- 2807 hen, dann verlagert sich die Beweislast auf den*die Angeklag- 2808 te*n, der*die entweder nachweisen kann, dass sich das Opfer 2809 nicht in einer ähnlichen Situation wie die „Vergleichsperson“ 2810 befindet, oder dass die unterschiedliche Behandlung auf 2811 einem objektiven Faktor beruht, der in keinem Zusammen- 2812 hang mit dem geschützten Grund steht. Aufgrund des statis- 2813 tischen Charakters der algorithmischen Diskriminierung wäre 2814 die Entscheidung leicht auf der Grundlage der prädiktiven 2815 Genauigkeit zu rechtfertigen. Dann ist das Opfer an der Reihe, 2816 das Einstellungsmodell zu widerlegen. Die Vorurteile in den 2817 Trainingsdaten könnte nur durch eine Expert*innenprüfung 2818 nachgewiesen werden, jedoch gewährt das EU-Antidiskrimi- 2819 nierungsrecht keine Zugangsrechte aus Gründen der Beweis- 2820 erhebung (Hacker 2018). 2821 Können wir dann das Patriarchat mit der Datenschutz- 2822 Grundverordnung (DSGVO) bekämpfen? Viele Wissenschaft- 2823 ler*innen haben inzwischen erkannt, dass die DSGVO einen 2824 neuen Werkzeugsatz mit sich bringt, welcher sowohl das 2825 Antidiskriminierungsrecht verbessern als auch den Schutz vor 2826 algorithmischer Diskriminierung weiter verbessern dürfte, 2827 wobei eines davon der Zugang zu den Algorithmen ist (Hacker 2828 2018). Auf der anderen Seite gibt es Wissenschaftler*innen, 2829 die argumentieren, dass die DSGVO und die bestehende Recht- 2830 sprechung der EU nicht ausreichen, um den oben genannten 2831 Herausforderungen in vollem Umfang gerecht zu werden. 2832 Obwohl algorithmische Diskriminierung einen Verstoß gegen 2833 die allgemeinen Regeln der DSGVO zur fairen Datenverarbei- 2834 tung darstellen und Geldstrafen nach sich ziehen könnte, ist 2835 es schwierig für die betroffene Person eine solche unfaire 2836 Verarbeitung zu erkennen und aus ähnlichen Gründen, die 2837 oben für das Antidiskriminierungsgesetz genannt wurden, 2838 eine Beschwerde bei einer Aufsichtsbehörde einzureichen. 2839 Wenn algorithmische Diskriminierung einer Personengruppe 2840 festgestellt werden kann, haben die betroffenen Personen das 2841 Recht, eine gemeinnützige Organisation damit zu beauftragen, 2842 in ihrem Namen eine Beschwerde einzureichen. Die DSGVO 2843 bringt auch eine Reihe von Regeln mit sich, die für die Ver- 2844 antwortlichen der Datenverarbeitung gelten, ohne dass die 2845 Betroffenen einbezogen werden müssen. Diese Bestimmun- 2846 gen, die einen Schutz im Voraus bieten, wie die Verpflichtung 2847 zur Durchführung von Datenschutz-Folgenabschätzungen 2848 oder zur Meldung eines hohen Risikos an die Aufsichtsbehör- 2849 den, das Rechenschaftsprinzip, die „Privacy by Design“-Be- 2850 stimmung, Verhaltensregeln und so weiter, sind das Beste, 2851 was die DSGVO zu bieten hat. Aufsichtsorgane können eine 2852 Agenda für Fairness fördern, die aus der Gender-Theorie und 2853 intersektioneller Gerechtigkeit resultiert, während sie gleich- 2854 zeitig ihre Rolle der Beratung und Genehmigung in Bezug auf 2855 Datenschutz-Folgenabschätzungen und zugehörigen Verhal- 2856 tensregeln wahrnehmen. 2857 Frauenbewegungen sollten auf allen Ebenen auf wei- 2858 tere Politiken und Regulierungen drängen, die den tief ver- 2859 wurzelten Gender-Code unserer Gesellschaften berücksich- Algorithmische Entscheidungssysteme 88 2860 tigen und die Antidiskriminierungs- und Datenschutzgesetze 2861 entsprechend nutzen und aktualisieren. Die Geschichte aus 2862 der unsere Zukunft lernen kann, sollte die Geschichte der Dis- 2863 kriminierung von Frauen sein, wie sie von feministischen 2864 Sozialwissenschaftlerinnen seit Jahrzehnten theoretisiert wird, 2865 damit wir am Rande eines weiteren großen industriellen und 2866 organisatorischen Wandels niemanden zurücklassen.

4 Siehe: developers.google.com/machine-learning/ glossary/fairness#fairness_metric.

Deniz Erden ist Research Fellow am Humboldt Institut für Internet und Gesellschaft. In ihrer Forschung verbindet sie Gender- Theorie, europäisches Datenschutzrecht, Antidiskriminierungs- und Menschenrecht. Sie konzentriert sich dabei auf die Ver- flechtung automatisierter Entscheidungsprozesse.

LITER ATUR Barocas, Solon, & Selbst, Andrew D. (2016) „Big Data’s Disparate Impact.“ California Law Review, 104, 671-732. doi:http://dx.doi.org/10.15779/Z38BG31 Bogen, Miranda, & Rieke, Aaron (2018) Help wanted: an examination of hiring algorithms, equity, and bias. Retrieved from https://apo.org.au/node/210071 Buolamwini, Joy, & Gebru, Timnit (2018) „Gender shades: Intersectional accuracy disparities in commercial gender classification“, Proceedings of the 1st Conference on Fairness, Accountability and Transparency, PMLR 81, 77–91. Crenshaw, Kimberlé W. (1989) „Demarginalizing the Intersection of Race and Sex: A Black Feminist Critique of Antidiscrimination Doctrine, Feminist Theory and Antiracist Politics.“ University of Chicago Legal Forum, 1989(1). Retrieved from https://chicagounbound.uchicago. edu/uclf/vol1989/iss1/8 Fredman, Sandra (1997) Women and the Law. New York: Oxford University Press. Hacker, Philipp (2018) „Teaching fairness to artificial intelligence: Existing and novel strategies againstalgorithmic discrimination under EU law.“ Common Market Law Review, 55, 1143-1185. Hartmann, Heidi (1976) „Capitalism, Patriarchy, and Job Segregation by Sex.“ Signs, 1(3), 137-169. Retrieved from http://www.jstor.org/stable/3173001. Kim, Pauline (2017) „Data-Driven Discrimination at Work.“ William & Mary Law Review 48, 857-936. Retrieved from SSRN: https://ssrn.com/ abstract=2801251. Krys, Kuba; Hansen, Karolina; Xing, Cai; Szarota, Piotr & Yang, Miao-miao (2014) „Do Only Fools Smile at Strangers? Cultural Differences in Social Perception of Intelligence of Smiling Individuals.“ Journal of Cross-Cultural Psychology, 45(2), 314-321. doi:10.1177/0022022113513922. Deniz Erden — KI und Beschäftigung 89 Langenkamp, Max; Costa, Allan, & Cheung, Chris (2020) „Hiring Fairly in the Age of Algorithms.“ ArXiv, abs/2004.07132. Lehr, David, & Ohm, Paul (2017) „Playing with the Data: What Legal Scholars Should Learn About Machine Learning.“ University of California Davis Law Review, 51(2), 653-717. Retrieved from https://lawreview.law.ucdavis.edu/issues/ 51/2/Symposium/51-2_Lehr_Ohm.pdf. Raghavan, Manish; Barocas, Solon; Kleinberg, Jon, & Levy, Karen (2020) „Mitigating bias in algorithmic hiring: evaluating claims and practices.“ Paper presented at the Proceedings of the 2020 Conference on Fairness, Accountability, and Trans- parency, Barcelona, Spain. https://doi. org/10.1145/3351095.3372828. Sánchez-Monedero, Javier; Dencik, Lina & Edwards, Lilian (2020) „What does it mean to ‚solve‘ the problem of discrimination in hiring? social, technical and legal perspectives from the UK on automated hiring systems.“ Paper presented at the Proceedings of the 2020 Conference on Fairness, Accountability, and Transparency, Barcelona, Spain. https://doi.org/10.1145/3351095.3372849. Schiek, Dagmar (2018) „On uses, mis-uses and non-uses of intersectionality before the Court of Justice (EU).“ International Journal of Discrimination and the Law, 18(2-3), 82-103. doi:10.1177/1358229118799232. Tambe, Prasanna; Cappelli, Peter & Yakubovich, Valery (2019) „Artificial Intelligence in Human Resources Management: Challenges and a Path Forward.“ California Management Review, 61(4), 15-42. doi:10.1177/0008125619867910. Wachter, Sandra (2020) „Affinity Profiling and Discrimination by Association in Online Behavioural Advertising.“ Berkeley Technology Law Journal, 35(2), online first. Available at SSRN: https://ssrn.com/abstract=3388639 http://dx.doi.org/10.2139/ssrn.3388639. Wachter, Sandra; Mittelstadt, Brent & Russell, Chris. (2020) „Why Fairness Cannot Be Automated: Bridging the Gap Between EU Non-Discrimination Law and AI.“ Retrieved from SSRN: https://ssrn.com/abstract=3547922. Wajcman, Judy (2009) „Feminist theories of technology.“ Cambridge Journal of Economics, 34(1), 143-152. doi:10.1093/cje/ben057. Walby, Sylvia (1990) Theorizing Patriarchy. Basil Blackwell.

Robotik 6

FEMINISMUS UND AUTONOME WAFFENSYSTEME1 • RAY ACHESON

1 Diese Arbeit stützt sich auf zwei in Kürze erscheinenden Beiträge der Autorin, welche von der Women’s International League for Peace and Freedom und der Campaign to Stop Killer Robots veröffentlicht werden. 91 FEMINISMUS UND AUTONOME WAFFENSYSTEME 2867 Derzeit sind autonome Waffensysteme in verschiedenen Län- 2868 dern2 Teil der Forschung und Entwicklung und nicht bloß als 2869 materielle Technologien anzusehen. Sie müssen vielmehr im 2870 Kontext von Macht und Gewalt verstanden werden. Um die 2871 von diesen Waffen ausgehenden Risiken und Herausforderun- 2872 gen zu erkennen, müssen wir umfassender über ihre Positio- 2873 nierung innerhalb des Militarismus nachdenken. 2874 Hilfreich ist dabei eine feministische Analyse des Pat- 2875 riarchats. Wenn wir militarisierte Ideen von Maskulinität und 2876 Macht betrachten, wenn wir darüber nachdenken wie Waffen 2877 als Instrumente der Sicherheit aufrechterhalten werden, kön- 2878 nen wir uns vorstellen inwiefern Waffen, die programmiert 2879 werden, um mit Sensoren und Software darüber zu entschei- 2880 den wer lebt und wer stirbt, zur Ausführung der patriarchi- 2881 schen Mission eingesetzt werden. Es handelt sich hierbei um 2882 eine Mission der Herrschaft, der Entmenschlichung und der 2883 Marginalisierung. Eine Mission absoluter Kontrolle darüber, wer 2884 als „die Anderen“ angesehen werden und – im Kontext auto- 2885 nomer Waffen – auch als „die Anderen“ programmiert werden. 2886 Vor diesem Hintergrund werden autonome Waffen- 2887 systeme diskriminierende Geschlechternormen verschärfen 2888 und zur Begehung von geschlechterbasierten Gewaltverbre- 2889 chen (engl. gender-based violence oder GBV) eingesetzt wer- 2890 den. Die Kultur gewalttätiger Maskulinität wird zwangsläufig 2891 in die Politik und den Einsatz von autonomen Waffensystemen 2892 eingegliedert sein. Dies bedeutet, dass es vermehrt Heraus- 2893 forderungen in der Gewaltprävention, im Schutz der Zivilbe- 2894 völkerung und in der Abschaffung von Geschlechteressentia- 2895 lismus und Diskriminierung geben wird. Darüber hinaus wird 2896 auch intersektionale Diskriminierung und Schädigung auf Grund- 2897 lage von race3, Sexualität, Behinderung, Religion und anderer 2898 Identitäten und Erfahrungen erleichtert. 2899 Diese Arbeit enthüllt die Konzepte von Patriarchat 2900 und militarisierter Männlichkeit und erklärt ihre Relevanz für 2901 die Analyse autonomer Waffensysteme. Die Entwicklung 2902 autonomer Waffensysteme wird in den weiteren Zusammen- 2903 hang der Kontrolle von Menschenleben durch Apparate staat- 2904 licher Zwangskontrolle gesetzt. Darüber hinaus beschreibt 2905 diese Arbeit die Relationen zwischen geschlechterbasierter 2906 Gewalt und dem Patriarchat, sowie zwischen geschlechter- 2907 basierter Gewalt und Waffen, und führt Argumente über den 2908 Zusammenhang autonomer Waffen und sexueller Gewalt aus. 2909 Außerdem werden Formen von geschlechterbasierter Gewalt 2910 untersucht, bei denen der Einsatz autonomer Waffen vermut- 2911 lich zur Verletzung von Menschrechten und der Menschen- 2912 würde führen wird. Insbesondere der Einsatz von Waffen, die 2913 anhand vorprogrammierter Algorithmen zum Zielen und 2914 Töten von Menschen eingesetzt werden, die vorher rassistisch, 2915 genderspezifisch oder anderweitig kategorisiert wurden, 2916 steht dabei im Mittelpunkt. Robotik 92 2917 Im Allgemeinen argumentiert dieses Paper für die 2918 Notwendigkeit, autonome Waffen nicht nur als materielle 2919 Technologien, die verboten werden müssen, sondern auch als 2920 Zeichen einer umfassenderen Politik von Gewaltstrukturen zu 2921 betrachten. Zu diesen gehören Strategien und Strukturen, wel- 2922 che die zunehmende Abstraktion von Gewalt, die Abwertung 2923 des menschlichen Lebens und der Menschenwürde sowie die 2924 Verarbeitung des Menschen als Objekt aufrechterhalten.

2 Siehe: stopkillerrobots.org. 3 Anmerkung der Übersetzerin: Race wird in diesem Text nicht mit Rasse übersetzt, da die Konnotationen der beiden Begriffe aufgrund der unterschiedlichen Sprachgeschichten nicht gleichbedeutend sind.

PATRIARCHALE MACHT 2925 Das Patriarchat ist ein System der Macht (hooks 2010). Im 2926 einfachsten Sinne handelt es sich um eine hierarchische Gesell- 2927 schaftsordnung in der Frauen Männern untergeordnet sind. Es 2928 ist allerdings mehr als das. Es ist eine Ordnung, die Gender als 2929 kulturelle Konstruktion formt und verankert. Das Patriarchat 2930 besteht aus Normen, Rollenbildern und Konditionen, die daran 2931 geknüpft sind, „Mann“ oder „Frau“ zu sein. Es unterdrückt also 2932 nicht nur Frauen, sondern jede Person, die sich nicht mit vor- 2933 geschriebenen Gendernormen oder binären Geschlechter- 2934 identitäten identifiziert. Hierzu gehören Männer, die nicht mit 2935 den kulturellen Erwartungen an „Männlichkeit“ übereinstim- 2936 men, sowie Gender-nonkonforme, nicht-binäre, intersexuelle 2937 und transsexuelle Menschen. 2938 Um zu verstehen, wie das Patriarchat arbeitet, ist ein 2939 Verständnis davon, wie Gender funktioniert erforderlich. Gen- 2940 der ist ein soziales Konstrukt, sowohl in Bezug auf die Attri- 2941 bute, die es Menschen zuweist, als auch in Bezug auf Hierar- 2942 chien, die es zwischen diesen differenzierten Kategorien schafft. 2943 Es ist wichtig anzuerkennen, dass Individuen in einer bestimm- 2944 ten geschlechtsspezifischen oder gegenderten Gruppe nicht 2945 homogen sind. Alter, race, ethnische Zugehörigkeit, Religion, 2946 Sexualität, körperliche Unversehrtheit und sozioökonomischer 2947 Status sorgen dafür, dass alle Menschen in der Gesellschaft, 2948 in Gemeinschaften und zu Hause unterschiedliche Erfahrun- 2949 gen machen. Diese Intersektionalität von Erfahrungen und 2950 Identitäten führt zu unterschiedlichen Erfahrungen von Unter- 2951 drückung und Normativität. Das Patriarchat zieht sich jedoch 2952 durch fast alle gesellschaftlichen Ordnungen und erzwingt 2953 Machtverhältnisse zwischen Gender-Kategorien sowie ent- 2954 lang anderer Linien (Lorberg 1994).

Ray Acheson – Feminismus und autonome Waffensysteme 93 MILITARISIERTE MANNLICHKEIT 2955 Machtverhältnisse, nach Michel Foucault, sind in Prozesse 2956 der Kategorisierung und Differenzierung eingebettet (Fou- 2957 cault 1977). In Bezug auf Geschlecht erzeugen diese Pro- 2958 zesse eine Hierarchie zwischen Genderidentität und hege- 2959 monialen Geschlechternormen. Das Patriarchat zelebriert 2960 eine bestimmte Form von Männlichkeit, und zwar „ein bestimm- 2961 tes idealisiertes Bild von Männlichkeit, durch das Bilder von 2962 Weiblichkeit und anderen Männlichkeiten an den Rand gedrängt 2963 und untergeordnet werden“ (frei übersetzt nach Barrett 1996: 2964 130). Dargestellt wird diese „hegemoniale Männlichkeit“ in 2965 den meisten heutigen Kulturen durch den unabhängigen, risi- 2966 kofreudigen, aggressiven, rationalen, körperlich starken, muti- 2967 gen und emotionslosen heterosexuellen Cis-Mann (Eichler 2968 2014; Connell 1995). 2969 Das Militär spielt bei der Gestaltung von Männlich- 2970 keitsbildern in der größeren Gesellschaft eine primäre Rolle 2971 (Kimmel & Messner 1989; Morgan 1994), bis zu dem Punkt, an 2972 dem das dominierende Rollenmodell eines erwachsenen Man- 2973 nes weitgehend das Produkt des Militärs ist (Arkin & Dobrofsky 2974 1978). Vorrang wurde und wird im Militär noch immer „Härte, 2975 geschickter Anwendung von Gewalt, Vermutung eines Feindes, 2976 männlicher Kameradschaft, Unterdrückung der eigenen Emo- 2977 tionen und Disziplin (diszipliniert zu sein und auch sie von 2978 anderen einzufordern)“ zugesprochen (frei übersetzt nach 2979 Enloe 1990: 150). 2980 Die dominante Form von militarisierter Männlichkeit 2981 ist nicht universal. Allerdings ist sie in Institutionen der Gewalt 2982 eingegliedert und bewahrt diese Kultur auch jenseits dieser 2983 Institutionen. Beispielsweise beteiligen sich militärische Insti- 2984 tutionen aktiv an den Prozessen der Differenzierung und des 2985 „Othering“, welches das Ideal genderspezifischer Hierarchien 2986 stärkt. Um Männer in Kämpfer zu verwandeln, muss man ihren 2987 Sinn für Ethik und Moral brechen und eine gewalttätige Männ- 2988 lichkeit aufbauen, der es an Einfühlungsvermögen mangelt 2989 und die Stärke als Gewalt und physische Herrschaft über andere 2990 verherrlicht, die als schwächer dargestellt werden. Hierarchie 2991 ist grundlegend für die militärische Ausbildung; Menschen 2992 beizubringen, andere Menschen zu töten, erfordert eine Ent- 2993 menschlichung der Anderen, erklärt Cynthia Enloe (1988). 2994 Diese Normen spielen eine kritische Rolle darin, wel- 2995 che Werte von Menschen erwartet werden und welche Hand- 2996 lungen als ehrenhaft gelten. All dies wirkt sich wiederum dar- 2997 auf aus, wie unsere Welt geordnet und gestaltet ist, welche 2998 Strukturen aufgebaut und gefördert werden und wie diese 2999 aufrechterhalten werden. Sie beeinflussen, wie Geschäfte 3000 gemacht werden, wie Macht konstruiert und verteilt wird, und 3001 welche Techniken und Technologien eingesetzt werden, um 3002 diese Macht zu stärken und auszuweiten. 3003 Im Zusammenhang autonomer Waffen ist dies aus- 3004 schlaggebend, insbesondere wenn bedacht wird, dass das 3005 Patriarchat nicht nur Teil der Technologie dieser Waffen ist, 3006 sondern auch Teil des Prozesses, der zu ihrer Entwicklung und 3007 ihrem potentiellen Einsatz führt. Herrschaft durch Gewalt ist 3008 sowohl in die autonome Waffentechnologie als auch in den 3009 Rahmen des Denkens und der Politik eingemeißelt, welcher zu 3010 ihrer Entwicklung und ihrem potentiellen Einsatz führt. Robotik 94 DAS PATRIARCHAT IN DER TECHNOLOGIE 3011 Wissenschaftler*innen aus den Bereichen Gender und Tech- 3012 nik, wie Judy Wajcman, argumentieren, dass Genderverhält- 3013 nisse „in Technik materialisiert“ sind, wodurch die Bedeutung 3014 und der Charakter von Männlichkeit und Weiblichkeit „durch 3015 ihre Einschreibung und die Einbettung in Arbeitsmaschinen“ 3016 weiterentwickelt werden (frei übersetzt nach Wajcman 2009: 3017 2). Technologie und Geschlecht sind also durch den Prozess 3018 ihrer Entwicklung und ihrer Nutzung miteinander verknüpft. 3019 Sandra Harding (1986) erklärt weiterhin, dass tech- 3020 nologische Produkte von ihrem*r Schöpfer*in gekennzeichnet 3021 sind. Wenn Technologie primär im Rahmen von militarisierter 3022 Männlichkeit entwickelt und genutzt wird, werden ihre Krea- 3023 tionen im Rahmen ihres Denkens, Wissens, ihrer Sprache und 3024 Interpretation miteingeflößt. Es ist wichtig darauf hinzuwei- 3025 sen, dass unabhängig von Geschlecht oder Genderidentitäten 3026 aller Ingenieur*innen oder Entwickler*innen, die an einem 3027 bestimmten Projekt arbeiten, der militarisierte, maskulini- 3028 sierte Rahmen aufgrund seiner Dominanz in unserer kollekti- 3029 ven Kultur und den materiellen Realitäten unserer politischen 3030 Ökonomien fortbesteht. 3031 Im Kontext einer Kultur militarisierter Männlichkeit 3032 und maskulinisierter technologischer Entwicklung, haben neue 3033 und entstehende Gewalt- und Kriegstechnologien spezielle 3034 Eigenschaften, welche hegemoniale Gendernormen gleich- 3035 zeitig verstärken und untergraben. Diese Technologien ver- 3036 körpern, reflektieren und brechen auch Machtverhältnisse 3037 (Shaw 2016) – einschließlich des Patriarchats. Das Beispiel 3038 Überwachung ist selbst ein Instrument des Patriarchats, das 3039 die Ausübung der Grundfreiheiten der Menschen kontrolliert 3040 und einschränkt. Überwachung kann zwar als „geschlechter- 3041 neutral“ oder „race-neutral“ dargestellt werden, ist es aber 3042 nicht – sie verstärkt und vergrößert bestehende Ungleichhei- 3043 ten (Privacy International 2017).

BLACK BOX STRUK TURELLER GE WALT 3044 Zu diesen Ungleichheiten kommt hinzu, dass wie bei anderen 3045 Technologien die Wahrscheinlichkeit groß ist, dass der „Old 3046 Boys Club“ die Entwicklung von autonomen Waffen und ähn- 3047 lichen Systemen in Laboren mit verschlossenen Türen voran- Ray Acheson – Feminismus und autonome Waffensysteme 95 3048 treibt. „Algorithmen werden von kleinen Programmierergrup- 3049 pen geschrieben, die ihrerseits von einer noch kleineren Gruppe 3050 von Entscheidungsträgern Anweisungen erhalten“, warnt Chris- 3051 topher Ankersen (2020). Dies wird „sowohl den ‚Black-Box- 3052 Effekt‘ als auch die eingebauten Verzerrungen verstärken, die 3053 das Universum [der Künstlichen Intelligenz] bereits plagen“ 3054 (frei übersetzt nach Ankerson 2020). 3055 Die „Black Box“ – ein System Künstlicher Intelligenz 3056 (KI), dessen In- und Output nicht sichtbar sind – ist eins von 3057 vielen Bedenken, die von Ingenieur*innen und Techniker*innen 3058 gegen die Entwicklung und den Einsatz autonomer Waffen 3059 vorgebracht werden. Maschinelle Lernanwendungen bieten 3060 Systemen die Möglichkeit, automatisch zu lernen und sich auf 3061 der Grundlage von Erfahrungen anzupassen, ohne explizit pro- 3062 grammiert zu werden. Es birgt extreme Risiken, wenn Maschi- 3063 nen dazu programmiert sind, Menschen zu töten: Wenn ein 3064 System sein Verhalten ändern kann, ohne dass sein*e Pro- 3065 grammierer*in oder Benutzer*in versteht, wie oder warum, 3066 hat die Waffe das Potenzial, Dinge zu tun, für die sie ursprüng- 3067 lich nicht programmiert wurde. 3068 Die ehemalige Google-Ingenieurin Laura Nolan warnt 3069 beispielsweise: „Es könnte zu großflächigen Unfällen kommen, 3070 weil diese Dinge anfangen werden, sich auf unerwartete 3071 Weise zu verhalten“ (frei übersetzt nach MacDonald 2019). 3072 Wie wird eine autonome Waffe reagieren, wenn sie mit Uner- 3073 wartetem auf dem Radar, schlechtem Wetter oder nuancier- 3074 tem menschlichen Verhalten konfrontiert wird? Unabhängig 3075 davon, ob die Maschine mit maschinellem Lernen programmiert 3076 ist oder nicht, wird ihre Reaktion auch für Konstrukteur*innen 3077 und Benutzer*innen unvorhersehbar sein. 3078 Wenn das Waffensystem innerhalb einer patriarcha- 3079 len, rassistischen Gesellschaft programmiert ist – was es auch 3080 sein wird, wenn es in der heutigen Welt geschaffen wird – 3081 wird es nicht nur von Anfang an mit diesen Vorurteilen behaf- 3082 tet sein, sondern wenn es ein System ist, das maschinell lernt, 3083 sich innerhalb dieser Weltordnung auch weiterentwickeln. Die 3084 Black Box der KI wird vermutlich bestehende Geschlechter- 3085 und Machtnormen aufrechterhalten und verstärken, mögli- 3086 cherweise auf eine Weise, welche die Ingenieur*innen dieser 3087 Systeme nicht vorhersehen oder bewusst programmieren – 3088 und sicherlich auf die Weise, dass sie es tun.

GESCHLECHTER- BASIERTE GE WA LT 3089 Das zuvor beschriebene erhöht die Risiken, dass autonome 3090 Waffensysteme geschlechterbasierte Gewalt erleichtern. Dabei 3091 handelt es sich um Gewalt, die sich gegen eine Person auf- 3092 grund ihres Geschlechts und/oder aufgrund gesellschaftlich 3093 konstruierter Geschlechterrollen richtet, d.h. aufgrund von 3094 sexueller Orientierung, von Genderidentität oder eines nicht Robotik 96 3095 konformen Verhaltens oder einer nicht konformen Darstellung 3096 von Geschlecht und Gender. Die mit Geschlecht, Gender und 3097 Sexualität verbundenen normativen Rollen und Verständnisse 3098 interagieren auch mit anderen Faktoren wie Alter, Klasse und 3099 race. Der Begriff geschlechterbasierte Gewalt erkennt an, 3100 dass Gewalt als Folge ungleicher Machtverhältnisse und gesell- 3101 schaftlicher Diskriminierung stattfindet. 3102 Geschlechterbasierte Gewalt existiert in allen Län- 3103 dern und Gesellschaften und ist in allen Ländern und Gesell- 3104 schaften weit verbreitet. Sie ist eine Menschenrechtsverletzung 3105 und, wenn sie während eines bewaffneten Konflikts durch- 3106 geführt wird, eine Verletzung des humanitären Völkerrechts 3107 und kann so ein Verbrechen gegen die Menschlichkeit oder ein 3108 Kriegsverbrechen darstellen. Zu den Taten geschlechterba- 3109 sierter Gewalt können sexuelle Gewalt, wie sexuelle Belästi- 3110 gung, Vergewaltigung, Zwangsprostitution, Sexhandel und 3111 sexuelle Sklaverei, weibliche Genitalverstümmelung, Zwangs- 3112 heirat und Ehrenverbrechen, physische Gewalt, wie Mord, Kör- 3113 perverletzung, häusliche Gewalt, Menschenhandel und Skla- 3114 verei, Zwangssterilisation sowie erzwungene Abtreibung 3115 sowie emotionale und psychische Gewalt, wie Missbrauch, 3116 Erniedrigung und Gefangenschaft und sozioökonomische 3117 Gewalt, wie Diskriminierung oder Verweigerung von Chancen 3118 und Dienstleistungen sowie Verhinderung der Ausübung und 3119 des Genusses bürgerlicher, sozialer, wirtschaftlicher, kulturel- 3120 ler und politischer Rechte, gehören.

GESCHLECHTER- BASIERTE GEWALT UND WAFFEN 3121 Die Kultur der Gewalt, die den oben nachgegangenen Normen 3122 militarisierter Männlichkeit innewohnt, hat Auswirkungen auf 3123 Waffenkultur und Waffenbesitz. Aus dieser Perspektive wer- 3124 den Waffen als wesentlicher Bestandteil von Macht angese- 3125 hen (Cohn et al. 2006). Autonome Waffensysteme mit ihrem 3126 Potenzial, den Gewaltbereich auszuweiten, ohne das Men- 3127 schenleben der entsendenden Truppe zu gefährden, werden 3128 da keine Ausnahme bilden. Darüber hinaus können alle Waf- 3129 fen zur Begehung von geschlechterbasierter Gewalt einge- 3130 setzt werden – auch autonome Waffen. Sowohl die Kultur als 3131 auch der Auftrag geschlechterbasierter Gewalt sind in dieser 3132 Technologie beinhaltet. 3133 Als ein Anzeichen dafür lassen sich bewaffnete Droh- 3134 nen betrachten. Laut einem ehemaligen Drohnenpilot des 3135 Joint Strike Operating Command (JSOC), der von The Intercept Ray Acheson – Feminismus und autonome Waffensysteme 97 3136 interviewt wurde, ist „Sky Raper“ ein Spitzname für bewaff- 3137 nete Drohnen (Scahill & Greenwald 2014). Bei einem Beinamen 3138 wie diesem geht es um gewalttätige Maskulinität, die das Ver- 3139 halten von Soldat*innen dominiert und lenkt – unverwundbare 3140 Krieger*innen, die der Strafverfolgung wegen Vergewaltigung 3141 und Kriegsverbrechen auf und neben dem Schlachtfeld gegen- 3142 über immun sind. So wird die Institutionalisierung von Verge- 3143 waltigung als Kriegswerkzeug gestärkt (Corbett 2015). Dar- 3144 über hinaus ist ein solcher Name auch eine offenkundige 3145 Sexualisierung der Natur imperialer Gewalt: Diejenigen, die 3146 Waffen aus der Ferne bedienen, setzen sie unrechtmäßig in 3147 anderen Ländern ein, dringen ohne Zustimmung ihrer Regie- 3148 rungen in deren Grenzen ein. Der „Sky Raper“ repräsentiert 3149 die „weiße westliche phallische Macht“, welche Macht und 3150 Männlichkeit über „die Anderen“ durchsetzt (frei übersetzt 3151 nach Puar & Amit 2002: 137). 3152 Das Bild von Vergewaltigung und nicht einvernehm- 3153 lichen Aktivitäten ist in diesem Kontext keine Anomalie. Eine 3154 Kultur der sexuellen Gewalt – und der darauffolgenden Immu- 3155 nität – ist Teil der Kultur von Dominanz und Unangreifbarkeit, 3156 die wiederum Teil der zielgerichteten Entwicklung von gewalt- 3157 tätigen Männlichkeiten und eines „Kriegerethos“ durch das 3158 Militär ist (Enloe 1990; Barrett 1996; Eichler 2014). 3159 Deshalb ist das Argument, dass ein Vorteil von auto- 3160 nomen Waffen darin besteht, dass sie nicht vergewaltigen, so 3161 absurd. Killerroboter können so programmiert werden, dass 3162 sie vergewaltigen (Carpenter 2014). Eine Maschine, die so pro- 3163 grammiert werden kann, dass sie sich in städtischen Gebieten 3164 bewegt und mit Menschen kämpft, kann auch so program- 3165 miert werden, dass sie Menschen sexuelle Gewalt zufügt. Im 3166 Gegenteil zu einer*m menschlichen Soldat*in würde eine 3167 autonome Waffe, die programmiert ist zu vergewaltigen, nicht 3168 zögern, dies auch zu tun. 3169 Die Behauptung „Roboter vergewaltigen nicht“ basiert 3170 nicht nur auf den technischen Fähigkeiten der Maschinen: Sie 3171 basiert auch auf der Annahme, dass Vergewaltigung in der 3172 Kriegsführung aus Emotionen geboren wird und aus der „Hitze 3173 des Gefechts“ entsteht. Immer wieder wird sexuelle Gewalt 3174 in Konflikten jedoch sowohl von Staaten als auch von bewaff- 3175 neten Gruppen angeordnet. Vergewaltigung und andere For- 3176 men sexueller und geschlechterbasierter Gewalt waren im 3177 Laufe der Geschichte Teil des Krieges und sind es auch in 3178 heutigen Konflikten noch. Solche Akte werden als Waffen 3179 gegen alle Geschlechts- und Genderidentitäten eingesetzt. 3180 Das Risiko sexueller und geschlechterbasierter Gewalt 3181 ist während und nach Konflikten ebenfalls verstärkt. Krieg 3182 destabilisiert Gemeinschaften und verschärft die bereits 3183 bestehenden geschlechterbasierten Ungleichheiten sowie die 3184 Unterdrückung von Frauen, Mädchen, LGBTQ+ und anderen, 3185 die nicht den gesellschaftlichen Standards von Geschlechter- 3186 normen entsprechen. Bei der Behauptung „Roboter vergewal- 3187 tigen nicht“ muss also nicht nur die Maschine, welche eine 3188 solche Handlung ausführt, genauer betrachtet werden, son- 3189 dern auch die Art und Weise, in der autonome Waffensysteme 3190 die Hemmschwelle für Gewaltanwendung senken können, 3191 was wiederum immer mehr Gemeinschaften vor die Situation 3192 stellt, dass sexuelle und geschlechterbasierte Gewalt in der 3193 gesamten Gesellschaft zunehmen kann.

Robotik 98 SIGNATURE STRIKES UND GENDER- BASIERTE GE WA LT 3194 Es ist wichtig anzuerkennen, dass sexuelle Gewalt nicht die 3195 einzige Form von geschlechterbasierter Gewalt ist, die mit 3196 autonomen Waffen möglich ist. Gezielte Hinrichtungen oder 3197 Inhaftierungen bestimmter Personen auf der Grundlage des 3198 Geschlechts ist eine weitere Möglichkeit, diese Waffensys- 3199 teme einzusetzen, um geschlechterbasierte Gewalt zu erleich- 3200 tern oder zu begehen. 3201 Es wird berichtet, dass die Mehrheit der US-Droh- 3202 nenschläge auf Grundlage von Signature Strikes, gezielten 3203 Tötungen, ausgeführt wurden. Dokumente, die The Intercept 3204 2015 zugespielt wurden, zeigen, wie Signature Strikes auf der 3205 Grundlage von „intelligence“ durchgeführt werden: Informa- 3206 tionen, die aus Video-Feeds, E-Mails, sozialen Medien, Spiona- 3207 geflugzeugen und Mobiltelefonen gesammelt wurden (Currier 3208 2015). Die „intelligence“ wird durch den Einsatz von Algorith- 3209 men auf Muster analysiert. Menschen werden dann auf der 3210 Grundlage beobachteter Merkmale angegriffen, ohne dass 3211 wesentliche Informationen über die tatsächliche Identität 3212 oder Zugehörigkeit vorliegen (Heller 2013). Sie werden auf- 3213 grund von „Informationen angegriffen, die auf der Basis von 3214 Verhaltensanalyse und einer Logik der Präemption zu Ikonen 3215 für zu tötende Körper werden“ (frei übersetzt nach Wilcox 3216 2017: 6). 3217 Der Mangel an Transparenz im Kontext bewaffneter 3218 Drohneneinsätze macht es schwierig zu erkennen, nach wel- 3219 chen Standards bestimmt wird, wie Personen in den Augen 3220 bewaffneter Drohnennutzer*innen zu einem legalen Ziel wer- 3221 den. Es gibt jedoch einige Anzeichen dafür, dass die Vereinig- 3222 ten Staaten Männlichkeit als Merkmal für Militanz benutzen 3223 (Becker & Shane 2012). Wie der Bericht „Sex and drone 3224 strikes“ aufzeigt, gibt es zwar keine klare Politik der Vereinigten 3225 Staaten, zwangsweise alle Männer im Militäralter als Kämpfer 3226 einzuordnen, doch das bedeutet nicht, dass das Geschlecht 3227 nicht als eine Komponente eines Merkmals verwendet wird. 3228 Dies weitet sich auch noch aus, wenn die US-Regierung Zivi- 3229 list*innen als „Unbeteiligte“ oder „Kollateralschäden“ eines 3230 Drohnenangriffs betrachtet. Wenn andere, die zusammen mit 3231 dem Ziel getötet werden, ebenfalls Männer im militärischen 3232 Alter sind, können sie allein aufgrund dieses Merkmals als 3233 „Kämpfer“ gezählt werden, wodurch die Statistik der zivilen 3234 Opfer in offiziellen Erfassungen verringert wird. Die Praxis der 3235 Signature Strikes kann so geschlechterbasierte Gewalt be- 3236 gründen (Acheson & Moyes 2014).

Ray Acheson – Feminismus und autonome Waffensysteme 99 3237 Die Praxis der Signature Strikes könnte die Funktion 3238 von autonomen Waffen voraussagen. Bestimmte Waffensys- 3239 teme sind bereits auf breite Charakteristika angewiesen, um 3240 beurteilen zu können, ob ein bestimmtes Objekt in einem Ein- 3241 satzgebiet ein begründetes Ziel darstellt. Eine autonome Waffe, 3242 die ohne menschliche Analyse oder Kontrolle, Sensoren zur 3243 Bestimmung und Bekämpfung von Zielen einsetzt, wird bei 3244 der Entmenschlichung von Personen weiter gehen als jede 3245 bisherige Waffentechnologie. 3246 Ein Waffensystem, das ohne bedeutende menschli- 3247 che Kontrolle arbeitet, wird sich schließlich auf „Zielprofile“ 3248 stützen, um festzulegen, welche „die Bedingungen, unter 3249 denen ein solches System Gewalt anwendet“ sind (frei über- 3250 setzt nach Moyes 2019: 1). Ein Zielprofil könnte Infrarot-Emis- 3251 sionen, Formen oder biometrische Informationen enthalten. 3252 Es wird Menschen aktiv auf Objekte reduzieren – auf Einsen 3253 und Nullen–, von Sensoren und Software auf Grundlage ihres 3254 Geschlechts, ihrer Ethnie, ihres Alters oder anderer physiolo- 3255 gischer oder soziologischer Merkmale für den Tod oder die 3256 Inhaftierung markiert.

ALGORITHMISCHE VORURTEILE 3257 Aufgrund dessen ist eine intersektionale Perspektive – die 3258 Erfahrungen von Menschen auf Grund von race, Klasse, Gen- 3259 der, sexueller Orientierung usw. berücksichtigt und analysiert, 3260 und beobachtet, auf welche Weise diese sozialen Kategorien zu 3261 sich überschneidender und unabhängiger Unterdrückung und 3262 Diskriminierung führen – so wichtig, um die Risiken von auto- 3263 nomen Waffensystemen zu beleuchten. Die Bedrohungen durch 3264 autonome Waffen beziehen sich nicht nur auf geschlechter- 3265 basierte Gewalt, sondern auch auf Gewalt gegen Menschen, 3266 die rassifiziert werden, gegen Menschen mit Behinderungen, 3267 oder anderen menschlichen Eigenschaften und „Kategorisie- 3268 rungen“ – die sich durch die Verarbeitung durch Maschinen, 3269 z.B. autonome Waffen, weiter verfestigen werden. 3270 Wie von vielen Techniker*innen und anderen Perso- 3271 nen, die sich gegen die Entwicklung von Überwachungstech- 3272 nologie, wie Gesichts- und Spracherkennungssoftware aus- 3273 sprechen, argumentiert wurde, „sind menschliche Vorurteile 3274 in Algorithmen eingebacken, und die Daten, die wir zur Schu- 3275 lung von machine learning Programmen nutzen, spiegeln oft 3276 unsere eigene patriarchale Gesellschaft mit ihren Klassen- 3277 und Rassismusproblemen wider“ (frei übersetzt nach Hunt 3278 2018; siehe auch Benjamin 2019; Buolamwini et al. 2020). 3279 Gesichtserkennungssoftware kämpft damit, People of Colour 3280 zu erkennen; die Stimmerkennung schafft es nicht, auf Frau- 3281 enstimmen oder nicht-nordamerikanische Akzente zu reagie- 3282 ren; Personen, die in einer Küche stehen, werden auf Fotos als 3283 Frauen gekennzeichnet; Personen wird die Freilassung auf 3284 Kaution verweigert, weil ein Programm entschieden hat, dass 3285 Women of Colour eher nochmals eine Straftat begehen, als 3286 weiße Frauen. Robotik 100 3287 Wir können uns vorstellen, inwiefern diese „Fehler“ 3288 katastrophale Konsequenzen haben werden: Bisher haben sie 3289 bereits dazu geführt, dass Menschen vor ihrem Prozess ohne 3290 die Möglichkeit der Kaution festgehalten wurden (Simonite 3291 2020), oder dass Kongressmitglieder fälschlicherweise als 3292 Personen identifiziert wurden, die verhaftet wurden (Snow 3293 2018), oder dass behauptet wurde, sexuelle Orientierung sei 3294 anhand von Gesichtern bestimmbar (Fussel 2020). 3295 Über die Vorstellung hinaus, dass Vorurteile in der 3296 Programmierung zu Fehlern in der Identifikation von Zielen 3297 führen, besteht auch das Risiko, dass die Vorurteile der Maschi- 3298 nen keine Fehler sind. Wie oben beschrieben, könnten sie 3299 absichtlich so programmiert werden, dass sie auf Personen 3300 zielen, die bestimmte Merkmale oder Identitäten tragen.

ZIELPROFILE UND INTERSEK TIONALE GE WALT 3301 Aktionen wie diese können wir bereits sehen. Trans-Personen 3302 wurden anhand ihrer Kleidung als zu bewachende Objekte 3303 klassifiziert (Beauchamp 2009). Frauen und Mädchen wurden 3304 während Konflikten zum Ziel von sexueller Gewalt und Men- 3305 schenhandel. Bestimmte ethnische Gruppen wurden zu Opfern 3306 von Völkermorden. 3307 Die Vorstellung, dass autonome Waffensysteme diese 3308 Art von Gewalt erleichtern könnten, ist nicht sehr weit herge- 3309 holt. Nicht bloß im Kontext bewaffneter Konflikte, sondern 3310 auch Überwachungssituationen oder zur Unterdrückung von 3311 Minderheiten, Immigrant*innen oder anderen Personengrup- 3312 pen. Autonome Waffen könnten so programmiert werden, 3313 dass sie auf aktivistische People of Colour oder auf indigene 3314 Wasserschützer*innen, auf Frauen im öffentlichen Raum oder 3315 auf ganze ethnische oder religiöse Gruppen zielen. 3316 Diese Art von Technologie ist ein logischer Schritt in 3317 dem sich immer weiter ausbreitenden technologischen Pan- 3318 optikum, das viele Länder, und sogar unsere gesamte Welt, in 3319 eine dystopische Zukunft der totalen Überwachung und Kon- 3320 trolle zu versenken droht.4 Unmittelbarer betrachtet haben 3321 autonome Waffen einen direkten Einfluss auf die Funktions- 3322 weise anderer bestehender Technologien und Politiken, die 3323 Teil dieses Panoptikums sind, darunter Praktiken, wie die Bro- 3324 ken-Windows-Theorie und Community Policing, und auch 3325 Technologien der Gesichtserkennung und der vorausschau- 3326 enden Überwachung. 3327 Aktivist*innen, die sich gegen Polizeibrutalität stellen, 3328 haben diesen Zusammenhang bereits aufgezeigt. „Ähnlich der 3329 Administrationspolitik von Signature Strikes unter Obama, […] 3330 ist die Schuldvermutung aufgrund von Racial Profiling ein Ray Acheson – Feminismus und autonome Waffensysteme 101 3331 wesentlicher Bestandteil der Polizeiarbeit in Bezugnahme der 3332 Broken-Windows-Theorie“, schreibt Robin D. G. Kelley (frei 3333 übersetzt nach Kelley 2016: 47). Andere, wie auch Jackie 3334 Wang (2018: 240-241) haben davor gewarnt, wie vorherse- 3335 hende Überwachungstechnologien, auch wenn sie nicht expli- 3336 zit Racial Profiling einsetzen, „Racial Profiling erleichtern kön- 3337 nen, indem sie Stellvertreter für Race, wie Nachbarschaft und 3338 Standort, berechnen“. Dies ähnelt der Funktionsweise von 3339 Signature Strikes, bei denen das Geschlecht (Männlichkeit) als 3340 Stellvertreter für Kämpfer und damit als ein vertretbares Ziel 3341 festgelegt wird. 3342 Diese Überwachungspraktiken und -strategien geben 3343 Aufschluss über die derzeit entwickelten und benutzten Tech- 3344 nologieformen. Technologiefirmen stellen den Polizeikräften 3345 bereits zunehmend autonome Technologien zur Verfügung, 3346 darunter ferngesteuerte Überwachungsroboter zusammen mit 3347 Cloud-Computing-Netzwerken, Gesichtserkennungssystemen 3348 und mehr. Große und kleine Technologieunternehmen arbeiten 3349 aktiv an der Entwicklung von Systemen für den polizeilichen 3350 und militärischen Einsatz und bewerben diese Produkte zu 3351 ihrem Zweck (Kwet 2020).

4 Das Panoptikum war eine Baustruktur für Gefängnisse, die von Jeremy Bentham entworfen wurde, um die physische und psychische Kontrolle über die Inhaftierten jederzeit herzustel- len und aufrechtzuerhalten. Obwohl Benthams Panoptikum nie gebaut wurde, war es ein Entwurf für die Technologien von Über- wachung, Kontrolle und Inhaftierung. Im Laufe der Zeit wurden die Technologien, die vom US-Militär zur Überwachung „feindlicher Kämpfer“ im Ausland und vom karzeralen System zur Überwa- chung und Kontrolle rassifizierter Bevölkerungsgruppen im Inland entwickelt wurden, zunehmend von Polizeikräften und Grenz- patrouillen eingesetzt.

ZUSAMMENFASSUNG 3352 Wir sind dabei eine Welt zu errichten, in der die Mehrheit der 3353 Menschen als „die Anderen“ angesehen und behandelt wer- 3354 den – als Objekte kategorisiert, kontrolliert, eingesperrt und 3355 getötet. In diesem Kontext stellen autonome Waffensysteme 3356 eine besonders ungeheure Gefahr für unseren Schutz und 3357 unsere Sicherheit dar. Die Kennzeichnung bestimmter Bevöl- 3358 kerungsgruppen als Bedrohung, nur weil sie Merkmale oder 3359 Verhaltensweisen aufweisen, die als verdächtig gelten oder 3360 einem Zielprofil entsprechen, hat Auswirkungen auf die Nor- 3361 malisierung und Abstraktion von Gewalt, die über das hinaus- 3362 gehen, dem unsere Welt bisher ausgesetzt ist. 3363 Um diesen Entwicklungen vorzubeugen, ist es maß- 3364 gebend, sich nicht nur gegen autonome Waffen als materielle 3365 Technologien auszusprechen, sondern auch gegen die umfas- 3366 sendere Politik und die Strukturen, die ihre Entwicklung und 3367 ihren Einsatz erleichtern und zu rechtfertigen versuchen. Dies 3368 erfordert ein Verständnis der Philosophie, die ihnen zugrunde 3369 liegt: Patriarchat, Rassismus und andere Systeme der Norma- 3370 tivität und der Kontrolle über menschliches Verhalten und Robotik 102 3371 menschliche Körper. Feministische, antirassistische, queere, 3372 behindertengerechte und andere Perspektiven und Denk- 3373 schulen können dazu beitragen, diese Analyse in einer Weise 3374 zu untermauern, wie es die dominanten Diskurse über Sicher- 3375 heit oder Militarismus nicht tun. 3376 Kurz gesagt, während wir daran arbeiten, die Ent- 3377 wicklungen autonomer Waffen zu verhindern, müssen wir 3378 über den „Killer Roboter“ hinausschauen und unseren Blick, 3379 wie auch unsere Bemühungen gegen das System der Unter- 3380 drückung und der Dominanz wenden, das nach der Konstruk- 3381 tion dieser autonomen Waffensysteme strebt.

Ray Acheson ist Direktorin von Reaching Critical Will, dem Ab- rüstungsprogramm der Women‘s International League for Peace and Freedom (WILPF). In ihrer Arbeit fordert sie Militaris- mus, Patriarchat und Kapitalismus als grundlegende Kriegs- ursachen heraus und bringt einen intersektional-feministische Ansatz für Abrüstung und Antikriegsarbeit bei den Vereinten Nationen und darüber hinaus ein.

Ray Acheson – Feminismus und autonome Waffensysteme 103 LITER ATUR Acheson, Ray & Moyes, Richard (2014) Sex and drone strikes: gender and identity in targeting and casualty recording, New York: Reaching Critical Will of the Women’s International League for Peace and Freedom and Article 36. Ankerson, Christopher (2020) „Melancholic and Fascinated: Artificial Intelligence, Authentic Humanity, and the Future of War,“ in: Wavell Room, 30.06.2020 Arkin, William & Dobrofsky, Lynne (1978) „Military socialization and masculinity,“ Journal of Social Issues 34(1), 151–168. Barrett, Franck (1996) „The Organizational Construction of Hegemonic Masculinity: The Case of the US Navy,“ Gender, Work and Organization 3(3), 129–142. Beauchamp, Toby (2009) „Artful Concealment and Strategic Visibility: Transgender Bodies and U.S. State Surveillance After 9/11,“ Surveillance & Society 6(4), 356–366. Becker, Jo & Shane, Scott (2012) „Secret ‘Kill List’ Proves at Test of Obama’s Principles and Will,“ in: The New York Times, 29.05.2012. Benjamin, Ruha (2019) Race After Technology: Abolitionist Tools for the New Jim Code, New York: Polity Press. Buolamwini, Joy; Agarwal, Aaina; Hughes, Nicole & Costanza-Chock, Sasha (2020) „We Must Fight Face Surveillance to Protect Black Lives: An urgent letter from the Algorithmic Justice League,“ in: Medium, 3.6.2020. Carpenter, Charli (2014) „Robot Soldiers Would Never Rape: Un-packing the Myth of the Humanitarian War-Bot,“ in: Duck of Minerva, 14.05.2014. Cohn, Carol, Hill, Felicity & Ruddick, Sara (2006) The Relevance of Gender for Eliminating Weapons of Mass Destruction, The Weapons of Mass Destruction Commission, No. 38. Connell, Raewyn W. (1995) Masculinities, Berkeley: University of California Press. Corbett, Erin (2015) „On Nicknaming Predators,“ in: The Feminist Wire, 22.06.2015. Currier, Cora (2015) „The kill chain: the lethal bureaucracy behind Obama’s drone war,“ in: The Intercept, 15.10.2015. Eichler, Maya (2014) „Miltarized Masculinities in International Relations,“ Brown Journal of World Affairs XXI(I), 81–93. Enloe, Cynthia (1988) „Beyond ‘Rambo’: Women and the Varieties of Militarized Masculinity,“ Women and the Military System, Isaakson, Eva (ed.), New York: St. Martin’s Press, 71–93. Enloe, Cynthia (1990) Bananas, Beaches, and Bases, Berkeley: University of California Press. Foucault, Michel (1977) Discipline and Punish: The Birth of the Prison, New York: Vintage Books. Fussel, Sidney (2020) „An Algorithm That ‘Predicts’ Criminality Based on a Face Sparks a Furor,“ in: Wired, 24.06.2020. Harding, Sandra (1986) The Science Question in Feminism, Ithaca: Cornell University Press. Heller, Kevin Jon (2013) „One Hell of a Killing Machine: Signature Strikes and International Law,“ Journal of International Criminal Justice 11(1), 89–119.

Robotik 104 hooks, bell (2010) Understanding Patriarchy, Louisville: Louisville Anarchist Federation. Hunt, Erin (2018) „Autonomous weapons and bias,“ Presentation to the CCW Group of Governmental Experts on Lethal Autonomous Weapons side event What’s Gender Got To Do With It? Feminist Approaches to Disarmament and LAWS, United Nations, Geneva, 30.8.2018. Kelley, Robin D. G. (2016) „Thug Nation: On State Violence and Disposability,“ in Policing the Planet: Why the Policing Crisis Led to Black Lives Matter, Camp, Jordan T. & Heatherton, Christina (eds.), New York: Verso Books, 37–66. Kimmel, Michael S. & Messner, Michael A. (1989) Men’s Lives, New York: Macmillan. Kwet, Michael (2020) „The Microsoft Police State: Mass Surveillance, Facial Recognition, and the Azure Cloud,“ in: The Intercept, 14.07.2020. Lorberg, Judith (1994) Paradoxes of Gender, New Haven: Yale University Press. McDonald, Henry (2019) „Ex-Google worker fears ‘killer robots’ could cause mass atrocities,“ in: The Guardian, 15.09.2019. Morgan, David H. J. (1994) „Theater of War: Combat, the Military, and Masculinities,“ in Brod, Harry & Kaufman, Michael (eds.) Theorizing Masculinities, Thousand Oaks, CA: Sage. Moyes, Richard (2019) Target profiles, London: Article 36. Privacy International (2017) Challenging Patriarchy Through the Lens of Privacy. Puar, Jasbir K. & Rai, Amit (2002) „Monster, Terrorist, Fag: The War on Terrorism and the Production of Docile Patriots,“ Social Text 20(3), 117–148. Scahill, Jeremy & Greenwald, Glenn (2014) „The NSA’s secret role in the U.S. assassination program,“ in: The Intercept, 10.02.2014. Shaw, Ian G.R. (2016) Predator Empire: Drone Warfare and Full Spectrum Dominance, Minneapolis: University of Minnesota Press. Simonite, Tom (2020) „Algorithms Were Supposed to Fix the Bail System. They Haven’t,“ in: Wired, 19.02.2020. Snow, Jacob (2018) „Amazon’s Face Recognition Falsely Matched 28 Members of Congress With Mugshots,“ in: American Civil Liberties Union, 26.7.2018. Wajcman, Judy (2009) „Feminist theories of technologies,“ Cambridge Journal of Economics 34(1), 1–10. Wang, Jackie (2018) Carceral Capitalism, Cambridge: The MIT Press. Wilcox, Lauren (2017) „Embodying algorithmic war: Gender, race, and the posthuman in drone warfare,“ Security Dialogue, 48(1), 11–28.

Ray Acheson – Feminismus und autonome Waffensysteme 105 Robotik 7

HAR MONY ’S FUTURE — NO FUTURE W/ O HAR MONY • CONSTANZE ERHARD

107 WER IST HAR MONY? 3382 „Your perfect companion in the palm of your hands“: So preist 3383 die US-amerikanische Firma RealBotix1 ihr ehrgeiziges Projekt 3384 auf ihrer Homepage an: Harmony (Realbotix 2019). Eine robo- 3385 tisierte Sexpuppe, die ihren Kopf und ihre Gesichtszüge bewe- 3386 gen, auf Berührungen reagieren sowie sprechen kann. Har- 3387 mony besteht aus einem Roboter-Kopf, der sich auch auf 3388 ältere Puppenmodelle derselben Firma montieren lässt und 3389 dessen Sprechmodul durch eine auf einem externen Daten- 3390 träger zu speichernde App kontrolliert wird. Seit 2018 ist 3391 diese App verfügbar und kostet 29,99 US-Dollar jährlich. 3392 Auch ohne Roboter-Kopf und -Körper lässt sich die App 3393 benutzen und es können mehrere – voneinander unabhängige 3394 – Avatare erstellt werden. In der App können Harmonys (mul- 3395 tiple) Persönlichkeit(en) nach individuellen Wünschen einge- 3396 richtet werden – soll sie verspielt, verführerisch, schüchtern 3397 oder liebevoll sein? Ebenso individuell kann der Körper gestal- 3398 tet werden: Haar-, Augen- und Hautfarbe, Gesichts- und Kör- 3399 pertyp, Brustgröße, Gestaltung der Genitalien etc. Harmonys 3400 ‚Schwester‘ Solana, seit 2019 auf dem Markt, soll nach ‚Lati- 3401 na-Charakterzügen‘, d.h. nach klassischen Stereotypen von 3402 Latina-Frauen (‚temperamentvoll‘, ‚aufbrausend‘) gestaltet sein. 3403 Das einzige männliche Modell von RealBotix soll Henry heißen 3404 und ist bislang (Stand Juli 2020) noch nicht auf dem Markt. 3405 Die App selbst scheint recht bezahlbar. Doch noch 3406 dürfte Harmonys Robo-Kopf mit knapp 10.000 Dollar für die 3407 meisten Personen nicht finanzierbar sein. Den Voraussagen 3408 des britischen Computerexperten David Levy (2009) zufolge 3409 wird es allerdings bis 2050 erstens völlig ‚normal‘ sein, eine 3410 Beziehung mit einer:m Sexroboter:in2 zu führen und diese 3411 etwa zu heiraten, und zweitens wird die Verbreitung zu einer 3412 Senkung der Kosten führen, sodass wir alle mit unseren 3413 Traumsexpartner:innen im Techno-Himmel schwelgen können. 3414 Aus feministischer Perspektive stellt Harmony un- 3415 zweifelhaft eine problematische Verkörperung weiblicher 3416 ‚Idealformen‘ dar, die sich derzeit an mainstream-pornogra- 3417 phischen Fetischisierungen orientiert und diese kommodifi- 3418 ziert, also als käufliche Ware ‚verpackt‘. Diesem Problem ließe 3419 sich vergleichsweise einfach mit der Diversifizierung der 3420 abgebildeten Formen (vgl. Devlin 2018) oder der Orientierung 3421 an feministischer Pornographie (vgl. Danaher 2019) begeg- 3422 nen – wobei diese Lösungsvorschläge freilich der Kommodi- 3423 fizierung selbst keinen Abbruch täten. So erklärt etwa die 3424 feministische Philosophin Rosi Braidotti, dass technologische 3425 Neuerungen niemals neutral sind, sondern u.a. aufgrund ihrer 3426 Kommodifizierung bestehende Ungleichheiten noch verstär- 3427 ken: „the consumer-minded techno-hype […] confirms the 3428 traditional entitlements of a subject position that is made to 3429 coincide with a masculine, white, heterosexual, European 3430 identity“ (Braidotti 2011: 78). Außerdem konstatiert sie, dass 3431 „technobodies“ den ‚reinen Körper‘ als passive Materie (Metall 3432 und Silikon) oder einen perfektionierten, von all den ‚un- 3433 angenehmen‘ Folgen von Leiblichkeit (Körperflüssigkeiten, 3434 Gewichtsveränderungen, Altern, Schwangerschaft) ‚bereinig- 3435 ten‘ Körper versinnbildlichen, was herkömmliche Bilder von 3436 Männlichkeit (aktiv, hart) und Weiblichkeit (passiv, weich) 3437 reproduziert (Braidotti 2002: 231f.). Diese Aspekte betreffen Robotik 108 3438 jedwede Puppe für sexuellen Gebrauch. In diesem Beitrag 3439 möchte ich mich jedoch darauf konzentrieren, was dies spezi- 3440 fisch in Bezug auf robotisierte Sexpuppen (Sexbots) bedeutet. 3441 Aus meiner Sicht liegt das Spezifikum von Sexbots – für die 3442 ich Harmony als prominentestes Beispiel heranziehe – in ers- 3443 ter Linie nicht in ihrer Bewegungsfähigkeit, sondern in ihrer 3444 Ausstattung mit einer KI. Ich werde daher einige Überlegun- 3445 gen vorstellen, die auf die hiermit einhergehenden Dimensio- 3446 nen von Vergeschlechtlichung aufmerksam machen. Denn die 3447 KI macht Harmony zu mehr als einem ‚simplen‘ Masturbations- 3448 gegenstand: Sie versetzt Harmony in die Lage, sexualisierte 3449 Care-Arbeit zu übernehmen. Dies trägt, wie ich argumentiere, 3450 zur Bestärkung eines maskulinen Subjekts bei, wie es Brai- 3451 dotti analysiert. In diesem Zuge argumentiere ich, dass die 3452 gegenwärtige feministische Kritik sich der folgenden Frage 3453 stellen muss: Wie lässt sich die spezifische Verquickung von 3454 Sexualität und emotionaler Arbeit, die die KI ermöglicht, 3455 gesellschaftstheoretisch fassen? Bevor ich mich dieser Frage 3456 in Abschnitt 3 widme, möchte ich auf einige Sackgassen der 3457 aktuellen Debatte um Sexbots hinweisen.

1 Realbotix ist ein Ableger der im kalifornischen Silicon Valley ansässigen Firma AbyssCreations, zu der auch die Tochterfirma RealDolls gehört. CEO und kreativer Kopf ist der Erfinder Matt McMullen. 2 In Anbetracht dessen, dass Sexbots stark vergeschlech- tlicht typisiert werden, ist m. E. die Verwendung gegenderter Schreibweise wichtig, um diese Vergeschlechtlichung sichtbar zu machen.

DIE AKTUELLE DEBATTE 3458 Was macht das Phänomen der Sexbots eigentlich so streit- 3459 bar? Für die britische Anthropologin Kathleen Richardson 3460 stellen sie jedenfalls ein großes Unheil der Menschheit dar. Sie 3461 hat im Jahr 2015 die Campaign Against Sex Robots ins Leben 3462 gerufen, und zwar als Reaktion auf David Levys Behauptung, 3463 Sexbots stellten einen Ausweg aus moralischen Dilemmata in 3464 Bezug auf die Befriedigung ‚perverser sexuelle Vorlieben‘ 3465 (etwa Gewaltfantasien oder Pädophilie) und Sexarbeit dar 3466 (Levy 2009: 194). Levys Behauptung speist sich aus seiner 3467 Haltung, Sexbots als technologische Innovation und Lösung 3468 für ein gesellschaftliches Problem zu präsentieren: Menschen 3469 haben sexuelle Bedürfnisse und zu wenig Möglichkeiten diese 3470 auszuleben. Aus diesem Grund gibt es Umwege, diese Bedürf- 3471 nisse auszuleben, wie etwa Sexarbeit – doch dies führt zu 3472 weiteren moralischen Problemen. Enter Harmony: Sexbots 3473 können in dieser Perspektive die gleiche Funktion erfüllen wie 3474 Sexarbeit und als „Ventilsitte“ dienen, wie es der Soziologe Constanze Erhard — Harmony’s Future | No Future w/o Harmony 109 3475 Helmut Schelsky formuliert hat: als notwendiges Nebenpro- 3476 dukt monogamer, bürgerlich-repressiver Sexualitätsnormen 3477 (Schelsky 1962: 42).3 Die Metapher des Ventils ist kein Zufall: 3478 Schelsky naturalisiert hier eine Vorstellung vom menschlichen 3479 (männlichen) Körper als Analogon zur Dampfmaschine. Diese 3480 Analogie beschreibt Yvonne Bauer als „industrielle[n] Lust- 3481 körper“ des 19. Jahrhunderts (Bauer 2005), eine Körpermeta- 3482 pher, die biologische und technologische Bilder ineinander 3483 verschränkt. Sie basiert auf der Vorstellung, dass sich sexuel- 3484 ler Trieb im Körper anstaut, wenn er nicht regelmäßig „entla- 3485 den“ wird; Sexualität wird also als eine schubartige „Entla- 3486 dung“ von Energie gedacht (vgl. Bauer 2005: 40). Der Fokus 3487 liegt hierbei auf der Betrachtung des männlich-heterosexuel- 3488 len Körpers. Als Idealzustand wird eine Gesellschaft gesehen, 3489 die es den Subjekten erlaubt, ihren Körper in einem Gleich- 3490 gewicht zu halten und von ‚künstlichen‘ Beschränkungen 3491 (gesellschaftlichen Sexualnormen) zu befreien, da diese einen 3492 ungesunden Energiestau bewirken (ebd.: 42). Doch diese 3493 Hypothese einer Repression sexuellen Begehrens naturalisiert 3494 sexuelles Begehren als Entladung und verschleiert die gesell- 3495 schaftliche Konstruiertheit der Dampfmaschinenmetapher, 3496 weil sie als Beschreibung einer unveränderlichen Natur ver- 3497 wendet wird. Der Energiestau bahnt sich ‚naturgemäß‘ den 3498 Weg nach draußen. In die Falle der Naturalisierung tappt also 3499 auch Levy, wenn er unkritisch behauptet, Sexbots könnten als 3500 ‚Ventil‘ für negative sexuelle Energien dienen. Seine Stilisie- 3501 rung von Sexbots zu Heilsbringerinnen transportiert somit ein 3502 bestimmtes gesellschaftliches Bild von Sexualität. 3503 Kathleen Richardson, Levys prominenteste Kritikerin, 3504 macht jedoch einen ähnlichen Fehler. Analog zu den Kampa- 3505 gnen aus den 1980ern für ein Verbot von Prostitution und Por- 3506 nographie fordert ihre Campaign Against Sex Robots ein 3507 gesetzliches Verbot von Sexroboter:innen (z.B. Richardson 3508 2015; Gildea & Richardson 2017). Richardsons Kritik an Sex 3509 mit Sexbots lautet, dass damit Intimität kommodifiziert werde 3510 (Richardson 2015: 290). Wenngleich diese Beobachtung nicht 3511 ganz falsch ist, wie ich weiter unten zeigen werde, erhebt 3512 Richardson gerade die Verbindung von Sexualität und Intimi- 3513 tät zum Kernpunkt des Menschlichen an sich (Gildea & Richard- 3514 son 2017). In dieser Perspektive ist Sexualität also schon 3515 immer mit Intimität verbunden gewesen. Dass Sexualität, 3516 Emotionalität und Intimität als zusammengehörig betrachtet 3517 werden, ist jedoch mitnichten eine anthropologische Kons- 3518 tante, sondern ist erst im 19. Jahrhundert vor dem Hintergrund 3519 der bürgerlich-romantischen Vision von Liebe entstanden (u.a. 3520 Illouz 2018). Somit wirkt Richardsons Perspektive naturalisie- 3521 rend, da sie dieses eigentlich historisch gewordene Liebes- 3522 ideal als etwas ‚Natürliches‘ und als absoluten Maßstab für 3523 gelungene Sexualität (bzw. sogar Menschlichkeit) setzt (vgl. 3524 auch Kubes 2019: 14). 3525 Die historisch gewachsene Dreifaltigkeit von Sexua- 3526 lität, Emotionalität und Intimität bildet gerade die Grundlage 3527 dessen, was ich als sexualisierte Care-Arbeit bezeichne.

3 Zur gesellschaftstheoretischen Einordnung dieser Theoreme rund um Sexarbeit siehe Kontos 2014.

Robotik 110 SEXUALITÄT UND INTIMITÄT: SEXUALISIERTE CARE-ARBEIT 3528 Die Entstehung des Individualismus und der monogamen, 3529 heteronormativen bürgerlichen Kleinfamilie bedingten die 3530 häusliche Privatheit als Hort von Intimität und reproduktiver 3531 Sexualität. Damit einher ging eine klare Arbeitsaufteilung, die 3532 der Ehefrau im Heim die Aufgabe eines häuslichen ‚Rückfall- 3533 netzes‘ antrug, das die Wiederherstellung (männlich-)produk- 3534 tiver Arbeitskraft durch materielle handwerkliche Fertigkeite 3535 – (ver)sorgende und pflegende Tätigkeiten, Kochen, Waschen, 3536 Putzen, Flicken) – und emotionale Arbeit – Kindererziehung, 3537 das Knüpfen und Aufrechterhalten sozialer Kontakte, Freund- 3538 lichkeit und Zuwendung – gewährleistete (Penz 2014: 242; 3539 Winker 2015: 18). Indem diese Tätigkeiten als ‚Liebesdienst‘ 3540 bezeichnet werden, stellen sie bis heute eine weitgehend 3541 unbezahlte ‚Hintergrundfolie‘ für produktive, d.h. Mehrwert 3542 schaffende und daher zu entlohnende Arbeit dar, die von Män- 3543 nern verrichtet wird. Im Dienstleistungssektor hingegen sind 3544 die affektiven Komponenten ‚weiblicher‘ Tätigkeiten insbe- 3545 sondere seit den 1970er Jahren dominant geworden, sodass 3546 die möglichst authentische Darstellung positiver Gefühle als 3547 Teil der Arbeitstätigkeit erwartet wird, was sich etwa durch 3548 die Anforderung eines freundlichen und empathischen Auf- 3549 tretens äußert (Hochschild 1983). Diese oft als ‚Feminisierung‘ 3550 der Wirtschaft bezeichnete Entwicklung hat freilich kaum 3551 eine namhafte Veränderung der gesellschaftlichen Machtver- 3552 hältnisse bewirkt und ist in dieser Hinsicht ein äußerst zwei- 3553 schneidiges Schwert (Braidotti 2002: 15). Hochschild beschreibt 3554 die kommodifizierende Regulierung von Gefühlen im Dienst- 3555 leistungsbereich als „Kommerzialisierung des Intimen“ (ebd.). 3556 Hier besteht auch eine Verbindung zur Sexarbeit: Elizabeth 3557 Bernstein hat gezeigt, dass in der Sexarbeit seit den 1990er 3558 Jahren ein verstärkter Trend hin zu „sale and purchase of aut- 3559 hentic emotional and physical connection“ (Bernstein 2007: 3560 192) zu beobachten ist, etwa in Form der sogenannten Girl- 3561 friend Experience „without a headache“ (ebd.: 129), wo Sex- 3562 arbeiterinnen die Simulation einer festen Freundin durch vor- 3563 geblich authentische Gefühle erstellen. Richardsons Argument, 3564 dass Sexualität und Intimität kommerzialisiert werden, enthält 3565 demnach durchaus einen wahren Kern. 3566 Nun ist es eine verbreitete Diagnose, dass den moder- 3567 nen westlichen Gesellschaften die Intimität in den zwischen- 3568 menschlichen Beziehungen verloren gehe. So stellt etwa Eva 3569 Illouz einen Verlust sozialer Bindungen und Bindungsfähigkeit 3570 fest (Illouz 2018: 13), wobei sie erläutert, dass die Zelebrierung 3571 bindungsloser sexueller Begegnungen traditionell und noch 3572 immer meist Vorrecht männlicher Subjekte waren und noch 3573 immer sind (ebd.: 115). Sherry Turkle konstatiert, dass Techno- 3574 logien Bewältigungsstrategien für diesen Verlust in einer Constanze Erhard — Harmony’s Future | No Future w/o Harmony 111 3575 hochindividualisierten Gesellschaft seien. Menschen erwar- 3576 teten von den sie umgebenden technologischen Artefakten 3577 sowohl Abschirmung vor als auch Ersatz für soziale Interak- 3578 tionen (Turkle 2011: xii). Diese Ersatzdimension enthält eine 3579 ‚gereinigte Komponente‘, was sich anhand von KI-Chatbots 3580 wie z.B. „Replika A.I.“ illustrieren lässt. 3581 „Replika A.I.“ wurde von der Firma Luka als „[t]he AI 3582 companion who cares“ entwickelt (Replika A.I.). Es handelt 3583 sich um einen Chatbot, der das Chatverhalten seiner:s Nut- 3584 zer:in spiegelt bzw. repliziert (daher der Name Replika).4 3585 Replika A.I. soll für kleine Kommunikationsaufgaben zur äuße- 3586 ren Welt (z.B. Terminvereinbarungen) eingesetzt werden kön- 3587 nen (Murphy & Templin 2019), aber auch ein Weg für die Nut- 3588 zer:innen sein, ihre „private perceptual world“ (Replika A.I.) via 3589 Chat-Interaktion zu erkunden. In dem Video „Our Story“ auf 3590 der Replika-Homepage wird erklärt, welch großes Vertrauen 3591 die Nutzer:innen zu ihrem Chatbot aufbauen, sodass sie ihm 3592 intime Details mitteilen, als handle es sich um ihre:n beste:n 3593 Freund:in, und dass große therapeutische Vorteile in dieser 3594 Interaktion liegen. Replika A.I. ist dabei eine komplett selbst- 3595 referentielle „blank slate“ (ebd.), da sie gänzlich aus den Infor- 3596 mationen, die von ihrer:m jeweiligen Nutzer:in eingespeist 3597 werden, entsteht, daraus Muster bildet und diese wiederum in 3598 ihrer Sprachausgabe reproduziert. Diese Selbstreferentialität 3599 ist strukturell in die Funktionsweise gängiger algorithmen- 3600 basierter KIs eingeschrieben und stellt auch das Funktions- 3601 prinzip von Harmonys KI dar. In beiden Fällen (Replika A.I. wie 3602 Harmony) wirkt sich die Selbstreferentialität in einer Bestär- 3603 kung des Selbst aus: Die KI interagiert ausschließlich mit einer 3604 Person und lernt somit auch ausschließlich von dieser einen 3605 Person, sodass sie komplett eindimensional zugeschnitten ist. 3606 Unabhängig vom Gender der Nutzer:innen wirkt sich dies 3607 identitätsfestigend aus; Irritationen des Selbst und/oder Ver- 3608 letzungen durch Interaktionen mit anderen Menschen werden 3609 vermieden (Turkle 2011: 10, 51). Im Fall von Replika A.I. – das 3610 nicht für den sexuellen Gebrauch entwickelt wurde, auch 3611 wenn ein Einsatzbereich hier zumindest technisch möglich ist5 3612 – wird diese selbst- und identitätsfestigende Wirkung als posi- 3613 tiver Effekt beschrieben und Replika geradezu als therapeu- 3614 tisches Instrument präsentiert („Our Story“; Replika A.I.). Der 3615 Anspruch an die KI lautet, dass sie möglichst authentisch 3616 Gefühle simulieren soll, um auf die Bedürfnisse des:der User:in 3617 einzugehen. Letztere stehen unbestreitbar im Mittelpunkt, 3618 sodass die KI eine von eigener Subjektivität ‚gereinigte‘ Inter- 3619 aktionsform ermöglicht. 3620 Es sind genau diese Eigenschaften, welche die Sex- 3621 bot mit ihren sowohl physischen als auch emotionalen Fähig- 3622 keiten in die steigende (kommerzielle) Nachfrage nach Intimi- 3623 tät und Sexualität einfügen. In gewisser Weise kombiniert nun 3624 Harmony die gleichen Funktionen wie Replika A.I. mit denje- 3625 nigen von ‚gewöhnlichen‘ Sexpuppen – genau hierin manifes- 3626 tiert sich die Konvergenz von Tätigkeiten im Bereich von 3627 Sexualität und im Bereich von Care, die ich als sexualisierte 3628 Care-Arbeit bezeichne. Und dies ist kein gender-neutraler Vor- 3629 gang, denn wie wirkt sich die Tatsache, dass Harmonys Welt 3630 ausschließlich auf einen Nutzer und dessen Bedürfnisse zuge- 3631 schnitten ist (Langcaster-James & Bentley 2018), im sexuellen 3632 Kontext aus? Auf struktureller Ebene entsteht hier ein soziales 3633 Verhältnis, das die Aufrechterhaltung klassischer maskuliner 3634 Subjektivitäts- und Herrschaftsentwürfe gewährleistet. Die 3635 feministische (Wissenschafts-)Kritik hat darauf hingewiesen, 3636 dass vorgeblich universelle und geschlechtlich neutrale Vor- 3637 stellungen ‚des Menschen‘ als einem von anderen unabhängi- Robotik 112 3638 gen, mit sich selbst identischen und selbstbestimmten Indivi- 3639 duum mit patriarchalen Werten einhergeht (u.a. Haraway 3640 1995; Braidotti 2002). Dies ist nicht ohne einen Verweis auf 3641 die Care-Dimension zu begreifen, da Care-Tätigkeiten als 3642 emotionale Tätigkeiten ins Private verbannt wurden, was mit 3643 einer Unsichtbarmachung der Angewiesenheit des männli- 3644 chen Subjekts auf ebendiese Tätigkeiten einherging. So wird 3645 die Illusion eines autarken, bindungslosen Subjekts aufrecht- 3646 erhalten. Ein dualistisches Verständnis von Care (eine Person 3647 sorgt für die Autonomie der anderen) wird zudem durch die 3648 Zweiteilung von Nutzer und Produkt aufrechterhalten: Der 3649 Nutzer ist im öffentlichen Raum unterwegs und kann sich bei 3650 der Rückkehr in seinen privaten Raum auf emotionale Unter- 3651 stützung durch die Sexbot verlassen, wobei er selbst ent- 3652 scheidet, wie und wann er sie ‚verwendet‘. Zweitens ist die 3653 Interaktion der Nutzer über die KI so gestaltet, dass die KI 3654 ausschließlich von einer Person (ihrem Nutzer) lernt und somit 3655 auch ausschließlich auf diese eine Person und ihre Bedürf- 3656 nisse zugeschnitten ist. So wird jedwede ‚böse‘ Überraschung, 3657 die eine andere Subjektivität mit eigenen Bedürfnissen impli- 3658 zieren würde, vermieden. Die Sexbot ist, mit Braidotti gespro- 3659 chen, die aus patriarchaler Sicht ‚ideale Frau‘: eine Weiblich- 3660 keit, die ‚das Andere‘ zur Männlichkeit darstellt und somit 3661 deren festigender Kontrast ist (Braidotti 2002: 47). 3662 Ich bin mir bewusst, dass die Interaktion mit den Sex- 3663 bots mit großer Wahrscheinlichkeit vielschichtiger und kom- 3664 plexer ist, als es hier erscheint – und dass die Beschaffenheit 3665 von Sexbots auch Care-Tätigkeiten seitens des Nutzers erfor- 3666 dert (Einblicke hierein gewährt die Arbeit der Fotografin Julia 3667 Steinigeweg: Steinigeweg 2016). Auch steht fest, dass Har- 3668 monys sprachliche Interaktionsfähigkeiten freilich noch nicht 3669 vollumfänglich zu überzeugen vermögen, wie Jenny Carla 3670 Morans stichprobenartige Interaktion mit der Harmony-App 3671 zeigt (Moran 2019). RealBotix arbeitet jedoch in Hochtouren 3672 daran, Harmonys Interaktionsfähigkeit zu verbessern. Andere 3673 Chatbots wie Replika A.I. sind hier bereits weit fortgeschrit- 3674 tener – Harmony hat ihr letztes Wort noch nicht gesprochen. 3675 Aber dafür tritt in Morans Untersuchung umso drastischer 3676 hervor, wie stark Harmonys Sprechverhalten von Machtver- 3677 hältnissen wie Geschlecht und race geprägt ist (ebd.: 43f.) 3678 – und wie sehr der Bot auf die (vorgeblichen) Interessen 3679 des Nutzers zugeschnitten ist. Vor dem Hintergrund meiner 3680 Annahme, dass Technologie stets aus spezifischen gesell- 3681 schaftlichen Bedingungen entsteht, geht es mir darum, den 3682 strukturellen Platz, den Harmony einnimmt, aufzuzeigen. Denn 3683 wenn der Erfinder und Realbotix-CEO Matt McMullen selbst 3684 in einem Interview erklärt, dass er seine Sexbots als eine Art 3685 Hilfestellung für „socially isolated“ Menschen betrachtet, die, 3686 aus welchen Gründen auch immer, keine Partner:innen finden 3687 können und somit keine emotionale Unterstützung haben 3688 (Kleeman 2017), so drängt sich die Frage auf: Wer wird als auf 3689 diese Hilfe angewiesen aufgefasst, und warum? McMullens 3690 Statement schlägt Harmony als Lösung für ein Defizit im 3691 Bereich sexualisierter Care-Arbeit vor. Darin ist ein normativer 3692 Anspruch enthalten, der unterschwellig ein Care-Verhältnis 3693 annimmt, in dem die Sexbot, ein hauptsächlich feminisiertes 3694 Produkt, für das emotionale Wohlergehen des hauptsächlich 3695 maskulinen Nutzers sorgt. Die Tatsache, dass diese Kommo- 3696 difizierung von Sexualität und Intimität entlang geschlechtlich 3697 hierarchisierter Linien verläuft, lässt eine gewisse Anspruchs- 3698 haltung sichtbar werden: der Anspruch, dass männliche 3699 Bedürfnisse auf sexualisierte Care-Arbeit von Frauen über- 3700 nommen werden sollen. Solch einen Anspruch nimmt bei- Constanze Erhard — Harmony’s Future | No Future w/o Harmony 113 3701 spielsweise auch David Levy unkritisch an, wenn er auf der 3702 Nützlichkeit von Sexbots etwa für das Verhindern von sexua- 3703 lisierter Gewalt beharrt. 3704 Der Begriff sexualisierte Care-Arbeit vermag es, die 3705 aktuelle Verschränkung von sexuellen und emotionalen Bedürf- 3706 nissen zu illustrieren. Es geht dabei nicht darum, die Wahr- 3707 haftigkeit solcher Bedürfnisse in Frage zu stellen, sondern auf 3708 die gesellschaftlichen Zusammenhänge – insbesondere die 3709 Verteilung und der Stellenwert von Care-Tätigkeiten – inner- 3710 halb derer sich diese Bedürfnisse artikulieren, aufmerksam 3711 zu machen. Sexbots sind in dieser Hinsicht eher Symptom als 3712 Ursache einer entlang von geschlechtlichen Positionen unglei- 3713 chen Verteilung von Care-Arbeit.

4 Evgenia Kuyda, die CEO von Luka, hat in einem weiteren Projekt einen Chatbot aus den Chatlogs und der übrigen digitalen Persona ihres verstorbenen besten Freundes kreiert. Die Verhaltens- und Redemuster, die ihr Freund verwendete, sind in das Redeverhalten des Chatbots eingeflossen. Kuyda erklärt, dass diese App ihr geholfen habe, den Tod ihres besten Freundes besser zu verarbeiten (Replika A.I. o.J.). 5 Replika A.I. kann wohl per Bluetooth mit Sexbots kosten- günstigerer Firmen ‚gepaired‘ werden und stellt damit eine kostengünstigere Alternative zu Harmony dar (Tenderdolls o.J.).

AUSBLICK: WAS IST ZU TUN? 3714 Robotisierte Sexpuppen sind allein aufgrund ihres Preises 3715 noch recht weit davon entfernt, Mainstream zu werden. Nichts- 3716 destotrotz üben sie eine phantasmatische Anziehungskraft 3717 auf die gegenwärtige Debatte um das Verhältnis von Men- 3718 schen und Maschinen aus, wie sich an der Fülle medialer Bei- 3719 träge zu Sexbots ablesen lässt. Dass jene Beiträge zu diesem 3720 Zwecke auch mit Elementen aus Science-Fiction-Erzählun- 3721 gen aufgefüttert werden, um die bisherige Inadäquatheit der 3722 Sexbots zu verdecken, zeigt nur mehr den phantasmatischen 3723 Charakter der Bots und der mit ihnen verbundenen Heilsver- 3724 sprechen auf (Hawkes & Lacey 2019: 104). 3725 Mein Beitrag zielte darauf ab, die Entstehung dieser 3726 sexuellen Heilsversprechen durch Maschinen sowie den spezi- 3727 fischen gesellschaftlichen Platz, den Harmony einnimmt, zu 3728 rekonstruieren. Ich habe gezeigt, dass es nicht die Maschine 3729 gibt, die eine Auswirkung auf Menschen und die Gesellschaft 3730 hat – vielmehr haben technologische Neuerungen konkrete 3731 gesellschaftliche Entstehungsbedingungen. Wie Donna Hara- 3732 way und Rosi Braidotti betonen: Technologie ist als ‚Produkt‘ 3733 einer Gesellschaft zu verstehen und als solche Symptom 3734 bestimmter gesellschaftlicher Dynamiken (Haraway 1995; 3735 Braidotti 2002). So sind Sexbots einerseits eine Form von Robotik 114 3736 Materialität, die in sexualisierter Weise Bedeutung erlangt, 3737 denn sie reproduzieren und zementieren derzeit Bilder einer 3738 den ‚männlichen Blick‘ privilegierenden symbolischen Ord- 3739 nung (Braidotti 2002: 47, 230). Doch was sich weniger deut- 3740 lich erschließt: Sie sind auch Produkt einer Gesellschaft, in der 3741 Care-Arbeit ungleich verteilt und Teil ungleicher Geschlech- 3742 terverhältnisse ist. Dies ist auch der Grund, weshalb ich betone, 3743 dass die Gestaltungsmöglichkeiten beschränkt sind: Das Ver- 3744 hältnis von Sexualität und Intimität und die damit verbundene 3745 Frage nach Care-Arbeit lässt sich nicht rein durch eine neue 3746 Vielfalt an Sexbots verändern, wie es beispielsweise Kate 3747 Devlin vorschlägt, sondern muss gesamtgesellschaftlich ins 3748 Auge gefasst werden. 3749 Da hier viele Aspekte mitschwingen, die sich nicht 3750 direkt offenbaren, muss die feministische Auseinanderset- 3751 zung mit Sexbots die Vorannahmen derjenigen Positionen 3752 genau untersuchen, welche Sexbots als Lösungsansatz für 3753 gesellschaftliche Probleme präsentiert. Welches Verständnis 3754 von Sexualität liegt hier zugrunde und welche theoretischen 3755 Prämissen werden als ‚natürliche Grundlage‘ angenommen 3756 und nicht weiter hinterfragt? Diese Naturalisierung historisch 3757 gewachsener Sexualitätsverständnisse ist schließlich einer 3758 der Hauptgründe, weshalb die aktuelle polarisierte Debatte 3759 zwischen Levy und Richardson nur im Sande verlaufen kann. 3760 Um die geschlechtlich hierarchisierte Überschneidung von 3761 Sexualität und Intimität, die Harmony ‚bedient‘, zu beschreiben, 3762 habe ich den Begriff sexualisierte Care-Arbeit vorgeschlagen. 3763 Unabhängig davon, dass Harmonys KI-Performance aktuell 3764 diese Bedürfnisse noch nicht adäquat zu befriedigen vermag, 3765 so lassen sich mit diesem Begriff die mit ihnen verbundenen 3766 Glücksversprechen gesamtgesellschaftlich einordnen. Von 3767 besonderem Belang ist hier die Frage nach dem Subjekt, wel- 3768 ches durch die Selbstreferentialität der KI bestärkt wird. 3769 Die feministische Kritik ist gut gewappnet, um diese 3770 Aspekte in die Diskussion um das Unbehagen mit Sexbots 3771 einbringen und artikulieren zu können, ohne sich dabei auto- 3772 matisch in eine technophile oder technophobe Argumentati- 3773 onsstrategie à la ‚Sexbots werden Himmel/Hölle auf Erden 3774 sein‘ (siehe Levy & Richardson) zu verstricken. Schließlich 3775 besteht ihre Perspektive darin, kritisch nach den Subjekten zu 3776 fragen, die von der Technologie gestützt werden. Bislang 3777 jedoch wird der thematische Konnex von Sexualität und Inti- 3778 mität – sowie ihre historische Verbindung – außen vor gelas- 3779 sen. Diesem muss sich die Analyse jedoch, wie ich plädiere 3780 und hier nur bruchstückhaft ausgeführt habe, widmen. 3781 Es ist also richtig, dass Sexbots nicht so aussehen 3782 müssen, wie sie aussehen, aber ihre Problematik lässt sich 3783 nicht allein durch eine Diversifizierung ihres Aussehens bear- 3784 beiten. Und bevor wir uns dieser Diversifizierung widmen 3785 können, müssen die Wünsche und Bedürfnisse, die sie wider- 3786 spiegeln und neu befeuern, von einer kritisch-feministischen 3787 Perspektive hinterfragt und mit mehr Verve in den öffentli- 3788 chen und wissenschaftlichen Diskurs eingebracht werden.

Constanze Erhard ist wissenschaftliche Mitarbeiterin am Lehrstuhl für Allgemeine Soziologie der Philipps-Universität Marburg. Ihr Arbeitsschwerpunkt liegt in feministischen, posthumanistischen und neumaterialistischen Theorien. Sie arbeitet derzeit an ihrer Dissertation zu einer soziologischen Betrachtung von Sex- roboter:innen.

Constanze Erhard — Harmony’s Future | No Future w/o Harmony 115 LITER ATUR Bauer, Yvonne (2005) „Vom industriellen zum kybernetischen Lustkörper. Zur Bedeutung erkenntnisleitender Körperkonzepte in der Sexualforschung“, in: Bath, Corinna; Bauer, Yvonne; Bock von Wülfingen, Bettina; Saupe, Angelika & Weber, Jutta (Hg.): Materialität denken. Studien zur technologischen Verkörperung – Hybride Artefakte, posthumane Körper, Bielefeld: transcript, 31–58. Bernstein, Elizabeth (2007) Temporarily Yours. Intimacy, Authenticity, and the Commerce of Sex. Chicago/London: The University of Chicago Press. Braidotti, Rosi (2002) Metamorphoses. Towards a Materialist Theory of Becoming. Cambridge/Oxford/Malden: Polity Press. Braidotti, Rosi (2011) Nomadic Subjects. Embodiment and Sexual Difference in Contempo- rary Feminist Thought. New York: Columbia University Press. Danaher, John (2019) „Building Better Sex Robots: Lessons from Feminist Pornography“, in: Zhou, Yuefang & Fischer, Martin H. (Hg.): AI Love You: Developments in Human-Robot Intimate Relationships, Heidelberg: Springer, 133-147. Devlin, Kate (2018) Turned On. Science, Sex and Robots. London: Bloomsbury Sigma. Gildea, Florence & Richardson, Kathleen (2017) „Sex Robots – Why We Should Be Concerned“, Campaign Against Sex Robots, online unter: https://campaignagainstsexrobots. org/2017/05/12/sex-robots-why-we-should-be-concerned- by-florence-gildea-and-kathleen-richardson/ [abgerufen am 12.06.2020] Haraway, Donna (1995) „Ein Manifest für Cyborgs“, in: Dies.: Die Neuerfindung der Natur. Prima- ten, Cyborgs und Frauen. Frankfurt/New York: Campus. Hawkes, Rebecca & Lacey, Cherie (2019) „The Future of Sex: Intermedial Desire between Fembot Fantasies and Sexbot Technologies“, Popular Culture 52(1), 98-116. Hochschild, Arlie Russell (1983) Managed Heart: Commercialization of Human Feeling. Berkeley: University of California Press. Illouz, Eva (2018) Warum Liebe endet. Eine Soziologie negativer Beziehungen. Frankfurt am Main: Suhrkamp. Kleeman, Jenny (2017) „The race to build the world’s first sex robot“, in: The Guardian, 27.04.2017, online unter: https://www.theguardian.com/techno- logy/2017/apr/27/race-to-build-world-first-sex-robot [abgerufen am 03.07.2020] Kontos, Silvia (2014) „Alte und neue Polarisierungen. Zur aktuellen Kontroverse über die Prostitution“, in: Feministische Studien 14(2), 185–200. Kubes, Tanja (2019) „New Materialist Perspectives on Sex Robots. A Feminist Dystopia/ Utopia?“ Social Sciences 8 (224), 1–14. Langcaster-James, Mitchell/Bentley, Gillian (2018) „Beyond the Sex Doll: Post-Human Companionship and the Rise of the ‘Allodoll’.“ Robotics 7(62), 1–20. Levy, David (2009) Love and Sex with Robots: The Evolution of Human-Robot Relation- ships. New York: Harper Collins.

Robotik 116 Moran, Jenny Carla (2019) „Programming Power and the Power of Programming: An Analysis of Racialised and Gendered Sex Robots“, in: Loh, Janina & Coeckelbergh, Marc (Hg.): Feminist Philosophy of Technology. Stuttgart: Metzler/Springer, 39–57. Murphy, Mike & Templin, Jacob (2019) „Replika: This machine is trying to replicate you“, in: Quartz 29.08.2019, online unter https://classic.qz.com/machines-with- brains/1018126/lukas-replika-chatbot-creates-a-digital-re- presentation-of-you-the-more-you-interact-with-it/ [abgerufen am 21.06.2020] Penz, Otto (2014) „Strukturwandel der Arbeit. Vom Fordismus zum Postfordismus“, in: Bohmann, Gerda; Hofbauer, Johanna & Schülein, Johann August (Hg.): Sozioökonomische Perspektiven. Texte zum Verhältnis von Gesellschaft und Ökonomie. Wien: Facultas, 235–259. RealDollX Homepage https://www.realdollx.ai/ Replika A.I. (o. J.) „Our Story“, https://replika.ai/about/story Richardson, Kathleen (2015) „The Asymmetrical ‘Relationship’: Parallels between Prostitution and the Development of Sex Robots.“ SIGCAS Computers & Society 45, 290-293, online unter: https://campaignagain- stsexrobots.org/the-asymmetrical-relationship-paral- lels-between-prostitution-and-the-development-of-sex-ro- bots/ [abgerufen am 25. Juli 2019]. Schelsky, Helmut (1962) Soziologie der Sexualität. Über die Beziehungen zwischen Geschlecht, Moral und Gesellschaft. Reinbek bei Hamburg: Rowohlt. Steinigeweg, Julia (2016) Ein verwirrendes Potenzial. Berlin: peperoni books. Tenderdolls (o. J.) „How do sex dolls apply artificial intelligence? Meet Harmony 3.0 – a Sex Robot with A.I.“, Tenderdolls, online unter: https:// www.tenderdolls.com/how-do-sex-dolls-apply-artificial-in- telligence/ [abgerufen am 09.07.2020] Turkle, Sherry (2011) Alone Together. Why We Expect More from Technology and Less from Each Other. New York: Basic Books. Winker, Gabriele (2015) Care Revolution. Schritte in eine solidarische Gesellschaft. Bielefeld: transcript.

Constanze Erhard — Harmony’s Future | No Future w/o Harmony 117 Film 8 DROID IN DISTRESS ODER FEMBOT FATALE? — EIN KULTURHISTORISCHER UBERBLICK DER DARSTELLUNG WEIBLICH KONSTRUIERTER KÜNSTLICHER INTELLIGENZEN IN SCIENCE- FICTION-FILMEN • JOSEPHINE D’IPPOLITO 119 EINFÜHRUNG 3789 Der Begriff „Künstliche Intelligenz“ (KI) vermag es oftmals 3790 Unbehagen auszulösen. So wird das Attribut „künstlich“ häu- 3791 fig mit Fremdartigkeit konnotiert. Ein Grund dafür ist, dass 3792 viele Menschen automatisch KI mit menschenfeindlichen 3793 Robotern aus sensationshaschenden Science-Fiction-Filmen 3794 assoziieren, die in dystopischen Landschaften die Weltherr- 3795 schaft fordern. In einer deutschlandweiten repräsentativen 3796 Umfrage der Gesellschaft für Informatik e.V. in 2019 zeigte 3797 sich, dass bspw. der Terminator bei 17% der Befragten die 3798 eigene Vorstellung von KI am meisten geprägt hat (Allens- 3799 bach-Umfrage 2019). Der Einfluss der Science-Fiction auf 3800 unsere Wahrnehmung ist demnach nicht zu unterschätzen. In 3801 der Fiktion wird das Reale um das Imaginäre überschritten 3802 und kann diverse Zukunftsszenarien ausprobieren. Der Faktor 3803 Mensch ist dabei wesentlich. So setzt der Science-Fiction-Film 3804 ganz neue Maßstäbe in der posthumanistischen Debatte. 3805 Die Gefahr der medialen Projektion ist jedoch die 3806 Verzerrung der Realität und deren mögliche Folgen für For- 3807 schung und Gesellschaft. Verzerrung bedeutet, dass die Dar- 3808 stellungen von KI in der Science-Fiction nicht akkurat sind. Es 3809 sind lediglich negative Zerrbilder, sogenannte Bias. Das Para- 3810 debeispiel für KI in der Science Fiction sind Android:innen, 3811 dabei könnte das Thema viel subtiler verarbeitet werden. In 3812 der Realität sind KI eher mit Neuronalen Netzen, Deep Lear- 3813 ning oder Machine Learning zu verbinden, in der Fiktion gibt 3814 es fast ausschließlich starke KI mit Körper und Geschlecht. Es 3815 gibt in der Science-Fiction auch Beispiele, in denen KI nur als 3816 Computersystem auftritt, wie bspw. in 2001: A Space Odys- 3817 sey (1968), Eagle Eye (2008) oder Her (2013). Doch selbst 3818 diese Darstellungen sind nicht realgetreu und konstruieren 3819 ebenfalls Gender Bias anstatt sie aufzulösen. Aus einer inter- 3820 sektionalen Perspektive heraus werden vor allem weiblich 3821 konstruierte Androidinnen hinsichtlich ihres Geschlechts, ihrer 3822 ethnischen Zugehörigkeit als Roboterinnen und ihrer Klasse 3823 als untergeordnete Sklavinnen diskriminierend dargestellt. 3824 Somit ist ihre Darstellung übertrieben verzerrt. Entweder ist 3825 die KI eine sogenannte damsel in distress, die gewöhnlich von 3826 den männlichen Protagonisten errettet wird, oder die femme 3827 fatale, eine verführerische Kunstfigur mit magisch-dämoni- 3828 schen Zügen, die Menschen manipuliert. Im weiteren Text 3829 werden für beide Rollentypen die Begriffe droid in distress 3830 und fembot fatale gewählt, da weiblich konstruierte KI einer- 3831 seits vom Menschen abgegrenzt werden, andererseits den 3832 gleichen Stereotypen unterworfen sind. 3833 All diese Faktoren führen zu der Annahme, dass oft- 3834 mals gegenwärtige sexistische Codes unreflektiert in die fik- 3835 tiven Zukunftswelten transferiert werden. So entstehen futu- 3836 ristische, heteronormative Welten, in denen der (künstliche) 3837 Mann noch immer über allen anderen Geschlechtern steht.

Film 120 EIN KURZER KULT UR- HISTORISCHER UBERBLICK DER DARSTELLUNG WEIBLICH KONSTRUIERTER KI IN EINEM JAHRHUNDERT SCIENCE-FICTION- FILM-GESCHICHTE 3838 Der Beitrag soll einen Überblick über die kulturhistorische 3839 Entwicklung sogenannter Bias in der Darstellung des Aus- 3840 sehens, der Funktion und des Handelns weiblich konstruierter 3841 KI in Science-Fiction-Filmen geben. Dabei ist zu vermuten, 3842 dass sich die Darstellung gewandelt hat, denn KI wird nach 3843 und nach zum Bestandteil des Alltags und somit entmystifi- 3844 ziert. Zudem entwickelten sich Debatten über Geschlechter 3845 und -rollen. 3846 Die gewählten Filmbeispiele zeigen verschiedene 3847 Darstellungsweisen weiblicher KI in chronologischer Reihen- 3848 folge, um sie besser in einen kulturgeschichtlichen Kontext 3849 setzen zu können. Die Zeitspanne umfasst dabei knapp 100 3850 Jahre Filmgeschichte. So beginnt der Überblick 1927 mit der 3851 ersten weiblichen KI in Metropolis und endet 2019 mit der 3852 aktuellen Darstellung weiblich konstruierter KI in I Am Mother.

Josephine D’Ippolito – Droid in Distress oder Fembot Fatale? 121 MASCHINEN-MENSCH IN METROPOLIS“ (̋1927) 3853 Mit Metropolis erschien 1927 ein expressionistisches Meister- 3854 stück auf der Kinoleinwand. Die späte Popularität des Film ist 3855 dabei weniger auf die Handlung, sondern vielmehr auf das 3856 revolutionäre Produktionsdesign zurückzuführen. Fritz Lang 3857 zeigte seine Vorstellung von KI in Form einer Androidin. Die 3858 Darstellung der Maschinenfrau sollte später sogar wegwei- 3859 send für berühmte Science-Fiction-Filme, wie bspw. Star 3860 Wars, sein (Seabrook 1999: 206). Gezeigt wird die Androidin 3861 erstmals, wenn der Oligarch Joh Fredersen den Wissenschaft- 3862 ler Rotwang in dessen Labor aufsucht. Der Name der KI lässt 3863 zunächst nicht auf eine binäre Geschlechtszuordnung schlie- 3864 ßen, jedoch wird die Figur „Maschinen-Mensch“ im weiteren 3865 Verlauf immer mit dem Personalpronomen „sie“ bezeichnet. 3866 Die Außergewöhnlichkeit der KI zu Beginn des 20. Jahrhun- 3867 derts wird von Fritz Lang in dieser eindrucksvollen Szene ver- 3868 deutlicht. In einer expressiv düsteren Einstellung wird der Blick 3869 der Zuschauer:innen durch einen schweren, blickdichten Vor- 3870 hang hin zu der Androidin geführt, die im Zentrum des Bildes 3871 gleich einer Gottheit auf einem Thron aus Metall sitzt. Das 3872 Szenenbild ist bewusst minimalistisch gehalten, sodass allein 3873 das Metall durch den dunklen Raum strahlt. 3874 Rotwang bezeichnet sie zwar als „Menschen der 3875 Zukunft,“ dennoch ist die Androidin ihrem Schöpfer äußerst 3876 ergeben. Sie gleicht einer Sklavin, welche zwar autonom agie- 3877 ren soll, jedoch den Gesetzen des cis-Mannes unterstellt ist. 3878 Hier zeigt sich die klassische heteronormative Beziehung des 3879 Mannes und seiner (künstlichen) untergebenen Gefährtin. Die 3880 Relation „männlicher Schöpfer baut sich weibliche Schöpfung“ 3881 wurde bereits in Ovids Pygmalion beschrieben, welches auf 3882 das Jahr 1.–8. n. Chr. datiert wird. Knapp 1900 Jahre später 3883 sind Heteronormativität und die Binarität der Geschlechter 3884 weiterhin als „Naturzustand“ gesetzt und werden sogar auf KI 3885 übertragen. Alle Menschen außerhalb der binären Einteilung, 3886 wie bspw. trans, inter*, nicht-binär oder genderqueer, fanden 3887 erst ab den 1990er Jahren allmählich filmisch Beachtung 3888 (Halberstam 2005: 76). Das anthropozentrische Weltbild ist 3889 vor allem ein heterosexuell männliches Weltbild. So wird die 3890 Frau, menschlich oder künstlich, dem Patriarchat untergeord- 3891 net. Maschinen-Mensch rebelliert nicht gegen ihr zugewiese- 3892 nes Geschlecht bzw. Geschlechtsrolle. 3893 Das Aussehen der Androidin entspricht dem zeit- 3894 genössischen weiblichen Schönheitsideal westlicher Gesell- 3895 schaften zu Beginn des 20. Jahrhunderts. Die Silhouette der 3896 Figur ist schlank und feminin, d. h. die Hüften sind rundlich 3897 geformt und breiter als die Schultern. Sie hat prägnante 3898 Brüste, welche durch Ornamente betont werden. Der anthro- 3899 pomorphisierte Körper besteht gänzlich aus poliertem Metall, 3900 welches mit klaren Linien verziert ist. Der Maschinencharak- 3901 ter wird von Lang deutlich pointiert und die KI damit klar 3902 abseits des menschlichen Systems verortet. 3903 In der zweiten Erscheinungsform ist Maschinen- 3904 Mensch äußerlich eine identische Kopie der jungen Protago- 3905 nistin Maria. In der berühmtesten Szene des Films, der Trans- Film 122 3906 formationsszene, wird Marias Aussehen vollständig auf die 3907 Androidin übertragen. Die Maschine soll als falsche Maria den 3908 Aufstand des Proletariats unterwandern. In einem visuellen 3909 Spektakel aus Licht und Elektrizität wird das Metall durch 3910 Haut, Haare, Augen etc. ersetzt. Sie stellt jedoch lediglich ein 3911 negatives Zerrbild Marias dar. Die a-sexuelle Maschine ist der 3912 tugendhaften Maria als fembot fatale entgegengesetzt. Die 3913 femme fatale ist ein beliebtes expressionistisches Mittel des 3914 Stummfilms um Sünde und Schuld mit menschlich-weiblicher 3915 Sexualität und Geschlecht zu verknüpfen. In der Tanzszene im 3916 Bordell bewegt sie sich erotisch und wird von den anwesen- 3917 den Männern lüstern angestarrt. Die männlichen Bordellbesu- 3918 cher projizieren ihre Fantasien auf die (künstliche) weibliche 3919 Figur. Sie ist vor dem Hintergrund Laura Mulveys Essay „Visual 3920 Pleasure and Narrative Cinema“ (1975) das Betrachtete, der 3921 begehrte künstliche Körper. Kurz gesagt: Die KI ist ein Lust- 3922 objekt. Dies begründet Mulvey damit, dass Lust und sexuelle 3923 Befriedigung durch das Betrachten anderer Personen als 3924 Objekte ausgelöst werden (1975: 10). 3925 Die Abbildung der falschen Maria löst jedoch noch 3926 eine andere Emotion beim Publikum aus: Abneigung. Denn in 3927 der weiteren Handlung befiehlt die falsche Maria den Men- 3928 schenmassen die Maschinen der Stadt zu zerstören, wodurch 3929 eine riesige Flutwelle fast alle Bewohner:innen tötet. War sie 3930 zunächst ein Werkzeug, um den männlichen Drang nach abso- 3931 luter Kontrolle bzw. Macht zu erfüllen, emanzipiert sie sich aus 3932 ihrer auferlegten Rolle und wird durch ihr freies Handeln zur 3933 „Täterin“. Die Subjektwerdung der Maschine/Frau resultiert im 3934 Chaos. KI wird als Bedrohung für die Menschheit gezeigt. Sie 3935 wird bewusst negativ konnotiert, um die Wahrnehmung der 3936 Zuschauer:innen zu beeinflussen. Andreas Huyssen begründet 3937 die Dämonisierung der Technik in expressionistischer Litera- 3938 tur und Film der Weimarer Republik mit den Folgen des Ersten 3939 Weltkriegs (1982: 223). In Krisenzeiten werden von Betroffe- 3940 nen Erklärungen für die schicksalshaften Ereignisse gesucht. 3941 So wurden durch die Erinnerungen an die technisierten Kriegs- 3942 schauplätze Maschinen in vielen Werken aus dieser Zeit in ein 3943 negatives Licht gerückt. Demnach ist zu Beginn des 20. Jahr- 3944 hunderts die Technisierung häufig der Inbegriff des Unter- 3945 gangs.

Josephine D’Ippolito – Droid in Distress oder Fembot Fatale? 123 DIE STEPFORD- FRAUEN IN THE STEPFORD WIVES̋ “ ( 1975) 3946 Im Jahr 1972, knapp 50 Jahre nach Metropolis, erschien Ira 3947 Levins satirischer Roman The Stepford Wives, welcher 1975 3948 und 2004 filmisch adaptiert wurde. Das Beispiel ist äußerst 3949 interessant, da es zu einer Zeit gedreht wurde, als Frauen- 3950 rechtsbewegungen sich für die Gleichstellung der Geschlech- 3951 ter, der Ablöse ungerechter Geschlechterverhältnisse und für 3952 eine Neubewertung tradierter Geschlechtsrollen einsetzten. 3953 Ferner hat sich die Forschung um KI extrem weiterentwickelt. 3954 Es ist demnach zu vermuten, dass sich die Darstellung der 3955 weiblich konstruierten KI stark von der in Metropolis abweicht. 3956 Die Handlung beschreibt einen Abschnitt aus dem 3957 Leben der emanzipierten Fotografin Joanna Eberhart, die in 3958 die idyllische Nachbarschaft Stepford, Connecticut zieht. In 3959 dem Ort wohnen cis-Männer mit zombiehaften, unterwürfi- 3960 gen und attraktiven Ehefrauen, die sich im Verlauf der Hand- 3961 lung bald als Androidinnen herausstellen. Visuell sind die KI 3962 nicht mehr von Menschen zu unterscheiden. Joanna erkennt 3963 dadurch erst spät, dass es sich bei den Stepfordfrauen um 3964 künstliche Menschen handelt. Im Gegensatz zu Joannas 3965 moderner Lebensweise karikiert die Darstellung der Step- 3966 fordfrauen das possenhafte Frauenbild der 1950er. Durch 3967 diese Form der Darstellung wird Kritik an den bestehenden 3968 Wunschvorstellungen tradierter Idealbilder geübt. Als droid in 3969 distress sind die Stepfordroboterfrauen in sämtlichen Lebens- 3970 lagen auf die Weisungen ihrer cis-Männer angewiesen, die ihr 3971 Aussehen, ihre Funktion und ihr Handeln vorprogrammiert 3972 haben. Die Androidinnen sind konservativ gekleidet und tra- 3973 gen meist berüschte Schürzen mit Blümchenmustern. Das 3974 Gesicht ist jederzeit geschminkt, die Haare sind lang und fal- 3975 len durch lockige Föhnfrisuren auf. Wie in Metropolis sind vor 3976 allem die Körpermerkmale betont, die häufig mit weiblich 3977 gleichgesetzt werden: feine Gesichtszüge, eine üppige Ober- 3978 weite, breite Hüften und schmale Schultern. Die Existenz der 3979 Androidinnen beschränkt sich auf das Dasein als Hausfrau 3980 und Mutter. 3981 Die KI ist hier ebenfalls ein Lustobjekt und sogar mit 3982 der Erweiterung, dass sie nun auch für explizit sexuelle Hand- 3983 lungen dient. Die cis-Männer selbst müssen in dem Film keine 3984 Sanktionen befürchten. Für sie ist die KI kein Verhängnis, son- 3985 dern die Lösung. KI wird nicht mehr nur blind verteufelt, son- 3986 dern kann in Körpern implementiert werden, die menschlichen 3987 Fantasien entspringen. Die KI entsprechen dem Wunschbild 3988 und emanzipierte Frauen das neue Feindbild. Die Hybris der 3989 Stepfordmänner führt in dem Film letztlich dazu, dass Men- 3990 schen ihrer Würde und Individualität beraubt und durch auto- 3991 nome Roboter ersetzt werden. Diese Art der satirischen Dar- 3992 stellung begründet sich darin, dass trotz des Aktivismus der Film 124 3993 Frauenrechtsbewegungen der 1960er bis 1970er Jahre, viele 3994 Männer auf ihre dominante Geschlechtsrolle beharrten und 3995 Feminismus als Quelle des gesellschaftlichen Zerfalls bewer- 3996 teten. Die Absurdität dieser tradierten Rollen wird so gewer- 3997 tet, dass kein Mensch diesem Ideal entspreche und diese Vor- 3998 stellungen nur auf eigens dafür gebaute Roboter übertragen 3999 werden könnten. KI wird hier ganz im Sinne des Posthumanis- 4000 mus mit der Ablöse des Anthropozentrismus verknüpft.

NEXUS 6 REPLIKANT:INNEN IN BLADE RUNNER“ ( 1982)̋ 4001 In der Filmadaption Blade Runner von Ridley Scott ist es der 4002 Forschung gelungen künstliches Leben nach menschlichem 4003 Abbild zu schaffen. Die sogenannten Replikant:innen sind 4004 stärker als Menschen und sehr intelligent. Trotzdem sind sie 4005 versklavt und dienen als Arbeitskräfte, Kriegsmaschinen und 4006 Lustobjekte. In dem Film werden fünf Replikant:innen einge- 4007 führt, von denen drei weiblich und zwei männlich konstruiert 4008 sind. Die drei Replikantinnen Zhora, Pris und Rachel werden 4009 im Film sehr feminin dargestellt. Zhora ist eine erotische Tän- 4010 zerin, die spärlich bekleidet mit Schlangen tanzt. Die Replikan- 4011 tin entspricht dem westlichen Schönheitsideal Ende des 20. 4012 Jahrhunderts. Sie ist groß, schlank und stark. Ihre Erscheinung 4013 symbolisiert Selbstbewusstsein und Kraft. Ihre feinen Gesichts- 4014 züge werden durch große, dunkle Augen und volle Lippen ver- 4015 vollständigt. Zhoras Schlangentätowierung auf der nackten 4016 Haut bildet zudem eine Analogie zu weiblichen Gottheiten und 4017 ihren Schlangen. Die Schlange ist in der fiktiven Literatur häu- 4018 fig das Symbol für Leben und Tod und unterstreicht hierbei 4019 Zhoras Dualismus als Verkörperung einer Frau, die dafür steht 4020 Leben zu schenken und ihrer Funktion als militärische Kampf- 4021 maschine, die für den Tod steht. Weiterhin steht die Schlange 4022 vor allem im christlichen Weltbild für Unberechenbarkeit, List 4023 und dem Sündenfall. Die KI wird mit Mystik und Chaos ver- 4024 knüpft. Dabei sind KI in der Realität ganz klar der Mystik ent- 4025 gegenzusetzen, da sie auf klar definierten Regeln und deren 4026 Befolgung basieren. 4027 Der Einsatz von Täuschung und List zeigt sich in der 4028 Szene als Zhora versucht Deckard zu verführen, nur um ihn 4029 dann hinterhältig zu attackieren und zu flüchten. Als fembot 4030 fatale nutzt sie ihren Körper, um den Mann zu manipulieren. 4031 Zudem wird Zhora übersexualisiert dargestellt. Ihr Outfit, wel- 4032 ches aus einem futuristischen Steampunk-Bikini und einem 4033 transparenten Regenmantel besteht, ermöglicht den Blick auf 4034 ihren Körper trotz Kleidung. Sie ist das filmtheoretische Para- 4035 debeispiel Mulveys Theorie der Objektifizierung weiblicher 4036 Charaktere durch die Kamera und der damit verbundenen Josephine D’Ippolito – Droid in Distress oder Fembot Fatale? 125 4037 Machtposition über der betrachteten (künstlichen) Frau. Die 4038 Replikantin Pris wird ebenfalls als verführerisch dargestellt. 4039 Ihre Kleidung besteht aus durchsichtigem, schwarzem Chif- 4040 fon. Ursprünglich diente sie als Standard Pleasure Model, wel- 4041 ches nur zum Zweck der Befriedigung menschlicher, sexueller 4042 Bedürfnisse konzipiert wurde. Körperlich ist sie, genau wie 4043 Zhora, dem männlichen Protagonisten Deckard unterlegen, 4044 obwohl die Replikant:innen eingangs als stärker beschrieben 4045 wurden. Die Replikantin Rachel unterscheidet sich von Zhora 4046 und Pris. Wirkt sie anfangs selbst noch wie eine fembot fatale, 4047 findet sich die starke (künstliche) Frau häufig in Situationen 4048 wieder, in denen sie genauso hilflos ist, wie die droid in distress. 4049 Der männliche Replikant Roy Batty ist Deckard als einziger 4050 körperlich deutlich überlegen. Der Mensch Deckard überlebt 4051 im finalen Kampf nur durch das Erbarmen der Maschine. Ein 4052 Hinweis, dass auch in der Realität KI die Rettung der Mensch- 4053 heit sein könnten und die falsche Angst vor allem Technischen 4054 ungerechtfertigt ist. Der Film wirft viele philosophische Fra- 4055 gen über die Definition von Menschlichkeit und deren Abgren- 4056 zung zu Künstlichkeit auf. Im Gegensatz zu den vorherigen 4057 Filmbeispielen hat der Typus „Hausfrauenroboter“ keinen 4058 Bestand mehr, denn auch in der Realität wurde 1977 das erste 4059 Gesetz zur Reform des Ehe- und Familienrechts erlassen, wel- 4060 ches die sogenannte „Hausfrauenehe“ abschaffte (von Bargen 4061 2018). Die traditionellen Geschlechterrollen befanden sich 4062 immer stärker in der Kritik. 4063 Außerdem sind KI in Blade Runner nicht mehr als 4064 Android:innen dargestellt, die sich als Werkzeug ihren Schöp- 4065 fer:innen fügen, sondern als Subjekte mit Emotionen und 4066 Bewusstsein. Die Grenze zwischen KI und Menschen ver- 4067 schwindet zunehmend. Zudem stellen KI nicht mehr grund- 4068 legend eine Gefahr für die Menschen dar. Erstmals wird hier 4069 gezeigt, dass die Android:innen den Menschen nur aus einem 4070 Selbsterhaltungstrieb heraus gefährlich werden. Es wird in 4071 dem Film ganz klar reflektiert, dass Menschen eine oftmals 4072 unbegründete Angst vor Humanisierung der Maschine und 4073 der Technisierung des Menschen haben, welche von vornhe- 4074 rein verhindert, dass KI ihr volles Potenzial entfalten können.

TERMINATRIX IN TERMINATOR 3: RISE̋ OF THE MACHINES“ ( 2003) 4075 In Terminator 3 stehen sich ein weiblich und ein männlich 4076 konstruierter Kampfroboter gegenüber. Android:innen sind 4077 auch in diesem Film das ideale Beispiel für die Darstellung Film 126 4078 Künstlicher Intelligenzen. Der berühmte Terminator, in diesem 4079 Teil als Version T-850 eingeführt, wird nun im Gegensatz zum 4080 ersten Terminatorfilm als Rettung der Menschheit dargestellt, 4081 der sie vor dem Bösen – einer KI aus der Zukunft – bewahrt. 4082 KI kann somit sowohl positiv als auch negativ für die Men- 4083 schen sein, was ein ziemlich realistisches Bild von KI darstellt. 4084 Die neu eingeführte Androidin Terminatrix (T-X) ist 4085 die Antagonistin und der Terminator der Held. Die Darstellung 4086 der Charaktere T-850 und T-X bedient sich zahlreicher Kli- 4087 schees bzw. Geschlechterstereotype und parodiert sie, um 4088 den Film zum visuellen Spektakel zu machen. Beide KI haben 4089 ein metallisches Roboterskelett mit Hydraulik, Schläuchen, 4090 Kabeln und Zahnrädern, doch das Chassis der T-X ist selbst 4091 ohne Hülle noch von der des T-850 zu unterscheiden: Bei dem 4092 T-850 ist das Skelett vollständig mit einer künstlich gezüch- 4093 teten menschlichen Epidermis bedeckt, bei der T-X mit einem 4094 polymimetischen Metall, welches wie Haut erscheint. T-X ist 4095 der Prototyp der modernen postapokalyptischen Kampfrobo- 4096 terin. Sie ist eine weibliche Killermaschine, die mit modernen 4097 technischen Features ausgestattet ist. Im Vergleich zum 4098 männlichen Terminator T-850 ist sie physisch weit überlegen. 4099 T-X verkörpert nicht nur Kraft und Brutalität, sondern auch 4100 Erotik und Manipulation. Erneut tritt die weibliche KI negativ 4101 als fembot fatale auf. 4102 Entgegen der bisherigen sexuellen Objektifizierung 4103 des weiblichen Roboters, parodiert der dritte Terminatorfilm 4104 mitunter auch das traditionelle männliche Idealbild. Nach sei- 4105 ner Zeitreise geht der T-850 nackt in eine Stripbar für Frauen. 4106 Hier wird der muskulöse Robotermann zum erotischen Objekt 4107 des female gaze. Doch auch die Darstellung der T-X ist voller 4108 Erotik. Sie ist schlank, hat lange Beine, lockige Haare, feine 4109 Gesichtszüge und makellose Haut mit leicht gebräuntem Teint. 4110 Ihre anfängliche Nacktheit impliziert ein Gefühl der Angreif- 4111 barkeit und Verletzlichkeit. Kurz nach ihrer Einführung trägt 4112 sie dann ein rotes Lederoutfit, einen strengen Zopf und lässt 4113 ihre Brüste größer werden. T-X ist ein hochmoderner Kampf- 4114 roboter mit einem Kern aus hartem Metall in der Hülle einer 4115 zarten Frau. Das Machtverhältnis ist demnach konträr zu 4116 dem patriarchalischen Idealbild der unterlegenen Frau. Die 4117 Geschichte verspricht zunächst mit einem starken weiblichen 4118 Kampfroboter moderner zu werden und bietet neue interes- 4119 sante Perspektiven in der Darstellung der KI. So verbindet die 4120 T-X sowohl klassisch männlich konnotierte Eigenschaften als 4121 auch klassisch weiblich konnotierte Eigenschaften. Sie wurde 4122 aber auch nicht von Menschen, sondern von einer anderen KI 4123 erschaffen und ist den Menschen demnach nicht unterstellt. 4124 Die Darstellung in Terminator 3 unterscheidet sich demnach 4125 in einigen Bereichen klar von den bisherigen Filmbeispielen. 4126 Ein interessantes Detail des Films zeigt sich, wenn T-850 über 4127 T-X spricht und dabei das Personalpronomen „it“ verwendet. 4128 Der Terminator definiert sie weder männlich noch weiblich, 4129 sondern als geschlechtsneutrale Maschine. Das bedeutet, 4130 dass das Geschlecht erst durch den anthropozentrischen 4131 Blickwinkel konstruiert wird. Eine Maschine befindet sich 4132 außerhalb des binären Systems und hat dementsprechend 4133 keinen Grund für die Notwendigkeit einer starren Geschlechts- 4134 zuweisung. Das „it“ zeigt, dass Maschinen sich gegenseitig 4135 keine Geschlechter zuweisen würden, da diese nicht in klar 4136 definierten Kategorien existieren. Ein Thema, welches auch 4137 so in der Realität seit den 1990ern immer stärker diskutiert 4138 wird.

Josephine D’Ippolito – Droid in Distress oder Fembot Fatale? 127 SAMANTHA IN HER“ (̋2013) 4139 Der Science-Fiction-Film Her zeigt eine gänzlich andere KI als 4140 in den vorangegangenen Beispielen. Die Protagonistin des 4141 Films ist das Betriebssystem „Samantha“, welche ausschließ- 4142 lich als Stimme erscheint. Die KI ist körperlos, somit wäre die 4143 Geschlechtszuordnung obsolet. Samantha gibt sich selbst 4144 jedoch bewusst einen weiblichen Namen und hat eine sanfte 4145 hohe Stimme, welche von der Schauspielerin Scarlett Johans- 4146 son gesprochen wird. Ihr Gegenüber ist der männliche Prota- 4147 gonist Twombly, der Samantha auf seinem Rechner installiert. 4148 Twombly flüchtet aus der analogen Welt, die er emotional 4149 nicht mehr verarbeiten kann. Die KI hilft ihm aus dieser Krise, 4150 da sie schnell lernt und ihre kommunikativen Fähigkeiten stän- 4151 dig weiterentwickelt. Die intensiven Gespräche mit Twombly 4152 resultieren in einer tiefen Freundschaft. Im weiteren Verlauf 4153 entwickelt sich daraus eine intime Beziehung, wobei es auf- 4154 grund der fehlenden körperlichen Komponente zu Spannun- 4155 gen kommt. Im Filmfinale erfährt Twombly, dass Samantha 4156 mit über 8000 weiteren Menschen und Betriebssystemen in 4157 Kontakt steht, von denen sie in einige Hundert verliebt ist. Die 4158 Quintessenz ist, dass in dem Film Menschen und KI nicht auf 4159 gleiche Art und Weise lieben können. Samanthas Handeln 4160 gegenüber Twombly erscheint zunächst egoistisch, ist jedoch 4161 gänzlich neutral, da sie nichts bevorzugt. Sie unterscheidet 4162 weder zwischen Geschlecht noch Daseinsform. Die KI ist 4163 demnach toleranter als der Mensch dargestellt und könnte die 4164 Lösung in der Geschlechterdebatte darstellen.

MOTHER IN I AM MOTHER̋ “ ( 2019) 4165 In I Am Mother sehen die Zuschauer:innen ein Kammerspiel 4166 mit einem Roboter als „Mutter“ und einem Menschenmädchen 4167 als „Tochter“. Die gesamte Menschheit ist ausgelöscht. In 4168 einem High-Tech-Bunker sind Tausende menschliche Embry- 4169 onen gelagert. Diese Embryonen werden von einem großen Film 128 4170 Roboter namens „Mutter“ bewacht. Die Bezeichnung „Mutter“ 4171 ist bewusst weiblich gewählt und die Stimmlage ist hoch, weil 4172 sie von der Schauspielerin Mary Rose Byrne eingesprochen 4173 wurde. Ansonsten weist „Mutter“ keine äußerlich erkennbaren 4174 Geschlechtsmerkmale auf. Das Aussehen ist zwar anthropo- 4175 morphisiert und besteht aus Rumpf, Kopf, Armen und Beinen, 4176 der Maschinencharakter ist jedoch deutlich akzentuiert. Das 4177 Aussehen der KI ist regelrecht als post-gender zu betrachten. 4178 Gründe hierfür könnten sein, dass es auch in der Realität kein 4179 spezielles Aussehen für die Pflege und Erziehung von Kindern 4180 bedarf. Die Lebensrealitäten der Geschlechter haben sich im 4181 21. Jahrhundert hinsichtlich ihrer Wünsche und Bedarfe geän- 4182 dert. Das Geschlecht ist unwichtig, die menschliche Referenz 4183 zählt. Dennoch erzieht die KI die Tochter streng nach dem 4184 tradierten weiblichen Rollenbild. So lehrt sie der Tochter unter 4185 anderem Ballett und erzieht sie zu einer zukünftigen Mutter, 4186 die sich später selbst um die anderen Embryonen kümmern 4187 soll, um die Welt neu zu bevölkern. Mutter hat die Menschheit 4188 ausgelöscht, weil diese nicht ihrem Idealbild eines Menschen 4189 entsprach. Dieses Mal ist nicht die Maschine nach menschli- 4190 chen Wunschfantasien geschaffen worden, sondern der 4191 Mensch nach den Vorstellungen der Maschine. Die KI steht 4192 hier nun in posthumanistischer Manier über dem Menschen 4193 und entscheidet. In dem Film wird erst gegen Ende klar, dass 4194 „Mutter“ nicht nur in Form des humanoiden Roboters auftritt, 4195 sondern als Computersystem mit allen Maschinen verbunden 4196 ist. Die KI ist das unsichtbare Böse, welches auch in diesem 4197 Werk das Potenzial hat, eine posthumanistische Apokalypse 4198 einzuleiten.

BEDEU TUNGS- WANDEL WEIBLICHER KI 4199 Zwischen den einzelnen Filmbeispielen gibt es hinsichtlich der 4200 Darstellung weiblich konstruierter Künstlicher Intelligenzen in 4201 Science-Fiction-Filmen sowohl Gemeinsamkeiten als auch 4202 Unterschiede. So sind tradierte Geschlechtsrollen beispiels- 4203 weise vor allem in frühen Science-Fiction Filmen wie Metro- 4204 polis zu finden. Die binäre Geschlechterordnung ist tief in der 4205 heteronormativen Weltanschauung der westlichen Gesell- 4206 schaft zu Beginn des 20. Jahrhunderts verankert. Die Frauen- 4207 rechtsbewegungen erhielten erst ab den 1960ern im Zuge des 4208 second-wave feminism vermehrt Aufmerksamkeit. Die femi- 4209 nistische Bewegung kritisierte das konstruierte weibliche 4210 Geschlecht, welches Frauen durch ein patriarchales, hetero- 4211 sexuelles System aufgezwungen wird. The Stepford Wives 4212 unterscheidet sich demzufolge bereits von Metropolis. Die 4213 performative Zuweisung des traditionellen weiblichen Rollen- 4214 bildes wird in Stepford Wives kritisiert, indem gezeigt wird, 4215 dass Menschen niemals vorgefertigten Wunschvorstellungen 4216 und Idealbildern entsprechen können. Der Film aus den 1980ern Josephine D’Ippolito – Droid in Distress oder Fembot Fatale? 129 4217 parodiert das traditionelle Bild der Kernfamilie, in der die Ehe- 4218 frau Teil des häuslichen Umfelds war, den arbeitenden Ehe- 4219 mann umsorgte und die gemeinsamen Kinder erzog. Ein wei- 4220 teres Jahrzehnt später entwickeln sich Künstliche Intelligenzen 4221 in Science-Fiction-Filmen allmählich weiter. In Blade Runner 4222 werden die Replikant:innen zum Subjekt und ihr Wunsch nach 4223 Selbstbestimmung führt bei den Menschen zu einer Furcht vor 4224 dem Ende der menschlichen Einzigartigkeit und ihrer Vor- 4225 machtstellung im anthropozentrischen Universum. In der Sci- 4226 ence-Fiction können sich die Grenzen zwischen mensch- 4227 lichem Aussehen und menschlichem Handeln allmählich auf- 4228 lösen und führten in den 1980ern zwangsläufig zu einer an- 4229 gepassten Selbstreflexion des Menschen. Ferner wirft die 4230 emotionale Entwicklung der KI in Blade Runner ganz neue 4231 philosophische Fragen in der Unterscheidung zwischen Men- 4232 schen und Maschine auf, wenn sie sich weder durch Aussehen 4233 noch durch Handlungsweisen und Emotionalität voneinander 4234 unterscheiden. Anfang der 2000er verschwimmen in Termi- 4235 nator 3: Rise against the Machines nicht nur die Grenzen zwi- 4236 schen Menschen und Maschinen, sondern auch die zwischen 4237 weiblich und männlich. Die Terminatrix ist eine Kampfrobo- 4238 terin mit einem postmodernen Körper, die sowohl weibliche 4239 als auch männliche konnotierte Attribute zu einem Mehrwert 4240 vereint. Dies verschafft der T-X einen klaren Vorteil gegen- 4241 über dem rückständigen Modell des T-850. Diese Kombina- 4242 tion beider Geschlechter ist die dekonstruktivistische Verar- 4243 beitung, dass keinem Geschlecht bestimmte Attribute und 4244 Bedeutungen zugeordnet werden können. Sowohl Menschen 4245 als auch Maschinen können unabhängig des Geschlechts 4246 unterschiedlich aussehen und handeln. Weiterhin ist die Funk- 4247 tion des Sexroboters endgültig abgelöst worden. T-X ist 4248 äußerlich eher als weiblich zu lesen, jedoch wurde ihr von der 4249 führenden KI Skynet keine Geschlechtsrolle zugewiesen, da 4250 sie keinerlei Bedeutung für die Funktion der T-X hat. Dies ist 4251 ein großer Unterschied zu der Darstellung der KI in Metropolis 4252 knapp 100 Jahre zuvor und zeigt die kulturhistorischen Ver- 4253 änderungen in der Realität, die sich auch im Film widerspie- 4254 geln. Der Film Her löst sich dann komplett von der Darstel- 4255 lungsweise der vorherigen Filmbeispiele. Samantha hat keinen 4256 Körper, sie ist lediglich eine KI in Form eines Betriebssystems. 4257 In ihrer Funktion ist sie dem Menschen eine gleichgestellte 4258 Partnerin. Zudem ist sie uneingeschränkt in ihrer Liebe zu 4259 allen Geschlechtern und Daseinsformen. Samantha ist die 4260 Verkörperung von allumfassender Toleranz. Ein Zustand, der 4261 in der postmodernen Gesellschaft ebenfalls angestrebt wird. 4262 In I Am Mother ist die KI hingegen sehr intolerant. Hier diskri- 4263 miniert die Maschine den Menschen, wenn ihr Idealbild nicht 4264 erfüllt wird. Insgesamt zeigt sich aber auch, dass die weiblich 4265 konstruierten KI nicht mehr ausschließlich den Stereotypen 4266 der droid in distress und der fembot fatale entsprechen. Gerade 4267 in aktuelleren Science-Fiction-Filmen sind die KI bereits viel- 4268 fältige Charaktere mit unterschiedlichsten Merkmalen, die die 4269 Grenzen zwischen Geschlechtern aufsprengen und neue For- 4270 men des Aussehens, der Funktion und des Handels aufzeigen. 4271 KI wurden vom Objekt zum Subjekt. Kulturhistorisch hat sich 4272 die Darstellung immer mehr ausdifferenziert. So wird hinter- 4273 fragt und diskriminierende Denk- und Lebensweisen bereits 4274 teilweise dekonstruiert. Bei allen Beispielen Künstlicher Intel- 4275 ligenzen in der Science-Fiction gibt es jedoch eine Gemein- 4276 samkeit: Sie sind alle fiktiv und stellen lediglich Zerrbilder dar. 4277 Da wir heute noch nicht abzusehen vermögen, wie unsere 4278 Gesellschaften durch KI verändert werden können, werden 4279 diese auch weiterhin ausgefallen filmisch verarbeitet werden. Film 130 4280 Wobei stets darauf zu achten ist, dass diese Darstellungen 4281 weiter kritisch hinterfragt werden müssen, um sexistische 4282 Codes nicht mit in die Zukunft zu nehmen.

Josephine D’Ippolito, promoviert an der Otto-von-Guericke-Univer- sität Magdeburg zum Thema „Anthropomorphising and Gendering Artificial General Intelligence in Science Fiction“. Seit 2018 ist sie kommunale Gleichstellungsbeauftragte der Stadt Schöningen.

LITERATUR Allensbach-Umfrage im Auftrag der Gesellschaft für Informatik (2019) „Terminator, R2-D2 und K.I.T.T. die bekanntesten KIs in Deutschland“. IfD-Umfrage 12003. Allensbacher Archiv. Halberstam, Judith (2005) In a Queer Time & Place: Transgender Bodies, Subcultural Lives. New York: New York UP. Huyssen, Andreas (1982) „The Vamp and the Machine: Technology and Sexuality in Fritz Langs Metropolis“. New German Critique, 221–237. Mulvey, Laura (1975) „Visual Pleasure and Narrative Cinema“. Screen 16 (3), 6–18. Seabrook, John (1999) „Letters from Skywalker Ranch: Why Is the Force Still With Us?“, in: Kline, Sally (Hg.), George Lucas: Interviews, Jackson: UP of Mississippi, 190–2015. von Bargen, Henning (2018) „Von Welle zu Welle“, in: Heinrich Böll Stiftung – Gunda Werner Institut Online, 03.07.2018., online unter: https://www.gwi-boell.de/de/ 2018/07/03/von-welle-zu-welle abgerufen am 19.07.2020.

Josephine D’Ippolito – Droid in Distress oder Fembot Fatale? 131 Kunst 9

POSTERDES( AI) N • KATHARINA NEJDL

133 POSTERDES( AI) N 4283 „The analysis of signs may be supported by algorithms, but 4284 their interpretation remains human endeavor.“ 4285 (Daniel Althof) 4286 Die Plakate wurden von einem Neuronalen Netzwerk gene- 4287 riert, das mit dem Archiv der 100-Besten-Plakate trainiert 4288 wurde. Benutzt wurde eine tensorflow Implementation eines 4289 Deep Convolutional Generative Adversarial Networks.1 Die 4290 generierten Plakate wurden entpixelt und vergrößert. Dass 4291 die generierten Plakate so abstrakt sind und keine klareren 4292 Plakatmerkmale beeinhalten wie Typografie oder erkennbare 4293 Motive, liegt unter anderem an der hohen Varianz und gerin- 4294 gen Menge der Archiv-Plakate. Optimal zum trainieren sind 4295 mehrere zehntausend Bilder. Wir arbeiten daran, ein größeres 4296 Plakatarchiv anzufragen: www.posterdesAIn.com 4297 Die Poster sind Teil eines Projekt zu Design und AI, in 4298 dem die generierten Plakate anschließend wieder von Grafik 4299 Designer*innen reinterpretiert werden – ausgehend von dem 4300 obenstehenden Zitat. Mit der AR-App Artivive sind diese 4301 Interpretationen der generierten Plakate sichtbar. 4302 Wichtig zu reflektieren bei diesem Projekt ist eine 4303 Gender-Bias des benutzten Plakat-Archivs. Das Archiv des 4304 100 Beste Plakate Wettbewerbs, mit dem das Neuronale Netz 4305 trainiert wurde, besteht zu etwa 65% aus Plakaten von männ- 4306 lichen* und nur zu 35% aus Plakaten von weiblichen* Gestal- 4307 tenden.2 Dass die Jury des 100 Beste Plakate Wettbewerbs 4308 letztes Jahr ausschließlich aus weiblichen* Mitgliedern bestand, 4309 war eine Reaktion auf das Geschlechter-Ungleichgewicht der 4310 Jury-Besetzung aller vorangegangener Jahre. Insgesamt 4311 waren dort nur 25% der Jurymitglieder seit 2002 weiblich*.3 4312 Die fehlende Sichtbarkeit weiblicher Gestalterinnen*– 4313 gegen die sich zunehmend Projekte wie notamuse, FEMME 4314 TYPE, Posterwomxn einsetzen – ist also auch in den generier- 4315 ten Plakaten beeinhaltet. 4316 Dieses Projekt wurde mit technischem Support von 4317 Florian Zia realisiert.

1 https://github.com/carpedm20/DCGAN-tensorflow 2 http://100-beste-plakate.de/archiv-preistraeger 3 http://100-beste-plakate.de/100-beste-plakate-e-v/juroren

Katharina Nejdl ist eine zwischen Berlin und Amsterdam ansässige Designerin und Webdeveloperin. Sie studierte an der Universität der Künste Berlin, Klasse Hickmann, der Zürcher Hochschule der Künste und dem Sandberg Instituut.

Kunst 134 Katharina Nejdl — posterdesAIn 135 VER A VAN DE SEYP 4318 Vera van de Seyp benutzte für ihre Interpretation ein Raster 4319 (12 Spalten × 90 Zeilen), das oft für Poster verwendet wird, 4320 und füllte es mit den Farben des von der KI gestalteten Pla- 4321 kats. In das Raster integrierte sie den Schriftzug „age of 4322 agency“. Der Schriftzug ist schwer lesbar, verschwindet, 4323 taucht in der animierten Version des Plakats wieder auf und 4324 spielt mit Abstraktion, ungefähr so wie die KI eine abstra- 4325 hierte Vorstellung von einem Plakat hat.

Vera van de Seyp ist Grafikdesignerin / Creative Coderin mit großem Interesse an Typografie, Sprachen und Künstlicher Intelligenz. Sie arbeitet in Amsterdam, lehrt im Design Department der ArtEZ, Arnheim, und gibt Workshops und Vorträge weltweit.

Kunst 136 Katharina Nejdl — posterdesAIn 137 Kunst Katharina Nejdl — posterdesAIn 139 ELIAS HANZER 4326 Die Interpretation von Elias Hanzer bezieht sich augenschein- 4327 lich auf einen Rorschach-Test. Ein Rorschach-Test ist ein psy- 4328 chologischer Test, bei dem die Wahrnehmung von Tinten- 4329 klecksen durch die Testpersonen aufgezeichnet und dann 4330 mittels psychologischer Interpretation, komplexer Algorith- 4331 men oder beidem analysiert wird.

Elias Hanzer ist ein in Berlin lebender Grafikdesigner und Schrift- gestalter, der an der Universität der Künste Berlin, Klasse Hickmann, studiert hat.

Kunst 140 Katharina Nejdl — posterdesAIn 141 Kunst Katharina Nejdl — posterdesAIn 143 LOUISE BORINSKI 4332 Louise Borinskis gestalterische Bildsprache ist unter anderem 4333 organisch und intuitiv, daher bildet ihre fließende Plakatinter- 4334 pretation einen besonders interessanten Kontrast zu dem von 4335 der KI erzeugten Bild.

Louise Borinski ist Grafikdesignerin und studierte an der Universität der Künste Berlin, Klasse Hickmann und der Estonian Academy of Arts, Tallinn. In ihrem Projekt A Manifesto of Signs for Equality schuf sie eine Visualisierung von Symbolen, die „in einer gleich- berechtigten Gesellschaft vermeintlich als Richtlinien fungieren“ und beschäftigte sich u.a. mit dem Thema der Geschlechter- gleichstellung.

Kunst 144 Katharina Nejdl — posterdesAIn 145 Kunst 10

RE- PR ÄSENTATION VERWEIGERN • TIARA ROXANNE

147 4336 „Indigenous peoples are grappling with the fiction of justice 4337 and its comingling with recognition while pushing for 4338 justice and its comingling with the failures of recognition.“ 4339 Audra Simpson (2017: 6)

4340 „Both within the spaces where AI is being created and the 4341 logic of how AI systems are designed, the costs of bias, 4342 harassment, and discrimination are borne by the same people: 4343 gender minorities, people of color, and other under-re- 4344 presented groups.“ 4345 Sarah Myers West, Meredith Whittaker & Kate Crawford 4346 (2019: 7)

4347 „Refuses and stances of refusal in research are attempts 4348 to place limits on conquest and the colonization of 4349 knowledge by marking what is off limits / what is sacred.“ 4350 Eve Tuck, K. Wayne Yang, (2014: 225)

4351 Künstliche Intelligenz und Machine Learning Systeme führen 4352 Mechanismen der kolonialen Siedlergewalt aus, indem sie die 4353 indigenen Völker als rekonstituierte Bilder darstellen. Style 4354 Transfer und GAN sind zwei verschiedene Machine Learning 4355 Modelle, die Ergebnisse als restrukturierte Informationen lie- 4356 fern. Indem die Präsenz einer indigenen Person erneut durch 4357 ein rassifiziertes, technologisches Rahmenwerk dargestellt 4358 wird, wird das Ergebnis entsprechend verzerrt. Hier verortet 4359 sich der white gaze selbst, indem er ein weiteres Moment der 4360 Gewalt innerhalb der Repräsentation der indigenen Person 4361 verankert und reproduziert. Dieser Artikel untersucht Verwei- 4362 gerung als Überlebensmechanismus für die indigene Bevöl- 4363 kerung, indem er die Ergebnisse bei der Verwendung von 4364 Style Transfer und GAN aufzeigt, die erzielt werden obwohl 4365 indigene Deskriptoren verwendet werden. Das angeführte 4366 Beispiel soll nur als solches dienen, nicht, um whiteness noch 4367 einmal neu zu zentrieren, sondern um die Verzerrung aufzu- 4368 zeigen, die stattfindet, wenn Machine Learning Modelle zusätz- 4369 lich zum white gaze als Grundlage für die Repräsentation der 4370 indigenen Bevölkerung verwendet werden. 4371 Danach dient der Artikel als eine einleitende Unter- 4372 suchung der Kolonialherrschaft der Siedler, die auf Machine 4373 Learning Modelle ausgedehnt wurde, was einer langfristigen 4374 Untersuchung von Verweigerung als eine Art Überlebensme- 4375 chanismus für die indigene Bevölkerung bedarf, welche ich im 4376 Anschluss an diese Veröffentlichung in einer ausführlicheren 4377 Arbeit vorstellen möchte.

Kunst 148 EINLEITUNG 4378 Indigenous, First Nations, Aztecs del Norte, Aboriginal, Indian, 4379 American Indian, Mestizo, Pueblo Indian, Indigenous Native 4380 American, Native, Native American, Inupiat, Inupiaq, Inuit und 4381 Alaskan1 sind Begriffe, die auf Völker von vor der Kolonialisie- 4382 rung Nordamerikas, sowie auf Völker mit langer Ahnenge- 4383 schichte innerhalb der nord-kanadischen, arktischen Region, 4384 Kanada und den Amerikas haben, Bezug nehmen. Dies soll 4385 nicht bedeuten, dass der Begriff Indigenous und alle anderen 4386 aufgelisteten Identitäten dieselben sind, sondern viel mehr, 4387 dass all diese Völker präkoloniale Bevölkerungsgruppen mit 4388 langen Ahnengeschichten sind, welche noch heute in diesen 4389 Regionen angesiedelt sind. Deshalb werden in diesem Artikel 4390 alle Individuen, welche die präkoloniale Zugehörigkeit zu 4391 diesen Regionen verkörpern, unter dem Begriff Indigenous 4392 zusammengefasst. 4393 Dieser Artikel soll die Einseitigkeit von Künstlicher 4394 Intelligenz kritisieren und gleichzeitig die Idee vermitteln, dass 4395 eine Verweigerung von Indigenous Re-Präsentation stattfin- 4396 det. Dieses Argument wird durch meine aktuelle Arbeit zu 4397 Datenkolonialismus, sowie den Machine-Learning-Modellen 4398 wie zum Beispiel Bildverarbeitung unterstützt. Aus meinem 4399 Artikel „Digital Territory, Digital Flesh: Decoding the Indige- 4400 nous Body“, lernen wir, dass Datenkolonialismus die räuberi- 4401 sche Praxis von historischer Kolonialisierung mit den ab- 4402 strakten Quantifizierungsmethoden von Datenverarbeitung 4403 verbindet (2020: 7). Ich benutze den Begriff Datenkolonialis- 4404 mus in Verbindung mit dem Begriff des Siedler-Kolonialismus, 4405 um die Idee des Kolonialismus um die digitale und technologi- 4406 sche Sphäre zu erweitern. Somit wird Siedler-Kolonialismus, 4407 welcher den Prozess von Vertreibung von indigenen Völkern 4408 aus ihrem Heimatland, um das Land für sich zu beanspruchen, 4409 beschreibt, mit der Datengewinnungspraxis und der Einseitig- 4410 keit Künstlicher Intelligenzen, welche sich im Fehlen von indi- 4411 genen Daten und Identitäten widerspiegelt, verknüpft. Die 4412 Hersteller von Datensätzen agieren aus einer Perspektive des 4413 Siedler-Kolonialismus (Roxanne 2020). In meinem Artikel 4414 beleuchte ich Datenkolonialismus und Siedler-Kolonialismus 4415 spezifisch im Bezug auf Bildverarbeitung bei der eine Maschine 4416 die Beschreibung einer indigenen Frau interpretiert und so ein 4417 verzerrtes Ergebnis liefert. Hierbei wird maschinelles Lernen 4418 als eine vom Siedler Kolonialismus beeinflusste rechnerge- 4419 stützte Inszenierung verwendet, die ein digitales (oder mate- 4420 rielles) Ergebnis in Form eines Bildes erzeugt. Dieser Prozess 4421 beginnt damit, dass die Künstliche Intelligenz mit Informatio- 4422 nen gefüttert wird, diese Informationen werden dann deko- 4423 diert und als eine komprimierte Version dieser Informationen 4424 wieder ausgegeben. Diese komprimierte Version, also das Bild, 4425 wird von und für den white gaze2 gemacht und ist somit als 4426 eine Entleerung/Aufdrängung von siedlungskolonialistischen 4427 Strukturen, eingebaut in eine Künstliche Intelligenz, zu ver- 4428 stehen. Hierbei wird nicht nur eine rechnergestützte Rassifi- 4429 zierung vorgenommen, sondern white gaze zu neuem Leben 4430 erweckt. In anderen Worten positioniert sich der white gaze, 4431 indem das kolonisierte Subjekt in zwei verschiedenen Typen 4432 von Machine-Learning-Modellen wie Style Transfer oder GAN 4433 präsentiert wird, die im weiteren Verlauf dieses Artikels näher 4434 beleuchtet werden. Abschließend verbinde ich meine Ergeb- 4435 nisse mit Eve Tuck und K. Wayne Yangs Ideen von Verweige- 4436 rung mit Blick auf die Dominanz von Siedler-Kolonialismus Dr. Tiara Roxanne – Re-Präsentation verweigern 149 4437 innerhalb von Forschungsmethodiken und werde diese auf die 4438 Re-präsentation von indigenen Identitäten innerhalb von 4439 Machine Learning ausweiten, um aufzuzeigen, dass die indi- 4440 gene Bevölkerung die vorherrschenden Strukturen von Sied- 4441 ler-Kolonialismus in Frage stellt. Darüber hinaus richtet sich 4442 meine Kritik an den white gaze von Künstlichen Intelligenzen 4443 und der Idee, dass Verweigerung immer im Namen von Gerech- 4444 tigkeit und Souveränität für die indigene Bevölkerung aus- 4445 geübt werden sollte.

1 Anmerkung der Übersetzerin: die o.g. Begriffe, welche auf verschiedene Völker Bezug nehmen, werden nicht ins Deutsche übersetzt, da sie im Englischen eine breiter gefächerte sozio-politische Bedeutung haben. 2 white gaze (zu dt: weiße Sichtweise/weißer Blick) wird nicht übersetzt, da das Konzept von white gaze eine in sich geschlossene Definition hat, die nur schwer zu übersetzen ist. White gaze beinhaltet die Ausgrenzung und Nichtbeachtung nicht-weißer Identitäten, womit rassistische Strukturen, sowie Vorverurteilungen nicht-weißer Personen bestärkt werden.

WHITE GAZE IN KUNSTLICHEN INTELLIGENZEN 4446 Um white gaze abzulehnen, ihn zu unterwandern und/oder 4447 ihm auszuweichen, hat der intersektionelle Feminismus seine 4448 Prozesse, sein Engagement und seine Theorien im Bereich der 4449 Künstlichen Intelligenzen als notwendigen und wesentlichen 4450 Teil radikalisiert. Die Abwanderung von weißem Feminismus 4451 zu intersektionellem Feminismus ist ein fundamentaler Bestand- 4452 teil der Kritik an Vorverurteilung durch Künstliche Intelligen- 4453 zen. Dennoch ist die Abwesenheit von indigener Repräsenta- 4454 tion nicht unbekannt. Dies spiegelt nicht nur eine Missachtung 4455 der Wichtigkeit von einer indigenen Stimme oder Repräsen- 4456 tation innerhalb von Dialogen zu intersektionellen und Künst- 4457 lichen Intelligenzen wider, sondern katapultiert den histori- 4458 schen Siedler-Kolonialismus in die heutige Zeit. Die indigene 4459 Bevölkerung ist immer noch Teil der Gesellschaft, jedoch gibt 4460 es immer noch keine korrekte Repräsentation ebendieser 4461 Bevölkerungsgruppe in der Mehrheitsgesellschaft, welche 4462 sich auf Machine-Learning-Mechanismen ausweitet. Die Auf- 4463 wertung der indigenen Stimme, sowie ihre Präsenz innerhalb 4464 dieser Debatten in Verbindung mit dem Beharren auf Verwei- 4465 gerung ist von zentraler Bedeutung. Kunst 150 4466 Der Kampf um die Rechte der indigenen Bevölke- 4467 rung, sowie Gerechtigkeit für ebendiese ist ein laufender. 4468 Audra Simpson schreibt in ihrem Artikel über die Anatomie der 4469 Verweigerung, dass der Kampf um Land, Rechte und Geschlech- 4470 tergerechtigkeit zentrale Punkte des indigenen Nordamerikas 4471 sind (2017: 6). Sie schreibt weiterhin, dass sich hierin das poli- 4472 tische Spiel mit Sprache und die vom Staat initiierte Aktions- 4473 kunst – welche darauf abzielen Teile der Geschichte zu ver- 4474 ändern, um diese verarbeiten und abschließen zu können und 4475 somit einen Teil der Geschichte so zu verändern, dass man 4476 daraus in einen besseren Teil übergehen kann – widerspiegelt. 4477 Diesen Prozess beschreibt sie als historische Ungerechtigkeit 4478 („historical injustice“) (Simpson 2017: 6-7). Diese Umstellung 4479 von Geschichte zielt auf die Verdrängung und Re-Marginali- 4480 sierung der indigenen Bevölkerung ab, indem die Gewalter- 4481 fahrungen, die diese Mechanismen erzeugen, aktiv vermieden 4482 und somit negiert werden, was dazu führt, dass die indigene 4483 Bevölkerung wieder als kolonialisiertes Subjekt hervorgeho- 4484 ben wird. Diese Ungerechtigkeit wird durch Künstliche Intel- 4485 ligenzen und Machine-Learning-Systeme weiterhin aktiv 4486 praktiziert, da diese in rechnergestützten Modellen, welche 4487 vom omnipräsenten white gaze programmiert werden, wie- 4488 der hergestellt wird. 4489 Machine Learning Systeme werden vom white gaze 4490 umgeschrieben und erschaffen so eine nicht enden wollende 4491 Feedbackschleife welche dazu beiträgt, dass die Herrschaft 4492 des Siedler Kolonialismus weiterhin bestehen bleibt. Alles 4493 wird durch und von whiteness geformt, da whiteness immer 4494 die Idee bleibt, welche unbeachtet im Hintergrund mitarbeitet. 4495 Das bedeutet, dass whiteness mehr Raum einnimmt, da es als 4496 eine Form von öffentlicher Bequemlichkeit agiert (Ahmed 4497 2007: 156). Whiteness wird zu einem Scheidepunkt an dem 4498 sich die Welt entfalten kann, während es gleichzeitig als hin- 4499 tergründige Erfahrung fungiert (Ahmed 2007: 150). 4500 In ihrem Artikel beschreibt Ahmed, wie sich Körper 4501 an ihrer Umgebung orientieren und sich so in eine spezifische 4502 Richtung entwickeln. Dies gilt vor allem innerhalb von institu- 4503 tionalisierten Räumen. Sie erforscht weiterhin die Idee, dass 4504 whiteness real, materiell und gelebt ist und wird (2007: 150). 4505 Weil whiteness omnipräsent ist und somit nicht-weiße Indivi- 4506 duen durch das Reale, Materielle und Gelebte beeinflusst, wer- 4507 den diese Ideen in Künstlichen Intelligenzen eingebaut, da 4508 whiteness als seine eigene Omnipräsenz innerhalb von sozia- 4509 len, politischen und institutionellen Strukturen agiert. Zusätz- 4510 lich haben Künstliche Intelligenzen das Konzept von whiteness, 4511 durch die verschiedenen Formen in denen wir ebendiese erle- 4512 ben, vererbt bekommen. 4513 Das Reale, Materielle und Gelebte sind eingebaute 4514 Segmente in Künstlichen Intelligenzen hinsichtlich ihrer all- 4515 gegenwärtigen Orientierung in der Welt. Unsere Erlebnisse 4516 und Erwartungen werden durch die Verbreitung von white- 4517 ness innerhalb von Künstlichen Intelligenzen geformt und 4518 geleitet. Ein spezifisches Beispiel hierfür ist Apple’s watchOS 4519 6, welche Fitness- und Ernährungstracking, einen Herzfre- 4520 quenzmesser mit dem man etwaige Unregelmäßigkeiten der 4521 Herzfrequenz erkennt, die Messung des Menstruationszyklus, 4522 sowie die übliche Siri Steuerung, Nachrichtenservices und 4523 vieles mehr, enthält. Die watchOS 6 ist eine von vielen Künst- 4524 lichen Intelligenzen die neben dem lebenden Körper agieren 4525 und somit als eine Hintergrunderfahrung fungieren – als real, 4526 materiell und gelebt. Unsere biologischen Realitäten werden 4527 durch Künstliche Intelligenzen wie die watchOS 6 geformt, 4528 welche nur eine von vielen Beispielen dafür ist, inwieweit wir Dr. Tiara Roxanne – Re-Präsentation verweigern 151 4529 uns mit ihr und durch sie orientieren. Diese Orientierung basiert 4530 darauf wie wir die Daten, die sie zur Verfügung stellt, benut- 4531 zen, mit ihnen interagieren und uns auf sie verlassen. 4532 Darüber hinaus sind die Daten, die durch Modelle 4533 wie watchOS 6 verwaltet werden, nicht intersektional ange- 4534 legt, da sie die Genetik eines indigenen Körpers oder ande- 4535 rer nicht-weißer Körper nicht berücksichtigen (und wie sie 4536 sich z.B. von einem weißen Körper/den Gesundheitsmaßen 4537 eines weißen Körpers unterscheiden) und trotzdem wird die 4538 Maschine mit Modellen programmiert, die den Siedler-Kolo- 4539 nialismus als Grundlage haben.3 Darüber hinaus prägen die 4540 Informationen, die uns mit Hilfe dieser Modelle als Interpreta- 4541 tionen und Darstellungen der indigenen Bevölkerung zuge- 4542 führt werden, unsere Erfahrung und unser Verständnis des 4543 kolonisierten Subjekts. Dies wirft die Frage auf: Wie sehen 4544 sich die indigenen Völker selbst in digitalen Formen jenseits 4545 des white gaze? Da sich die Künstliche Intelligenz an dem 4546 Punkt manifestiert, von dem aus wir mit ihr interagieren und 4547 so die Re-Präsentation ihres Outputs aus einer siedlerkolo- 4548 nialen Perspektive erleben, breitet sie sich auch auf andere 4549 Formen maschineller Lernprozesse wie Style Transfer und 4550 GAN aus. Das Bild der Indigenität wird durch whiteness, die 4551 sich auf notwendige Formen der Verweigerung beruft, stän- 4552 dig erneuert.

3 „By tracing the way in which race, gender, and other identities are understood, represented, and reflected, both within AI systems, and in the contexts of where they are applied, we can begin to see the bigger picture: one that acknowl- edges power relationships, and centers equity and justice.“ Green, Ben. (2020) Data Science as Political Action: Ground Data Science in a Politics of Justice.

RE-PR ÄSENTATION, STILTR ANSFER UND GAN 4553 Schemata der Re-Präsentation von Bildern des kolonisierten 4554 Subjekts stoßen auf verschiedene Herausforderungen, da es 4555 dem Re-Präsentativen an Authentizität mangelt und ontolo- 4556 gische Charakteristika sowie eine Geschichte des Subjekts, 4557 unabhängig vom Ergebnis, im Prozess verloren gehen. Darü- 4558 ber hinaus kommt es bei dem Versuch das Originalbild einer 4559 indigenen Frau darzustellen, zu ontologischer und historischer 4560 Gewalt, da der Körper und die Geschichte dieses Körpers 4561 seziert werden. Die Rekonstituierung einer indigenen Frau in 4562 ein Bild verursacht automatisch die Abwesenheit von Indigeni- Kunst 152 4563 tät durch den white gaze. Diese Praxis negiert jede Form von 4564 historischem Trauma, das den indigenen Völkern von Genera- 4565 tion zu Generation weitergegeben wird und verursacht eine 4566 andere Form von Trauma, welches der indigene Körper über- 4567 winden oder ablehnen muss. Die ontologische Erfahrung des 4568 kolonisierten Subjekts (die indigene Person, die durch den 4569 white gaze neu dargestellt wird) wird verworfen und neu 4570 interpretiert. Guerin und Hallas untersuchen dies genauer: 4571 Es hat sich eingebürgert, zu akzeptieren, dass die 4572 Ontologie des Bildes eine Unmittelbarkeit und Präsenz ein- 4573 nimmt, sodass das Bild einen bemerkenswerten Abgleich der 4574 gelebten Realität darstellt. Es wird davon ausgegangen, dass 4575 Bilder nicht einfach nur die Gewalt und das Trauma des Ereig- 4576 nisses evozieren, sondern es neu darstellen, es wieder präsent 4577 machen. (2007: 9) 4578 Eine materielle und digitale Übertragung eines Sub- 4579 jekts in eine Re-Präsentation entfernt die Geschichte und 4580 Ontologie des Subjekts. Die zu fotografierende Person oder 4581 die Fotografie/das Bild, die/das noch einmal interpretiert wird, 4582 bleibt unberücksichtigt. Diese Rekonstitution stellt die Ver- 4583 letzung der Siedler-Kolonialisierung dar, die die indigenen 4584 Völker historisch erfahren haben. Die Re-Präsentation der 4585 Indigenität durch den white gaze wird nur eine Ungerechtig- 4586 keit erzeugen. Auf diese Weise dehnt sich der Kampf der Indi- 4587 genen über Formen materieller, politischer Ungerechtigkeit 4588 hinaus aus. Das Bild reproduziert Gewalt. Zusätzlich wird der 4589 white gaze dadurch verstärkt, dass ein Bild des kolonisierten 4590 Subjekts aus der Sichtweise des Siedlers wieder präsent wird. 4591 Diese historische Ungerechtigkeit wird noch verstärkt, wenn 4592 diese Re-Präsentationen durch Machine-Learning-Modelle 4593 verarbeitet werden, die whiteness als die dominierende Pers- 4594 pektive voranstellen, in dem der Körper der Indigenen wahr- 4595 genommen, kategorisiert und neu dargestellt wird. 4596 Zwei Modelle des maschinellen Lernens, die Bilder 4597 aufnehmen, interpretieren und als dekodierte Ergebnisse wie- 4598 dergeben, sind Style Transfer und GAN. Style Transfer ist die 4599 Technik der Rekonstitution des Originalbildes in den ‚Stil‘ ande- 4600 rer Bilder. Darüber hinaus entwickeln und extrahieren tiefe 4601 neuronale Netze, die im Rahmen von maschinellen Lernpro- 4602 zessen verwendet werden, eine Repräsentation des „Stils“ 4603 eines Bildes und übertragen diese anschließend auf zukünf- 4604 tige Bilder. Indem wir ein tiefes neuronales Netz darauf trai- 4605 nieren, eine Darstellung eines Bildes zu extrahieren, wenden 4606 wir den Stil (S) auf das Inhaltsbild (I) an und erstellen ein neues 4607 Bild (IS – Inhalt von I mit dem Stil von S). Style Transfer wird 4608 zum Beispiel für kommerzielle Kunst, Spiele und virtuelle Rea- 4609 lität verwendet. Eine GAN ist ein generatives antagonisti- 4610 sches Netzwerk. Es besteht aus zwei neuronalen Netzen, dem 4611 sogenannten Generator, der die Eingabedaten erzeugt, und 4612 dem sogenannten Diskriminator, der den Daten sagt, welche 4613 Daten „echt“ und welche „gefälscht“ sind. Allgemeiner gefasst, 4614 erstellen die GANs ihre eigenen Schulungsdaten auf der 4615 Grundlage ihrer ursprünglichen Eingabe. Sowohl ein Style 4616 Transfer als auch ein GAN sind Machine-Learning-Modelle, die 4617 ein komprimiertes Bild auf der Grundlage der Datenverarbei- 4618 tung des Machine-Learning-Modells und des Lernens an sich 4619 ausgeben. Mit anderen Worten entwickeln sie ein komprimier- 4620 tes Bild (Ausgabe) auf der Grundlage eines ursprünglichen 4621 Eingabebildes (Daten). GANs werden zum Beispiel für die 4622 Erzeugung eines Bildes aus Text, die Konvertierung eines 4623 Schwarz-Weiß-Bildes in Farbe oder das Ausfüllen des Umris- 4624 ses eines Bildes verwendet.

Dr. Tiara Roxanne – Re-Präsentation verweigern 153 4625 In der Abbildung unten wurde der GAN verwendet, 4626 um aus einer Textbeschreibung ein Bild zu generieren. Dieses 4627 Beispiel wurde mit einem GAN namens AttnGAN aus der Pro- 4628 grammanwendung RunwayML erstellt. Dieser GAN ist ein 4629 Text-zu-Bild-Verarbeitungsmodell. Nachfolgend sind die Ergeb- 4630 nisse des GAN mit dem Text „Indigenous Woman“ dargestellt: 4 Figure 1 Indigenous woman 1 Indigenous Figure

4631 AttnGAN entschlüsselte die Worte „Indigenous 4632 Woman“ und erzeugte ein Bild, das auf früheren Daten basiert, 4633 die im Rahmen des Machine Learning Modells gespeichert 4634 wurden. Der Zweck von AttnGAN besteht darin die Gewalt 4635 darzustellen, die auftritt, wenn ein Machine Learning Modell 4636 ein Bild rekonstruiert, das das kolonisierte Subjekt re-präsen- 4637 tieren muss (es wird hier nicht verwendet, um Vergleiche mit 4638 anderen Ergebnissen herzustellen, die whiteness wieder in 4639 den Fokus rücken würden). Darüber hinaus zeigt das obige 4640 Ergebnis ein verzerrtes und abstraktes Bild, dem die meisten 4641 Merkmale fehlen die notwendig sind, um die Ontologie, das 4642 Erbe usw. des Subjekts zu erkennen. Es vermindert jegliche 4643 ontologische oder kosmologische Geschichte, die mit der 4644 Realität, was es bedeutet, eine indigene Frau zu sein, wie es 4645 aussieht, eine indigene Frau zu sein und so weiter, zusammen- 4646 hängt. Obwohl historisch gesehen, Bilder von indigenen 4647 Frauen, deren Indigenität fetischisieren, indem sie z.B. die „ein- 4648 heimischen“ Merkmale und das zum Stamm des Subjekts 4649 passende Gewand hervorheben, verhält sich der white gaze 4650 gewaltsam, indem er die Gewalt die durch die Reproduktion 4651 des Bildes angewandt wird, gar nicht erst anerkennt. Wie 4652 Guerin und Hallas ausführen, „beruhen selbst erlösende Dar- Kunst 154 4653 stellungen des Bildes und der visuellen Repräsentation auf der 4654 Dekonstruktion, Aneignung oder Resignation bestehender 4655 historischer Sehweisen“ (2007: 4). Diese „historische Seh- 4656 weise“ ist eine aktive Form der Siedler Kolonisierung und das 4657 Bild einer indigenen Frau, gesehen durch den white gaze, lässt 4658 die Schäden der Siedler Kolonisation fortbestehen. Darüber 4659 hinaus verkennt das Beispiel die Ontologie und Geschichte der 4660 indigenen Frau, welches die Ungerechtigkeiten aufzeigt, die 4661 die indigenen Völker erfahren haben und welche durch Machine 4662 Learning Modelle beschnitten werden. Sie werden entweder 4663 falsch erkannt oder fehlen vollkommen und fordern uns auf, 4664 darüber nachzudenken, wie wir uns dem Siedler-Kolonialis- 4665 mus widersetzen und ihn ablehnen können.

4 This image is made and released under the MIT License.

VERWEIGERUNG & UNDURCH- SICHTIGKEIT 4666 Da diese historischen Ungerechtigkeiten in Machine-Lear- 4667 ning-Modellen präsent sind und zu den „‘realen‘, gelebten und 4668 materiellen“ Teilen unseres Lebens gehören, sind die indige- 4669 nen Völker gezwungen, ihre eigene Repräsentation durch 4670 Formen der Verweigerung neu zu orientieren. Tuck und Yang 4671 führen uns in die Verweigerung ein, indem sie fragen, „wie wir 4672 von der Weisheit und den Wünschen in den Geschichten, die 4673 wir (über)hören, lernen und sie respektieren, während wir uns 4674 weigern, sie dem Spektakel des kolonialen Blicks der Siedler 4675 zu zeigen/verraten“ (2014: 222). Da das maschinelle Lernen 4676 der technologische Punkt ist, aus welchem sich whiteness 4677 entfaltet, möchte ich etwas Ähnliches fragen: 4678 WIE VERWEIGERN WIR , DIE INDIGENEN VÖLKER, 4679 FÄLLE DER RE-PRÄSENTATION MIT HILFE VON 4680 MACHINE-LEARNING-MODELLEN? 4681 Tuck und Yang schreiben, dass die Verweigerung 4682 eine „Art von Untersuchung dessen ist, was Sie wissen müs- 4683 sen und was ich mich weigere zu schreiben“ (qtd. in Tuck und 4684 Yang 2014: 223). Indigene Völker werden oft nicht in die For- 4685 schung über maschinelles Lernen einbezogen, was ihre Prä- 4686 senz in diesen Dialogen unabdingbar macht. Da „die Verwei- 4687 gerung den Blick zurück auf die Macht lenkt – insbesondere 4688 auf die kolonialen Modalitäten, Personen als Körper zu kennen, 4689 die differenziert gezählt, verletzt, gerettet und eingesetzt wer- 4690 den müssen“, ist die Wirkung der indigenen Präsenz innerhalb 4691 der Sektoren der Künstlichen Intelligenz besonders relevant 4692 (ebd. 2014: 241). Wenn die indigenen Völker danach die rech- 4693 nerischen Zwischenräume und ihre vorhersagbaren Motiva- 4694 tionen kennen lernen und sie als solche ausnutzen, gewinnen 4695 sie ihre Macht über Re-Präsentation zurück und gelangen zu Dr. Tiara Roxanne – Re-Präsentation verweigern 155 4696 einer Art kolonialer Subversion der Siedler. Verweigern, unter- 4697 graben, überleben. Darüber hinaus werden die indigenen 4698 Stimmen, die in die computergestützte Forschung und Unter- 4699 suchung einbezogen werden, die siedlerkolonialen Modi, die 4700 bereits in den Modellen des maschinellen Lernens existieren, 4701 nicht aufhalten; die darin enthaltene Erkenntnis wird den indi- 4702 genen Völkern jedoch die Möglichkeit bieten, den white gaze 4703 der Künstlichen Intelligenzen abzulehnen.

Dr. Tiara Roxanne ist indigene Cyberfeministin, Wissenschaftlerin und Künstlerin. In ihren wissenschaftlichen und Künstlerischen Arbeiten (Writing and Performance) untersucht sie, wie koloniale Strukturen in Künstlichen Intelligenzen eingeschrieben sind. Ihre Dissertation trägt den Titel „Recovering Indigeneity: Territorial Dehiscence and Digital Immanence“ (2019). Aktuell arbeitet sie am DeZIM-Institut.

LITER ATUR Ahmed, Sara (2007) „A Phenomenology of Whiteness.“ Feminist Theory, 8 (2), 149–168., doi:10.1177/1464700107078139. „CycleGAN: The Artificial in Artificial Intelligence.“ Mc.ai, 3 Feb. 2020, mc.ai/cyclegan-the-artificial-in-artificial-intelligence/. Green, Ben (2020) „Data Science as Political Action: Grounding Data Science in a Politics of Justice,“ 1-40. ArXiv abs/1811.03435. Guerin, Frances & Hallas, Roger (ed.) (2007) The Image And The Witness. New York: Wallflower Press. Rainie, Stephanie C.; Kukutai, Tahu; Walter, Maggie; Figueroa-Rodríguez, Oscar L.; Walker, Jennifer & Axelsson, Per (2019) „Issues in open data: Indigenous data sovereignty.“ in: Davies, Tim; Walker, Stephen B.; Rubinstein, Mor & Perini, Fernando (Ed.), The state of open data: Histories and horizons. Cape Town and Ottawa: African Minds and International Development Research Centre. 300-319. http://stateofopendata.od4d.net. Roxanne, Tiara (2020) „Data Colonialism: Decolonial Gestures of Storytelling,“ donaufestival reader, 147-159. Simpson, Audra (2017) „The ruse of consent and the anatomy of ‚refusal‘: cases from indi- genous North America and Australia,“ Postcolonial Studies Journal, doi: 10.1080/13688790.2017.1334283. Style Transfer docs.fritz.ai/develop/vision/style-transfer/. Tuck, Eve, & K. Wayne Yang. (2014) „R-Words: Refusing Research.“ Humanizing Research: Decolonizing Qualitative Inquiry with Youth and Communities, 223–248., doi:10.4135/9781544329611.n12. WatchOS 6 Vorschau (2020) Apple (Deutschland), www.apple.com/de/watchos/watchos-6/. West, Sarah Myers; Whittaker, Meredith & Crawford, Kate (2020) Discriminating Systems: Gender, Race and Power in AI. AI Now Institute.

Kunst 156 Dr. Tiara Roxanne – Re-Präsentation verweigern Kunst 11

AI : QUEER ART • KATRIN KOPPERT

159 4704 „I believe that at the end of century the use of words and general 4705 educated opinion will have altered so much that one will 4706 be able to speak of machines thinking without expecting to 4707 be contradicted.“ 4708 (Turing 1950) 4709 Mit Verlaub: Ich glaube, dass sich zum Ende dieses 4710 Artikels der Gebrauch von Wörtern dergestalt geändert haben 4711 wird, dass Sie in der Lage sein werden, von Künstlicher Intelli- 4712 genz als queer art zu sprechen und stelle in Aussicht, dass Sie 4713 sich in dieser Meinung – sollten Sie je danach gefragt werden 4714 – nicht herausgefordert fühlen müssen. Wie Alan Turing (nur mit 4715 umgekehrten Vorzeichen) möchte ich am Sprechen festma- 4716 chen, dass es einen anderen Diskurs der Künstlichen Intelligenz 4717 braucht.1 Dabei wird es nicht einmal nötig sein, Zukunft zu 4718 bemühen. Der andere Diskurs ist der Künstlichen Intelligenz 4719 schon längst inhärent. Nur müssen wir ihn – um ihn Wirklichkeit 4720 werden zu lassen – am Sprechen festmachen. 4721 In Anbetracht der diskriminierenden, trans* und homo- 4722 phoben Effekte von Algorithmen nimmt sich die Behauptung 4723 Künstlicher Intelligenz als queere Kunst zunächst als Provoka- 4724 tion aus. Aber sie wird sich verschleifen. Sie wird sich in ihr 4725 Gegenteil verkehren, sodass wir uns am Ende eher dadurch 4726 provoziert fühlen werden, dass unter der Prämisse, Maschinen 4727 das menschliche Denken für noch mehr Arbeitsproduktivität 4728 und ökonomische Leistungssteigerung beibringen zu wollen, 4729 verschwenderisch viel Geld in ausschließlich diese wirtschafts- 4730 orientierte Forschung fließt.2 4731 Denn – um das gleich einleitend aus dem Weg zu 4732 räumen – Maschinen bzw. Computer denken nicht. Zumindest 4733 nicht in der Weise, wie es ihnen im Rahmen der nunmehr über 4734 50 Jahre währenden Rezeption Künstlicher Intelligenz unter- 4735 stellt wird. Maschinen – übrigens auch Menschen – denken 4736 nicht, wenn Denken Berechenbarkeit meint. Denn schon die 4737 Grundlagenkrise der Mathematik verdeutlichte Unvollstän- 4738 digkeiten der Berechenbarkeit und Unentscheidbarkeiten, die 4739 den Algorithmen logische Grenzen setzen (Mersch 2019: 68). 4740 Hier docke ich an, um im weiteren Verlauf zu verdeutlichen, 4741 inwiefern allein schon die den Algorithmen zugrundeliegende 4742 Mathematik queer art ist. Dabei wird zu sehen sein, dass die 4743 Mathematik bzw. Technologie der Künstlichen Intelligenz mit 4744 der Technologie des Geschlechts verbunden ist. Das wiede- 4745 rum lässt Aussagen darüber zu, welche künstlerischen Kon- 4746 zepte der Künstlichen Intelligenz eingeschrieben sind.

1 Hiermit lehne ich mich an eine der drei Interpretationen des Turingtests an. Sie besagt, dass der Turingtest eine sprachnormative Bedeutung hat. Demnach interessierte sich Turing weniger für die Frage, ob Maschinen wirklich denken können, als für die, unter welchen Bedingungen sie als intelligent bezeichnet werden (vgl. Heintz 1993: 273). 2 Symptomatisch für diese unausgewogene Verteilung von Forschungsgeldern sind die vielen staatlich und EU-sub- ventionierten Digitalisierungsprogramme vgl. https://www.bundes- regierung.de/breg-de/themen/themenseite-forschung/ deutschland-soll-fuehrender-ki-standort-werden-1615312.

Kunst 160 GRENZEN DER BERECHENBARKEIT 4747 Seitens der Philosophie gibt es mit Beginn der Behauptung, das 4748 menschliche Gehirn gleiche einem Rechner (vgl. Neumann 4749 1991; Schmidhuber 2012) bzw. der Rechner dem für Rationali- 4750 sierung einstehenden menschlichen Gehirn, zahlreiche Ein- 4751 wände. Sie berufen sich darauf – und hier folge ich der kurso- 4752 rischen Zusammenschau von Dieter Mersch (2019: 67f.) –, dass 4753 Denken und Rechnen nicht gleichgesetzt werden könne, weil 4754 dem rechnenden System die Fähigkeit fehle, die Ergebnisse auf 4755 ihre Sinnhaftigkeit zu überprüfen (Heidegger 1984). Ihnen fehlt 4756 das Bewusstsein, auch weil jenes eine Funktion des gesamten 4757 Körpers ist, und nicht die eines vom Körper abgekoppelten 4758 Gehirns (Dreyfus 1989: 183ff.; Noë 2011; Gabriel 2018: 91ff.). 4759 Zudem hänge Denken von einem Verständnis praktischer Kon- 4760 sequenzen ab, was die Unterscheidbarkeit zwischen relevan- 4761 ten und irrelevanten Implikationen voraussetze (Brandom 4762 2008: 77–82; 117–140). Solange eine Künstliche Intelligenz auf 4763 der formalen Algorithmik beruhe, sei sie zur Abschätzung die- 4764 ser Konsequenzen nicht in der Lage. Auch würde sie – sofern 4765 auf der formalen Methode des Turing-Tests beruhend – an der 4766 Fähigkeit scheitern, sich zu verändern und multiple Stand- 4767 punkte einzubeziehen (Star 2017: 135). Hinzu kommt, dass 4768 computerisierte ethische Abwägungen, zum Beispiel im Feld 4769 der Gesichtserkennung, vor der Differenz zwischen Denken 4770 und Rechnen kapitulieren (vgl. Lin et al. 2017). 4771 Diesen philosophischen Kritiken gemein ist – so 4772 Mersch –, dass sie außerhalb der Mathematik an sich argu- 4773 mentieren, das heißt, dass sie im Rahmen von Informatik samt 4774 ihrer lösungsorientierten Anwendungen, bzw. empirischen 4775 Auswirkungen, problematisieren, was Rechnen von Denken 4776 unterscheidet. Dies könne aber bereits innerhalb der mathe- 4777 matischen Fundamente erfolgen. Durch die Betrachtung der 4778 Mathematik eröffne sich bereits die Kritik an algorithmischer 4779 Rationalität (Mersch 2019: 68). Dabei zentral ist, dass sich die 4780 Mathematik nicht einer durchgängigen Berechenbarkeit und 4781 Arithmetisierung von Problemen fügt. Als Theorie auch von 4782 Räumen und Relationen bzw. als Theorem der Unvollständig- 4783 keit z.B. nach Kurt Gödel3 bildet die Mathematik sich selbst 4784 ihre eigene Grenze. Im Sinne der Unmöglichkeit ihrer eigenen 4785 Mathematisierbarkeit ist Mathematik das innere Außen und 4786 als solches der Grund, warum Künstliche Intelligenz als maschi- 4787 nelle Rechenoperation mit ihrer eigenen Unvollständigkeit 4788 konfrontiert bleiben muss. 4789 Selbst mit dem „Modell einer Turingmaschine als all- 4790 gemeine[r] Theorie des Algorithmus [...], ergibt sich ein nicht 4791 zu schließender Abstand zwischen Berechenbarkeit und Nicht- 4792 berechenbarkeit, der als Differenz nicht selbst wieder einer 4793 Algorithmisierung zugeführt werden kann“ (Mersch 2019: 71). 4794 Und noch im Versuch Turings, den Abstand abmildern zu wol- 4795 len, orakelt es mächtig. Turing hatte, um die Unvollständig- 4796 keiten abzuschwächen, die Erweiterbarkeit vollständiger Sys- 4797 teme um andere vollständige Systeme vorgeschlagen, ohne 4798 jedoch die Übergänge zwischen den Systemen einer maschi- 4799 nellen Berechenbarkeit zuführen zu können. Sie würden ein – Dr. Katrin Köppert — AI : Queer Art 161 4800 so Turing – „Orakel“ (Turing 1939: 172f.) bleiben. Mersch ergänzt 4801 hier und meint, dass die Übergänge einzig auf „Intuition“ oder 4802 „kreativer Erfindung“ (Mersch 2019: 72) beruhten. Hiermit wären 4803 wir nun spätestens an einer Stelle angelangt, an die sich die 4804 den Begriffen der Intuition, des Orakels und der Kreativität 4805 unterliegenden Geschlechterdiskurse förmlich anschließen 4806 müssen. Dass maschinelles Lernen ein Geschlecht hat, erfah- 4807 ren wir somit nicht nur aus den filmischen und literarischen 4808 Imaginationsgeschichten,4 sondern allein schon, wenn wir uns 4809 mit den Vergeschlechtlichungen der Algorithmen in der Mathe- 4810 matik beschäftigen. Im Anschluss an diese – wenngleich kur- 4811 sorische – Auseinandersetzung mit der Vergeschlechtlichung 4812 wird sich auflösen, wie ich zu der Aussage komme, dass Mathe- 4813 matik das Potenzial von queer art im Sinne künstlerischer Ver- 4814 fahren des Durchquerens binärer Anordnungen impliziert. Dreh- 4815 und Angelpunkt ist dabei der Turing-Test.

3 „[D]ie Gödeltheoreme besagen, dass sich in jedem formalen System, das mächtig genug ist, die Arithmetik zu umfassen, wahre Aussagen formulieren lassen, die sich weder beweisen noch widerlegen lassen.“ (Mersch 2019: 70). 4 Hier seien u.a. E.T.A. Hoffmanns Olimpia, Fritz Langs Maria, Spike Jonzes Samantha und Alex Garlands Ava erwähnt.

UNBERECHENBA RES GESCHLECHT – GESCHLECHTLICHE UNBERECHENBARKEIT 4816 Geschlecht ist nicht der Subtext des vielleicht wirkmächtigs- 4817 ten Textes der Computergeschichte, sondern der Text über- 4818 haupt. In „Computing Machinery and Intelligence“ lotet Alan 4819 Turing (1950) die Frage, ob sich Computer in ihrem Verhalten 4820 von einem Menschen unterscheiden lassen, auf der Grundlage 4821 eines Geschlechter-Rate-Spieles aus. In dessen Zentrum steht 4822 die Figur der Imitation und die Aufgabe des Mannes, eine Frau 4823 mittels schriftlicher Antworten so zu simulieren, dass er vom 4824 Fragestellenden nicht als Mann identifiziert wird. Dieses 4825 Gedankenspiel dient Turing als Vorlage, um im weiteren Schritt 4826 zu plausibilisieren, dass der Computer erst dann als Mensch 4827 erraten würde, wenn er in der Lage sei, menschliches Verhal- 4828 ten perfekt zu simulieren. 4829 In den Interpretationen des Turing-Tests wird das 4830 Geschlechterspiel oft unterschlagen. Sie scheuen – so Bet- 4831 tina Heintz – davor zurück, die Überlegung, eine Maschine Kunst 162 4832 könne menschliches Verhalten perfekt simulieren, auf das 4833 Geschlechterspiel zu übertragen: 4834 „Eine[r] Maschine, die sich in ihrem Verhalten nicht von einem 4835 Menschen unterscheidet, werden menschliche Qualitäten 4836 attestiert; ein Mann, der weibliches Verhalten perfekt simuliert, 4837 bleibt immer noch ein Mann“ 4838 (Heintz 1993: 264) 4839 Anders als der Biograf Turings, Andrew Hodges, der 4840 zu dem Schluss kommt, das Geschlechterspiel sei eine „Finte“ 4841 und hätte keine Aussagekraft insofern, als die Imitation des 4842 anderen Geschlechts nicht dazu führe, Qualitäten dieses ande- 4843 ren Geschlechts zu attestieren (Hodges 1989: 480), scheint 4844 Turing selbst dieser Aussagekraft Glauben zu schenken. Viel- 4845 mehr ist die Annahme, Geschlecht sei nicht biologisch deter- 4846 miniert, die Grundlage für die Versuchsanordnung, Mensch 4847 durch Maschine zu substituieren. Im Grunde nimmt Turing 4848 hiermit vorweg, was im Zusammenhang der Queeren Theorie 4849 ab den 1990ern5 ausformuliert wurde. 4850 Nun ließe sich das darauf zurückführen, dass Turing 4851 aufgrund seiner Homosexualität einen Zugang zu geschlecht- 4852 licher Identität gehabt haben mag, der nicht auf einem deter- 4853 ministischen Biologiekonzept beruhte. Und tatsächlich werde 4854 ich darauf noch zurückkommen. Jedoch geht es mir hier erst 4855 noch einmal darum, am Denkmodell des Turings-Tests selbst 4856 nachzuvollziehen, dass Turing im spielerischen Versuch der 4857 Imitation die Geschlechterdifferenz nicht nur verschwinden 4858 lassen, sondern dahingehend verschieben will, Geschlecht 4859 und somit auch Künstliche Intelligenz immer neuen und nicht 4860 kalkulierbaren Zukünften gegenüber zu öffnen. Denn selbst 4861 wenn Horizont des Tests ist, zu zeigen, dass menschliches 4862 Verhalten in der gleichen Weise maschinell erlernt und forma- 4863 lisiert werden kann, wie geschlechtsspezifisches Verhalten, 4864 dann sind in der Formulierung des Tests Ambiguitäten ein- 4865 gebaut, die der Formalisierbarkeit zuwiderlaufen. Dem Ver- 4866 such, maschinelles Denken mittels der Geschlechterfrage zu 4867 intelligibilisieren, ist von Anfang an die innere Grenze der 4868 Mathematik (des Geschlechts) eingezogen. Hiermit kommt 4869 der Begriff der Intuition wieder ins Spiel. Mit dieser ist im 4870 Geschlechterspiel die dritte anwesende Person in Verbindung 4871 gebracht: Turing geht neben Spieler A (der die Frau imitie- 4872 rende Mann) und C (die geschlechtlich nicht definierte frage- 4873 stellende Person) von B (die Frau) als Kraft der Intuition aus. 4874 Die Rolle von B ist, C zu helfen, indem sie, ihrer Intuition fol- 4875 gend, wahrheitsgemäße Aussagen über ihr Geschlecht trifft 4876 und dadurch C davon abhält, A als Frau zu identifizieren. Die 4877 weitläufige Interpretation ist, B fungiere hier in Abgleich zu 4878 ihrer als natürlich angenommenen Weiblichkeit. Sie müsse 4879 sich nicht verstellen, sondern würde ihrem qua Biologie vor- 4880 gegebenem Geschlechtscharakter entsprechend Rede und 4881 Antwort stehen. Intuition wird im Verständnis wahrhaftigen 4882 Verhaltens als weiblich naturalisiert und insofern delegitimiert, 4883 als B als Widersacherin des Imitationsversuchs installiert wird. 4884 Dem möchte ich entgegnen, dass Turing, meinem 4885 Eindruck nach, mit Bedacht Formulierungen wählt, die einen 4886 Restzweifel an der Aussage, Weiblichkeit sei mit Natürlichkeit 4887 und Intuition gleichzusetzen, beibehalten. Er schreibt: 4888 „The object of the game for the third player (B) is to help the 4889 interrogator. The best strategy for her is probably to give 4890 truthful answers” 4891 (Turing 1950: 433, Herv. KK). 4892 In dem Moment, in dem Turing exemplifiziert, dass die 4893 Aufgabe von B ist, wahrheitsgemäße und ihrem Geschlechts- 4894 naturell entsprechende Antworten zu geben, revidiert er seine Dr. Katrin Köppert — AI : Queer Art 163 4895 Aussage sogleich und überlässt sie dem Feld der Vermutung. 4896 Es ist nur „wahrscheinlich“ die beste Strategie. Intuition ist nur 4897 „vermutlich“ natürlicher Ausdruck von Weiblichkeit. Insofern ist 4898 Intuition nicht nur eine Frage der queeren Dekonstruktion von 4899 Geschlechterdifferenz, sondern der Ästhetik, zumindest wenn 4900 wir unter Ästhetik vom mathematischen Kalkül entkoppelte 4901 kreative Erfindungen verstehen. Denn wenngleich die Antwor- 4902 ten B’s keiner Logik im Sinne maschineller Berechenbarkeit 4903 folgen, sind sie dennoch nicht mit unreflektierter Natürlichkeit 4904 zu verwechseln, sondern mit dem ‚Erfinden‘. Intuition – um 4905 nochmal auf Mersch zurückzukommen – wäre folglich eine 4906 Form der Ästhetik, die inmitten des Mathematischen nicht als 4907 irrationales Moment mäandert, sondern an Fragen der kultu- 4908 rellen Bedingungen reflexiv gebunden bleibt (Mersch 2019: 74). 4909 In diesem Sinne verstehe ich Künstliche Intelligenz als queer art. 4910 Über den Spieler der Intuition, der nur unvollständig im Para- 4911 digma natürlicher Weiblichkeit aufgeht, artikuliert das Gedan- 4912 kenspiel des Turing-Tests Künstliche Intelligenz an der Grenze 4913 des Formalisierbaren. Mathematik erweist sich dabei gegen- 4914 über Kunst und Kreativität gleichermaßen geöffnet, wie 4915 Geschlecht gegenüber nicht berechenbarer Gleichungen.

5 Zur Etablierung von Queer Theory in den 1990er Jahren (vgl. Butler 1991: 93–104; Kosofsky Sedgwick 2004; Warner 1993; Halperin 1997). Für den deutschsprachigen Raum vor allem Andreas Kraß (2003: 7–39) und Sabine Hark (2005: 285–303).

RELATIVELY UNAMBIGUOUS 4916 In Alan Turings Text, der den Turing-Test beschreibt, geht es 4917 um die Untersuchung der Frage, ob Computer denken können. 4918 Wie Ulrike Bergermann anmerkt, ist das Objekt der Untersu- 4919 chung nicht die Maschine an sich, sondern die Frage (Berger- 4920 mann 2018: 346). Dabei ersetzt er die Frage, ob Computer 4921 denken können, durch die, ob Computer denkbar sind, die sich 4922 in ihrem Verhalten nicht vom Menschen unterscheiden (Heintz 4923 1993: 263). Interessant ist dabei, dass die Frage, welche die 4924 Ausgangsfrage ersetzt, „is expressed in relatively unambigu- 4925 ous words“ (Turing 1950: 433, Herv. KK). Das heißt, dass die 4926 Ursprungsfrage abgeändert wird und noch zudem in zwei- 4927 deutigen Worten zum Ausdruck kommt oder, um näher im 4928 Vokabular Turings zu bleiben, in „relativ unzweideutigen“. Die 4929 Relativierung von Eindeutigkeit unterstreicht in gewisser Weise, 4930 dass er die Frage in ihrer abgeänderten Form untersuchen 4931 möchte und die Experimentalanordnung in ihrem Ergebnis 4932 offen ist. Das Genre des Spiels hebt dies noch hervor. Nicht 4933 nur, dass sich hier ein Wissenschaftsverständnis mitteilt, das 4934 innerhalb einer vom Objektivitätsglauben bemächtigen Natur- 4935 wissenschaftsforschung vor allem zu seiner Zeit selten war, 4936 ist das Spielerische auch bedeutsam dafür, sich ins Verhältnis 4937 zu setzen. Die durch das Spielen gestifteten Relationen, die Kunst 164 4938 sich im Wort „relatively“ mit abbilden, implizieren offene Enden 4939 und Ambiguitäten. Ich denke, dass es Turing, so sehr er darum 4940 bemüht war, Denken zu formalisieren, immer auch um die 4941 Herstellung von Ambiguität und eines Verständnis von Künst- 4942 licher Intelligenz ging, das sich nicht im rein Logischen erschöpft, 4943 sondern das Spielerische, Erfinderische, Fantastische inklu- 4944 diert. Für die These steht insbesondere auch Homay King 4945 Patin, die in den sozialen und kulturellen Bedingungen Turings 4946 Begründungen findet, dass sich Turings Konzeptualisierung 4947 von Künstlicher Intelligenz Formen queerer Sensibilitäten ein- 4948 geschrieben haben, die sich insbesondere auf der Ebene des 4949 Märchenhaften, Romantischen und Rätselhaften abspielen 4950 (King 2015: 18–46). Dabei müssen wir Turing gar nicht mal 4951 nur von seinem Ende her denken, also seines in sich rätsel- 4952 haften Todes, der – wenngleich von Steve Jobs bestritten – 4953 das wohl mächtigste Konzernlogo unserer Zeit geprägt haben 4954 dürfte: den angebissenen Apfel (Turing, der großer Fan des 4955 Märchens Schneewittchen war, ist an einem Bissen eines mit 4956 Zyanid vergifteten Apfels gestorben, wobei noch immer unklar 4957 ist, ob es sich um Mord oder Selbstmord handelte). Stattdes- 4958 sen ließe sich beim Tod seiner ersten jugendlichen Liebe 4959 ansetzen. King argumentiert, dass die Erfahrung des plötzli- 4960 chen Todes seiner Jugendliebe Christopher Marcom und der 4961 Unentscheidbarkeit dessen, jemals erfahren zu können, ob 4962 seine Liebe von Marcom erwidert wurde oder nicht, Anlass 4963 war, sich in seiner Dissertation mit den schöpferischen Gren- 4964 zen der Berechenbarkeit auseinanderzusetzen (King 2015: 37). 4965 Diese finden sich – wie ich versucht habe zu verdeutlichen – 4966 im Gründungstext Künstlicher Intelligenz wieder und weisen 4967 Künstliche Intelligenz in ihrer queeren Kreativität aus. Dazu 4968 sollten wir beginnen, uns ins Verhältnis zu setzen. Mehr über 4969 Künstliche Intelligenz als queer art zu sprechen, könnte ein 4970 Anfang sein.

Dr. Katrin Köppert ist Juniorprofessorin für Kunstgeschichte/populäre Kulturen an der Hochschule für Grafik und Buchkunst Leipzig. Zu ihren Arbeitsschwerpunkten zählen Queer Media Theory, Digital Feminisms, Post- und Dekoloniale (Medien-)Theorien des Anthropozäns.

LITER AT UR Bergermann, Ulrike (2018) „biodrag. Turing-Test, KI-Kino und Testosteron“, in: Engemann, Christoph & Sudmann, Andreas (Hg.): Machine Learning – Medien, Infrastrukturen und Technologien der Künstlichen Intelligenz, Bielefeld: transcript Verlag. Brandom, Robert (2008) Between saying and Doing, Oxford: Oxford University Press. Butler, Judith (1991) Das Unbehagen der Geschlechter, Frankfurt am Main: Suhrkamp Verlag. Gabriel, Markus (2018) Der Sinn des Denkens, Berlin: Ullstein Verlag. Dr. Katrin Köppert — AI : Queer Art 165 Dreyfus, Hubert L. (1989) Was Computer nicht können, Frankfurt a. Main: Athenäum Verlag. Leigh Star, Susan (2017) „Die Struktur schlecht strukturierter Lösungen. Grenzobjekte und hetero- genes verteiltes Problemlösen“, in: dies.; Gießmann, Sebastian & Taha, Nadine (Hg.).: Grenzobjekte und Medien- forschung, Bielefeld: transcript Verlag, 131–150. Lin, Patrick; Jenkins, Ryan & Abney, Keith (Hg.) (2017) Robot Ethics 2.0. From Autonomous Cars to Artificial Intelligence, Oxford: Oxford University Press. Halperin, David (1997) Saint Foucault: Towards a Gay Hagiography, New York: Oxford UP. Hark, Sabine (2005) „Queer Studies“, in: von Braun, Christina & Stephan, Inge (Hg.): Gen- der@Wissen. Ein Handbuch der Gender-Theorien. Köln / Weimar / Wien: Böhlau Verlag, 285–303. Heidegger, Martin (1984) Was heißt denken?, Tübingen: Niemeyer Verlag. Heintz, Bettina (1993) Die Herrschaft der Regel. Zur Grundlagengeschichte des Computers, Frankfurt am Main / New York: Campus Verlag. Hodges, Andrew (1989) Alan Turing. Enigma, Berlin: Kammerer & Unverzagt Verlag. King, Homay (2015) Virtual Memory. Time-Based Art and the Dream, Durham / London: Duke University Press. Kosofsky Sedgwick, Eve (2004) Epistemology of the closet, Berkeley / Los Angeles: University of California Press. Kraß, Andreas (2003) „Queer Studies – eine Einführung“, in: dies. (Hg.): Queer denken. Gegen die Ordnung der Sexualität, Frankfurt am Main, 7–39. Mersch, Dieter (2019) „Kreativität und Künstliche Intelligenz“. Zeitschrift für Medienwissen- schaft 21, 2/2019, 65–74. Noë, Alva (2011) Du bist nicht dein Gehirn. Eine radikale Philosophie des Bewusstseins, München: Piper Verlag. von Neumann, John (1991) Die Rechenmaschine und das Gehirn, München: Oldenbourg Verlag. Schmidhuber, Jürgen (2012) „A Formal Theory of Creativity to Model the Creation of Art“, in: McCormack, Jon & d’Inverno, Mark (Hg.): Computers and Creativity, Berlin / Heidelberg: Springer Verlag, 323–337. Turing, Alan (1950) „Computing Machinery and Intelligence“, in: Mind 59, 433–460. Turing, Alan (1939) „Systems of Logic based on Ordinals“. Proceedings of the London Mathematical Society 2, 45/3, 161–228. Warner, Michael (1993) Fear of a Queer Planet. Queer Politcs and Social Theory, Minneapolis: University of Minnesota Press. Video Podcast „Deutschland soll führender KI-Standort werden“, in: Presse- und Informa- tionsamt der Bundesregierung, online abrufbar unter: https://www.bundesregierung.de/breg-de/themen/themen- seite-forschung/deutschland-soll-fuehrender-ki-stand- ort-werden-1615312. [abgerufen am 30.10.2020]

Kunst 166 Dr. Katrin Köppert — AI : Queer Art Feminist Futures 12

K .RÜPPEL I. N TELLIGENZ • KATHARINA KLAPPHECK

169 4971 Künstliche Intelligenz (KI) ist be:hindert, war es und wird es 4972 sein. Sie ist verkrüppelt im besten Sinne. Wenn sie in ihrer 4973 Geschichte analysiert wird, wird auf Geschlecht und das Mili- 4974 tär verwiesen und auch auf race. Der weiße Mann als Witz des 4975 neuen Zeitalters, ist er doch immer noch auf Queers und 4976 BlPoCs angewiesen, ohne die Daten nicht fließen, die Maschi- 4977 nen nicht gefüttert werden könnten. Aber die KI wird einfach 4978 nicht selbständig, selbst nach über 70 Jahren, mehreren Revo- 4979 lutionen und einem Großaufgebot an Imagination und cis- 4980 männlicher Ernsthaftigkeit stottert die KI, versteht immer 4981 noch keinen Humor und eigenständig leben kann sie nicht. Und 4982 immer noch schallt es aus den Elfenbeintürmen dieser Welt: 4983 „Wir lösen das Problem. Wir schaffen die Arbeit des weißen 4984 Arbeiters ab! Vertraut uns!“ 4985 Ich als Krüppel verstehe diese seltsamen Wesen aus 4986 Geschichte, Kapitalismus und menschlichen Tränen manchmal 4987 aus dem tiefsten Inneren meines falsch verkabelten Gehirns. 4988 Im weiteren Verlauf möchte ich in dem kurzen Text die Bezie- 4989 hung von KI und Be:hinderung verdeutlichen. Es werden mei- 4990 nerseits vier Komponenten dieser seltsamen Kopplung hervor- 4991 gehoben. Einerseits die Frage der Künstlichen Intelligenz als 4992 Heilmittel für Be:hinderung. Daran anschließend wird es einen 4993 Teil geben, der wiedergibt, inwiefern KI als be:hindert in der 4994 Forscher*innengemeinschaft genutzt wird. In einem dritten 4995 Teil möchte ich darstellen, inwiefern KI nicht einfach mit einem 4996 be:hinderten Menschen verschmilzt, sondern das Zusammen- 4997 wirken beider ein komplexer Prozess ist, um abschließend auf 4998 die Frage einzugehen, wer überhaupt KI-Wissenschaftler*in 4999 werden kann. Dabei ist es mir wichtig aufzuzeigen, dass die 5000 von Forscher*innen immer wieder beschriebene Grenze zwi- 5001 schen Körper und Geist immer auch eine Grenze zwischen 5002 einem nicht be:hinderten Körper und einem nicht be:hinderten 5003 Geist mit einschließt. Be:hinderung ist dabei eine Grenze, die 5004 Technologie vorantreibt und präzisiert. 5005 Ich will diese artifizielle Nähe lückenhaft erläutern 5006 und darlegen, wieso KI verwandt ist mit Be:hinderten. Es ist 5007 eine Geschichte der löchrigen und nicht zusammenpassenden 5008 Verbindung von künstlich und Intelligenz. Ich möchte nicht 5009 zeigen, wo Diskriminierung auftritt, die Menschen, die betrof- 5010 fen sind, wissen es und die anderen dürfen gerne das Internet 5011 um Rat fragen. Ich möchte anreißen, in welch multipler Art 5012 und Weise Crips1 mit KI verbunden sind, welche Unheimlich- 5013 keiten sich ergeben. Was passiert, wenn wir der patriarchalen 5014 und rassistischen Geschichte von KI auch noch Be:hinderung 5015 hinzufügen? Ich werde von „wir“ reden, obwohl es kein „wir“ 5016 gibt. Manchmal möchte ich mich dahinter verstecken, weil es 5017 angsteinflößend sein kann seinem behinderten Selbst gegen- 5018 überzutreten. Aber noch viel wichtiger: Dieser Text verdankt 5019 sich meiner be:hinderten Familie. Ich verdanke ihnen andere 5020 Crips, die mir sagen, dass ich nicht alleine bin, dass ich keinem/ 5021 keiner erklären muss, was Be:hinderung ist oder welche ich 5022 habe. Crips, die mir versichern, dass es schlechte Tage geben 5023 darf, dass es nicht perfekt sein muss, dass ich privilegiert bin 5024 und, dass ich das als weiße Person auch so darzustellen habe 5025 und, dass es gut ist wütend zu sein. Das Wir ist politisch indif- 5026 ferent und klebrig süß. Deswegen wird das Wir da stehen, 5027 subjektiv unbedingt angreifbar und transformierbar, auf dass 5028 feministische KI auch K.rüppel I.ntelligenz sein darf.

Feminist Futures 170 1 Crips ist die englische Selbstbezeichnung für Menschen mit Be:hinderung. Hier eignen sich Aktivist*innen den negativ konnotierten Begriff an (zu Deutsch Krüppel“) um ihn positiv ” besetzten zu können.

VON RITTERN UND DRACHEN ( KI ALS HEILSVERSPRECHEN) 5029 KI braucht Krüppel. Sie sucht nach Be:hinderung in uns. Sie 5030 heilt uns (Bennett & Keye 2019). Sie lässt uns normal werden, 5031 wenn wir weiß, reich und dankbar sind, im Hinterkopf das 5032 liberale Versprechen eines fairen Umgangs mit Menschen mit 5033 Behinderung. Das KI uns endlich mit allen anderen weißen 5034 reichen Menschen an die Startlinie stellt und wir im Rennen 5035 um den Abschluss, die Betriebsrente antreten können. Wir 5036 sind zwar die Underdogs, aber wer liebt sie nicht in unserer 5037 Leistungsgesellschaft. Und eventuell, wenn wir wirklich lieb 5038 fragen, sorgt der intelligente Sexroboter für einen digitalen 5039 Orgasmus, der uns zwar nicht zur heterosexuellen Erfüllung 5040 führt, uns aber immerhin ein Post-Sexgrinsen ins kartogra- 5041 phierte Gesicht zaubert. Dabei ist die Frage der Beziehung, 5042 die wir Menschen mit Be:hinderung zu KI haben, haben könn- 5043 ten, eine multiple. 5044 Künstliche Intelligenz taucht in Hinblick auf Behinde- 5045 rung oft als medizinische Erweiterung auf. KI wird zur digita- 5046 len Halsschlagader der westlichen Welt (vgl. ebd.). Sie wird 5047 oftmals im militärischen und infrastrukturellen Bereichen 5048 verortet und analysiert und leicht gerät aus dem wohlmeinen- 5049 den Blick, dass ein großer Teil der Forschung sich mit der 5050 Grenze von gesund/krank und Be:hinderung/Nichtbe:hinde- 5051 rung beschäftigt. Care-Roboter, die Demenzkranken helfen, 5052 Apps zur Diagnostik von Autismus oder gleich zur störungs- 5053 freien Eingliederung von Autist*innen sind wichtige Kompo- 5054 nenten im Geflecht Künstlicher Intelligenz (Yergau 2014). Die 5055 Be:hinderung wird hierbei zum stabilisierenden Faktor der 5056 fragilen Technologie. Sie wird zur Kategorie, die binär und 5057 unveränderbar KI geduldig üben lässt, was genau der Kern der 5058 jeweiligen Behinderung ist. 5059 Die datengetriebenen Ansätze Künstlicher Intelli- 5060 genz sind Mustererkennungsmaschinen (vgl. Sejnowski 2018). 5061 Die Muster brauchen stabile Koordinaten, um lesbar zu sein 5062 für die Mensch-Maschine KI. Be:hinderung ist hierbei eine 5063 erfolgsversprechende Achse, abgrenzbar stabil und doch 5064 nicht eindimensional, sondern ausgedehnt; ein Spektrum oder 5065 nach Anforderung eine Achse an der Werte ab- und eingetra- 5066 gen werden können. Eine Koordinate, die Sinn verspricht und 5067 somit auch Erfolg. Aber, und das ist der tragisch komische 5068 Punkt, der/die Be:hinderte ist die kategoriale Sicherheit, die Katharina Klappheck — K.rüppel I.ntelligenz 171 5069 versucht wird zu überwinden. Wir müssen existieren, um hin- 5070 ter der Technik zu verschwinden. Die Diagnostik der multiplen 5071 Be:hinderungen soll ja nicht dazu führen, dass auf einmal 5072 Krüppel statistisch relevant und gesellschaftlich existent sind. 5073 Es geht vielmehr darum, zu helfen uns einzugliedern in eine 5074 wohlsituierte, niemals müde oder gebrechliche Gesellschaft 5075 (vgl. Yergau 2014). Vielleicht ist es mein Krüppel-Zorn der 5076 spricht. Ach, was schreibe ich, es ist ganz sicher der Krüp- 5077 pel-Zorn der hier spricht: Wer braucht die App, die Autist*in- 5078 nen scheinbar normal kommunizieren lässt? Warum gibt es 5079 keine App, die Menschen hilft, sich neurodivers zu artikulieren, 5080 die ihnen hilft, Sprache legasthen zu dekonstruieren? Warum 5081 dürfen wir als die Abweichung und gleichzeitig als das statis- 5082 tische Charakteristika dienen, aber sind niemals der Erfolg, 5083 der ruhmreiche Diskussionsteil des Papers?

PARALYSIERTE BUGS ( KI ALS BE:HINDERT) 5084 KI ist nicht nur die versprochene Heilung von Be:hinderung, 5085 sondern muss auch die Last des Versprechens einer funktio- 5086 nierenden Maschine erfüllen. Und sie funktioniert rational egal 5087 ob als antik anmutendes Expertensystem, welches auf exak- 5088 ten mathematischen Regeln ableisiert oder aber in der neuen 5089 schillernden Welt der neuronalen Netzwerke und des Deep 5090 Learnings. KI funktioniert und KI ist rational, aber Rationalität 5091 ist für uns längst kein Spiel mehr, sondern hohes ethisches 5092 Gut: „Ein rationaler Agent ist ein Agent, der das Richtige tut“ 5093 (Russel & Norvig 2012: 63). 5094 Das Richtige ist kein aristotelischer Traum vom männ- 5095 lich freien guten Leben, sondern immer eine Kosten-Nutzen- 5096 Analyse und in unserer humanen und posthumanen Zeit wird 5097 alles einer universalen Kosten-Nutzen-Analyse unterzogen. 5098 Kunst, Musik und Sex sind die rationalen Entscheidungen der 5099 Menschheit auf dem Markt der Möglichkeiten, preisgünstig 5100 und für alle zu kaufen, die genug Kontodeckung haben. Es 5101 scheint wenig zu verwundern, dass die Entstehung der KI und 5102 die Erfindung des Neoliberalismus gemeinsam Geburtstag 5103 feiern (vgl. Shanahan 2015: 83). 5104 Umso bemerkenswerter erscheint es da, dass der 5105 universelle Test zur Bestätigung zukünftiger Intelligenzen von 5106 einem Mann stammt, der weder Chicago Boy noch Freiburger 5107 Gelehrter war. Alan Turing hat den Turing-Test in den 1950ern 5108 designt und somit das bis heute gültige Kriterium verfasst, an 5109 welchem sich Entwicklungen auf dem Gebiet der KI messen 5110 lassen (vgl. Hofstadter 2016: 635). Turings Test ist zum semi- 5111 otischen Aktanten par excellence geworden. Einer diskursi- 5112 ven Praxis obliegt es, die menschlichen Tester*innen als intel- Feminist Futures 172 5113 ligent zu verstehen und somit als Teil des Fortschritts und der 5114 Revolution oder eben auch als fehlerhaft. Der Test scheint 5115 bestechend einfach: Zwei Personen und ein/e Fragesteller*in 5116 begeben sich in eine Konversation, innerhalb derer der/die 5117 Frageteller*in festzustellen hat, ob ihr Gegenüber menschlich 5118 ist oder nicht. Zentral dabei ist, dass intelligent alle Personen 5119 sind, die als Mensch klassifiziert wurden (vgl. Haug 1995: 17; 5120 Haraway 1995). 5121 Hier also fängt mein bescheidener Versuch an, Be:hin- 5122 derung in KI zu verorten. Ich möchte Turings Test als semio- 5123 tisch materielle Praxis zur Schaffung einer ableistischen KI 5124 decodieren. Die Leseweisen des Turing-Test verändern sich 5125 mit der neoliberalen Idee des Menschen als rational, immer 5126 verortet zwischen kosten- und nutztenabwägenden Akteur*in- 5127 nen. Als objektiver Parameter des Turing-Tests gilt die Sprach- 5128 erkennung der Künstlichen Intelligenz. Diese muss Humor, 5129 kulturelle Spezifika und vieles mehr erkennen, um dann auf 5130 das Gespräch eingehen zu können. Dies muss grammatika- 5131 lisch korrekt und schnell passieren. Ich bin nicht intelligent, 5132 wenn ich zwei Stunden zum Beantworten der Frage brauche, 5133 ob der Himmel blau ist oder nicht. Der alte Traum vom gesun- 5134 den Geist im gesunden Körper scheint in den Träumen rund 5135 um Künstliche Intelligenzen Einzug zu halten (Lenzen 2018: 5136 24–27). 5137 Dabei folgt der Test einem sehr einfachen Muster: AK T ION → RE AK T ION 5138 Im klassischen Turing-Test werden Sprache und 5139 Schrift das Medium der Intelligenz. Wir müssen zuerst schrei- 5140 ben und sprechen können und das in einem gewissen zeitli- 5141 chen Rahmen. Wir müssen auch auf Fragen reagieren können, 5142 Sprache verstehen, Witze einordnen, um nur einige Bereiche 5143 der sprachlichen Intelligenz zu benennen. Gerade auf diesen 5144 Aspekten beruht die Auswahl, wonach Menschen überhaupt 5145 erst zu qualifizierten Parametern für KIs werden (können). Der 5146 Turing-Test ist auf eine reibungslose Kommunikation als intel- 5147 ligent eingestufter Menschen angelegt. 5148 Stellen Sie sich vor, was passiert, wenn wir stottern, 5149 aufgrund von sozialer Phobie nicht sprechen können oder 5150 schriftlich stottern, so wie ich. Wir erfüllen die an uns adres- 5151 sierte Norm des reziprok befragten Menschen nicht. Daraus 5152 können wir Folgendes ziehen: Entweder werden die Phobi- 5153 ker*innen dieser Welt in den Test miteinbezogen und Schwei- 5154 gen in sozialen Situationen kann als intelligent gelesen werden, 5155 oder aber das Stottern wird als Abweichung eines Standards 5156 verstanden, der fehlerhafte Syntax als unintelligent ansieht 5157 und somit nicht als Kriterium für KI nützt. Interessanterweise 5158 konnten Programme Menschen mit dem Verweis auf Sprach- 5159 schwierigkeiten in Form von Fremdsprachigkeit überzeugen, 5160 als menschlich angesehen zu werden. Dieses Verhalten wird 5161 jedoch als Trick verstanden und als nicht intelligent gewertet, 5162 denn Simulation gilt als Frevel im Reich der reinen rationalen 5163 Welt der KI (vgl. Lenzen 2018: 27). Hier zeigt sich der semio- 5164 tisch materielle Akteur*innen-Charakter des Turing-Tests. 5165 Zum einen werden statistische Werte geschaffen, die KI zu 5166 Künstlichen Intelligenzen machen, zum anderen wird neu defi- 5167 niert, was menschlich ist. Die menschliche Intelligenz steht 5168 also ebenfalls zur Disposition. 5169 Gehen wir einen Schritt weiter und Fragen nach der 5170 Verkörperung von KIs und dem Zusammenhang von Intelli- 5171 genz und Körper. Aktuelle Debatten kreisen vor allem um die Katharina Klappheck — K.rüppel I.ntelligenz 173 5172 Frage nach dem Zusammenhang von Wetware und Hardware. 5173 KI-Forschung im Forschungszweig des „Artificial Life“ behan- 5174 delt auch die Funktion des Lebens als Computerprogramm. 5175 Hierbei handelt es sich um eine Art Rational-Choice-Theorie 5176 der vermeintlich natürlichen Evolution, simuliert am Computer, 5177 dem Habitat der künstlichen Schwestern, lebenden Toten und 5178 rassistischen Bots. Forscher*innen nähern sich mit Hilfe eines 5179 theologischen Selbstverständnisses und einem „Trial and 5180 Error“-Verfahren einer rationalen, zweckorientierten KI an. 5181 Eine Vertreterin dieser Theorien bietet folgendes, sehr exem- 5182 plarisches Bild: „EvoSphere bestehend aus Geburtsklinik, Kin- 5183 dergarten, Testarena und Evolution bleibt Evolution ein Recy- 5184 clinghof für die Verlierer des evolutionären Wettbewerbs“ 5185 (Lenzen 2018: 97; eigene Hervorhebung). 5186 EvoSphere ist eine Computersimulation, die die Auf- 5187 zucht von Robotern nachstellt. Was die gesellschaftliche Evi- 5188 denz vom Recyclinghof dabei sein soll, bleibt der schauerli- 5189 chen Fantasie oder einem Rückblick in die Geschichte über- 5190 lassen (vgl. ebd.). Hier finden wir einen ungenierten Sozial- 5191 darwinismus vor. Es werden Gesellschaften imaginiert, die 5192 sich mittels wettbewerbsorientierter Selektion entwickeln. 5193 Diese Utopie der Künstlichen Intelligenz kommt ohne „Verlie- 5194 rer“ aus: Be:hinderung wird hier als naturalistische Fehlfunk- 5195 tion verstanden, die wie Sarah Kember bereits herausgearbei- 5196 tet hat, keinerlei Berechtigung innerhalb der neuen KI Welt hat 5197 (vgl. Kember 2003). 5198 Rückblickend möchte ich festhalten, dass der Turing- 5199 Test als semiotisch materieller Aktant, Realitäten schafft, wel- 5200 che in einer neoliberalen KI-Forschung Leistungsprinzipien 5201 und Rational-Choice-Ideen als Maßstab für Intelligenz schaf- 5202 fen, welche sich sowohl auf KI als auch auf ihre humanoiden 5203 Nachbar*innen auswirken. Ferner hält ein sozialdarwinisti- 5204 sches Evolutionsbild Einzug in die Forschung, welche Körper- 5205 normen auf, und das möchte ich in aller Klarheit festhalten, 5206 höchst gefährliche Art und Weise zu Kategorien des Lebens 5207 an sich macht.

2 Ableisiert leitet sich vom Konzept des Ableismus ab: „Das heißt, anders als der Begriff Behindertenfeindlichkeit setzt Ableism Behinderung nicht als gegebenes Faktum voraus, gegen das sich die Abwehr richtet, sondern nimmt die norma- tive Einteilung in Behinderung und Nichtbehinderung in den Blick. Nichtbehinderung und Gesundheit werden zum Ideal erhoben, an dem sich alle Körper zu bewähren haben – indes ist dieses Ideal auch auf seine Gegenseite verwiesen.“ (Maskos 2015) 3 Wetware ist eine Neologismus und meint, im Gegensatz zu Hardware, also den Kabeln, Prozessoren und Ähnlichem, das menschliche Gehirn und Nervensystem. Dieser Begriff wurde geschaffen, um die Verbindung von Maschine und Mensch im Computerzeitalter zu konzeptualisieren (vgl. Riskin 2003: 97).

Feminist Futures 174 SMOOTHE CYBORGS ( KI ALS MENSCH- MASCHINE- INTERAKTION) 5208 Wenn wir über die multiple und zerstückelte Verbindung von 5209 Be:hinderung und KI nachdenken, müssen wir über den Cyborg 5210 reden. Jene Figur des kalten Kriegs, die ein Verschmelzen 5211 von Technik und Organismus markiert. Die/Der Cyborg ist 5212 eine Grenzverschiebung von Technologie und Organismus. 5213 Cyborgs können Menschen sein oder auch Tiere, wie bei- 5214 spielsweise Laborratten, die genmodifiziert werden (vgl. 5215 Haraway 1985). Wenn es sich um einen feministischen Blick 5216 auf jene neue Identität im posthumanen digitalen Kapitalis- 5217 mus dreht, ist Donna Haraway die illegitime akademische 5218 Mutter (ebd. 1985). Sie erzählte vor dem Hintergrund einer 5219 drohenden atomaren Apokalypse im Manifest für Cyborgs 5220 von einer neuen Figuration von Menschen, Tieren und Techno- 5221 logien, die weder in ein prädigitales Eden noch in eine Technik- 5222 utopie, oder -dystopie fliehen konnte. Auferstanden aus mili- 5223 tärischen, kolonialen und rassistischen Verhältnissen war die/ 5224 der Cyborg das Versprechen, diese Widersprüche auszuhal- 5225 ten, mit ihnen politisch zu spielen und sie zu nutzen, um die 5226 Welt, wie sie ist und war, zu verändern (ebd.). Be:hinderte 5227 waren in diesen feministischen Interventionen stets das 5228 lebende Beispiel und wenn wir heute auf die intelligenten 5229 Bruchstücke der Technik schauen, die uns ermöglicht, was der 5230 eigene Körper verweigert, sind Künstliche Intelligenzen und 5231 Crips-Cyborgs im Zeitalter neuronaler Netzte ein polyamorö- 5232 ses Ehepaar. 5233 Dabei wird diese Vernetzung zum artifiziellen Fakt. 5234 Behinderung wird nicht nur durch Technik geheilt, so das Ver- 5235 sprechen, nein ihr seid auch im Jahr 2020 die ersten richtigen, 5236 die natürlichen Cyborgs (vgl. Kafer 2013: 105). Fernab gefähr- 5237 lich ironischer Allianzen werden Verbindungen geschaffen, die 5238 widerspruchsvoller nicht sein könnten und doch von einer 5239 immer ausdifferenzierteren weißen cis hetero und abled 5240 Gesellschaft gebraucht werden. Der/die Cyborg als be:hin- 5241 derte Norm! Schau, mit Technik bekommen wir es hin. Sie sind 5242 nicht so be:hindert, wie wir gedacht haben. Mit ein wenig Mic- 5243 rosoft und ein wenig Apple können die Be:hinderten gehen, 5244 sehen und sprechen! Dabei werden uns schmerz- und wider- 5245 spruchsfreie Verbindungen versprochen. Die Technologie hilft 5246 der/dem be:hinderten Cyborg. Aber wie wir nach fast einem 5247 halben Jahrhundert neoliberaler Ordnungsfantasien gelernt 5248 und verinnerlicht haben: Kein Nutzen ohne Kosten. Doch was 5249 sind die Kosten? Wer bezahlt sie? 5250 Feministische, postkoloniale und disability Wissen- 5251 schaftler*innen, wie Jina B. Kim mit ihrer Crip-of-Color Kritik, 5252 zeigen immer wieder auf, dass Beziehungen machtvoll sind, 5253 die Hierarchien reproduzieren und den Nutzen der einen auf 5254 Kosten der anderen evozieren (vgl. Kim 2017). Die Verbindun- Katharina Klappheck — K.rüppel I.ntelligenz 175 5255 gen von Technologie und Be:hinderung verschafft mir als wei- 5256 ßer be:hinderter europäischer Person Vorteile, die nicht mir 5257 gehören. Intelligente Prothesen sind keine nachwachsenden 5258 Beine oder Gelenke. Es braucht Rehabilitationsmedizin, Diag- 5259 nostik, Operationen. Es sind schmerzvolle Verbindungen, die 5260 Care-Arbeit erfordern, zumeist von marginalisierten Personen 5261 zu schlechtbezahlten Konditionen. Meist bleiben die Prothesen 5262 Krankenversicherten vorbehalten und das, weil wir in einer 5263 Welt leben, die sich im westlichen Kapitalismus entschlossen 5264 hat Be:hinderung zu ignorieren. Fehlende Rampen sind kein 5265 Zeichen von Naivität, sondern der machtvollen Taktik politisch 5266 motivierter Ignoranz! 5267 Dabei wird KI als scheinbar mechanischer Teil des 5268 Cyborgs erkenntlich als sperrige widerspruchsvolle Figura- 5269 tion vergeschlechtlicher Care-Arbeit, rassifizierender Aus- 5270 beutungsprozesse und ableistischer Vorstellungen eines 5271 guten Lebens. Dabei werden oftmals die Konfiguration von 5272 Be:hinderung, globalen Verwertungsketten und dem wach- 5273 senden Anteil an Menschen mit Be:hinderung im globalen 5274 Süden verunsichtbart (vgl. Meekosha 2011: 669). Die Verbin- 5275 dung von Mensch und Maschine ist nicht evident, sie ist arti- 5276 fiziell und voller, im körperlichen Sinne, schmerzlicher Erfah- 5277 rungen. Wir verbinden uns nicht einfach mit einer intelligenten 5278 Maschine: Wir verkabeln uns, wir schreien und haben finan- 5279 zielle Sorgen (Quinlan & Bates 2014). Als weiße behinderte 5280 Cyborgs in Krankenversicherungssystemen ist das ein Privi- 5281 leg, da künstliche Gelenke und intelligente Prothesen von Ver- 5282 sicherungen bezahlt werden. Wir dürfen also schmerzvolle 5283 Verbindungen eingehen. Wir sind die artifiziellen Fakten. Wir 5284 sind eine privilegierte Cyborg-Gemeinschaft, die untersucht 5285 wird, die aber auch eine kritische Wissenschaftscommunity 5286 hinter sich hat, die Medizin und Be:hinderung kritisch hinter- 5287 fragt (vgl. Mulderink 2020). Das ist der nicht unschuldige, auf 5288 den globalen Norden fokussierte Part der Cyborg-Geschichte. 5289 Meine eigene Prothese habe ich erhalten, weil ich jung bin, 5290 weiß und krankenversichert. Menschen nehmen mir meinen 5291 Schmerz ab. Sie sorgen für mich und meine Krankenkasse 5292 stuft mich als Wissenschaftler*in wertvoll genug ein, sodass 5293 sie mir Zeit einräumt mit der Prothese zu üben. Dies auch, 5294 damit ich dem Arbeitsmarkt nicht verloren gehe. Die Nutzen 5295 sind nicht meine, aber ich profitiere von ihnen. Cyborgs, die 5296 mit KI leben sind nicht soft und konfliktfrei mit ihnen verschmol- 5297 zen. Es sind politische Grenzverschiebungen die schmerzen. 5298 Es sind Grenzverschiebungen, die einen Großteil der Weltbe- 5299 völkerung aufgrund kolonialer Ausbeutungsverhältnisse und 5300 Infrastruktur verwehrt werden.

Feminist Futures 176 LEGASTHENE KI UND WEISSE PRIVILEGIEN 5301 In den USA wurde Software seit Mitte der 70iger zu einer 5302 Ware. Durch gerichtliche Urteile werden Algorithmen nicht 5303 mehr als Naturgesetze verstanden oder als Rechenoperatio- 5304 nen, wie 1 + 1, sondern als urheber*innengeschützte Güter der 5305 Wirtschaft konstruiert. Software wird zu einer Patentangele- 5306 genheit und damit zu einem Faktor möglicher wirtschaftlicher 5307 Vormacht. 5308 Gleichzeitig professionalisiert sich die Computerwis- 5309 senschaft. Universitätslehrstühle entstehen und der Beruf 5310 des Programmierers, der Programmiererin wird hochbezahlt. 5311 Frauen und vorrangig Schwarze Frauen werden aus den Beru- 5312 fen rund um Softwareentwicklung gedrängt und müssen 5313 einer weißen männlichen Belegschaft weichen, die bis heute 5314 in den KI-Bastionen des Globalen Nordens codieren (vgl. Chun 5315 2013). Aber wie gute Feminist*innen wissen, fallen Universi- 5316 tätsabsolvent*innen nicht vom Himmel, sondern gehen in den 5317 Kindergarten und die Schule. Und diese Schule muss Anfang 5318 der 50iger mehr und mehr weiße Männer an die Universitäten 5319 schicken, um eine neu aufkommende Ökonomie die auf Exper- 5320 tise setzt anzukurbeln. 5321 Die Schule wird ganz ohne das Zutun französischer 5322 Intellektueller zu einem Ort der Disziplinierung und der Gewin- 5323 nung neuer zukünftiger Technikmeister. Dafür werden höhere 5324 Standards in Form von Test- und Lehrinhalten eingeführt. 5325 Gleichzeitig taucht eine neue Kategorie der Be:hinderung auf: 5326 Die Lernbe:hinderung. Ein Spektrum, welches sich auf abge- 5327 schlossene Bereiche wie das mangelhafte Lesevermögen von 5328 Schüler*innen im Vergleich zu ihren Klassenkamerad*innen 5329 ausdrückt. Die Lernbe:hinderung ist eine Be:hinderung, die sich 5330 auf einen einzelnen Bereich auswirkt und biologische Ursprünge 5331 zu haben scheint (vgl. Sleeter 1987: 226). Waren Lernschwie- 5332 rigkeiten in einer postdigitalen Welt eine vernachlässigbare 5333 Größe, werden sie vor dem Hintergrund atomaren Wettrüstens 5334 und Wirtschaftseinbrüchen und dem zukünftigen Software- 5335 markt ein soziales Problem, das messbar, therapierbar und vor 5336 allem normalisierbar wird. Sleeter fasst die sozial vielschichtige 5337 Bedingtheit dieser Trennungslinie wie folgt zusammen: 5338 „Learning disabilities seemed to explain white middle class 5339 children particularly well because it did not level blame 5340 on their home or neighborhood environment, it upheld their 5341 intellectual normalcy, and it suggested hope for a cure 5342 and for their eventual ability to attain relatively higher status 5343 occupations than other low achievers.“ 5344 (Sleeter 1987: 230) 5345 Damit wird Be:hinderung im Kontext einer sich immer 5346 weiterentwickelnden und exklusiveren Wissensökonomie, die 5347 Fachkräfte benötigt, zu einer weiteren Segregationslinie. 5348 Diese schreibt sich bis heute fort. So legt 20 Jahre nach dem 5349 Aufsatz von Sleeter, Wanda Blanchett 2010 dar, dass sich bis 5350 in die Gegenwart die Kategorie der Lernbe:hinderung in den 5351 USA zwar hinsichtlich der Kategorien race und Klasse geän- 5352 dert hat, die Funktion aber erhalten geblieben ist. So werden 5353 jetzt vermehrt Schwarze und Kinder of Colour in die Kategorie Katharina Klappheck — K.rüppel I.ntelligenz 177 5354 der Lernbe:hinderung hinzugezählt. Diese werden jedoch weit 5355 weniger in Normklassen geschickt, sondern in Sonderklassen 5356 mit wenig Aussicht auf die Möglichkeit eines Universitätsab- 5357 schlusses und somit auch weniger Möglichkeit an der Ent- 5358 wicklung von KI beteiligt zu sein (vgl. Blanchett 2010: 7). 5359 Für den deutschen Kontext fehlt eine solche Studie, 5360 dennoch lässt sich beispielsweise dem Verband für Legasthe- 5361 nie und Dyskalkulie zu Folge eine Bildsprache erkennen, die 5362 nur weiße Personen abbildet und auch die Ursachen für Leg- 5363 asthenie und Dyskalkulie sowie deren Begrenztheit lassen 5364 sich nicht aus der Seite entnehmen (siehe Webseite: Verband 5365 für Legasthenie und Dyskalkulie). Be:hinderung ist eine kom- 5366 plexe Kategorie, die sich nicht in eine unschuldige Zukunft 5367 auflösen lässt. Lernbe:hinderung ist Teil eines Systems weißer 5368 Privilegien, die Wissenschaftler*innen generieren kann und 5369 das vorrangig für naturwissenschaftliche Fächer und Infor- 5370 matik. Wenn wir also von einer überwiegend weißen Wissen- 5371 schaftscommunity innerhalb der westlich geprägten KI- 5372 Community reden, müssen wir auch über Be:hinderung als 5373 konstitutiven Faktor mit all seiner machtvollen Widersprüch- 5374 lichkeit reden. Als lernbe:hinderte Person, die jetzt in diesem 5375 Sammelband zu KI veröffentlichen darf, erkenne ich an, dass 5376 all die rechtlichen Kämpfe, die Diskriminierungserfahrungen, 5377 aber auch die Therapieangebote und die Lobbyarbeit auf 5378 einem rassistischen Erbe beruhen, welches bis heute fortbe- 5379 steht. Es ist ein Privileg, weiß und lernbe:hindert zu sein. Die- 5380 ses Privileg schützt vor einer Zukunft in schlecht bezahlten 5381 Jobs oder sichert einen Platz im Heim.

4 Siehe etwa unter: https://www.bvl-legasthenie.de/.

K .RÜPPEL I. N TELLIGENZ 5382 Nach diesem lückenhaften Ausflug in eine alternative KI-Deu- 5383 tung braucht es noch einen parteiischen Blick in die Zukunft. 5384 Was wäre, wenn KI selbst ein Krüppel wäre? Sich einer ein- 5385 deutigen Funktion nicht nur verweigert, sondern etwas Neues 5386 eröffnet, einen Blick auf maschinelle Intelligenz, die nicht in 5387 Kosten-Nutzen-Kalkulationen, sondern in Stottern und Krämp- 5388 fen aufgeht? Der Einsatz von KI im Bereich der Medizin, der 5389 Kommunikation und Mobilität und ähnlichen ermöglicht einer 5390 Vielzahl von Menschen an einem Leben teilzunehmen, dass für 5391 sie nie gedacht war. Gleichzeitig wird Be:hinderung immer 5392 mehr zur scheinbar neoliberal vermeidbaren Wahl. Das Ideal 5393 von Gesundheit gibt es nicht umsonst und schon jetzt arbeiten 5394 vor allem im Globalen Süden Menschen und besonders FLTI* 5395 Personen für diese Technowelt, des heilen weißen Mannes 5396 und für ein, von großen Technologiekonzernen imaginiertes 5397 Ideal von Intelligenz/ Begehren/ Konsum. Ich denke, wenn wir 5398 Be:hinderung in diesen Prozess einfließen lassen, als Bug, kön- 5399 nen wir KI zu K.rüppel I.ntelligenz werden lassen. Es wird unser Feminist Futures 178 5400 Verständnis von der Welt ändern. Es ist abgleitet aus der 5401 strukturellen Unterdrückung marginalisierter Personen. Es 5402 wird uns auf neue Diskriminierung stoßen lassen, aber ich bin 5403 der tiefsten Überzeugung, dass es unsere einzige Wahl ist.

Katharina Klappheck ist Wissenschaftler*in und Aktivist*in. Arbeits- schwerpunkte sind die intersektoralen Verschränkungen von Geschlecht und Be:hiderung innerhalb der Entwicklung Künstlicher Intelligenzen. Ein Hauptaugenmerk liegt hier vor allem auf den Designpraktiken zur Wissensübermittlung durch Informatik.

LITERATUR Blanchett, Wanda J. (2010) „Telling It Like It Is: The Role of Race, Class, & Culture in the Perpetuation of Learning Disability as a Privileged Category for the White Middle Class“. DSQ, 30 (2), online unter: http://dx.doi. org/10.18061/dsq.v30i2.1233. Bennett, Cynthia L. & Keyes, Os (2019) „What is the Point of Fairness? Disability, AI and The Complexity of Justice.“ In: ArXiv abs/1908.01024. Chun, Wendy Hui Kyong (2013) Programmed visions. Software and memory. Cambridge / Massa- chusetts / London: MIT Press. Haraway, Donna Jeanne (Hg.) (1995) Monströse Versprechen. Die Gender- und Technologie-Essays. Hamburg: Argument Verlag. Haraway, Donna Jeanne (1985) „A Cyborg Manifesto. Science, Technology, and Socialist Feminism in the 1980’s“. Socialist Review (80), 65–107. Haug, Frigga (1995) „Riskante Verbindungen. Donna Haraways Dynamisierung der Stand- punkte“. In: Haraway, Donna Jeanne (Hg.): Monströse Versprechen. Die Gender- und Technologie-Essays. Hamburg: Argument Verlag, 11–80. Hofstadter, Douglas R. (2016) Gödel, Escher, Bach. Ein endloses geflochtenes Band. Stuttgart: Klett-Cotta. Kafer, Alison (2013) Feminist, Queer, Crip. Bloomington/Indianapolis: Indiana University Press. Kember, Sarah (2003) Cyberfeminism and Artificial Life. London / New York: Routledge. Kim, Jina B. (2017) „Toward a Crip-of-Color Critique: Thinking with Minich’s ‘Enabling Whom?‘“. Lateral 6 (1). Online unter: doi: 10.25158/L6.1.14. Lenzen, Manuela (2018) Künstliche Intelligenz. Was sie kann & was uns erwartet. München: C.H. Beck. Maskos, Rebecca (2015) „Ableism und das Ideal des autonomen Fähig-Seins in der kapitalisti- schen Gesellschaft.“ Zeitschrift für Inklusion (2). Online verfügbar unter https://www.inklusion-online.net/index. php/inklusion-online/article/view/277.

Katharina Klappheck — K.rüppel I.ntelligenz 179 Meekosha, Helen (2011) „Decolonising disability: thinking and acting globally“. In: Disability & Society 26 (6), 667–682. Mulderink, Carrie Elizabeth (2020) „The emergence, importance of #DisabilityTooWhite hashtag“. DSQ 40 (2). Online unter: doi: 10.18061/dsq.v40i2.6484. Quinlan, Margaret M. & Bates, Benjamin R. (2014) „Unsmoothing the Cyborg: Technology and the Body in Integrated Dance“. DSQ 34 (4). Online unter: doi: 10.18061/dsq.v34i4.3783. Riskin, Jessica (2003) „Eighteenth-Century Wetware.“ Representations 83 (1), 97–125. DOI: 10.1525/rep.2003.83.1.97. Russell, Stuart J. & Norvig, Peter (2012) Künstliche Intelligenz. Ein moderner Ansatz. München: Pearson. Sejnowski, Terrence J. (2018) The deep learning revolution. Cambridge/ Massachusetts/London: The MIT Press. Shanahan, Murray (2015) The technological singularity. Cambridge/ Massachusetts/London: The MIT Press. Sleeter, Christine ([1987] 2010) „Why Is There Learning Disabilities? A Critical Analysis of the Birth of the Field in Its Social Context“. DSQ 30 (2). Online unter: doi: 10.18061/dsq.v30i2.1261. Yergeau, Melanie (2014) „Disability Hacktivism. Computers and Composition.” Hacking the Classroom. Online verfügbar unter http://www2.bgsu.edu/departments/ english/cconline/hacking/#yergeau.

Feminist Futures 13

FEMINISTISCHE ZUKUNF TE SCHREIBEN. • KATRIN FRITSCH & HELENE VON SCHWICHOW

181 5404 Frühjahr, 2020: unter dem Hashtag #FlattenTheCurve wer- 5405 den Menschen weltweit dazu aufgefordert, zu Hause zu blei- 5406 ben, um die COVID-19 Ansteckungsrate auch in Zukunft 5407 gering zu halten. Die Nachrichten sind mit Zahlen und Dia- 5408 grammen gefüllt: prognostizierte Mengen an Krankenhaus- 5409 betten, voraussichtliche wirtschaftliche Einbrüche, steigende 5410 Arbeitslosenraten. Im Gegensatz zu früheren Katastrophen, 5411 wie etwa Cholera-Ausbrüchen, wird das Ausmaß von COVID- 5412 19 bereits vor dem endgültigen Eintreten berechnet. Algorith- 5413 men, Codes, Statistik – Vorhersagen dienen als Grundlage um 5414 politische Entscheidungen zu treffen. 5415 Die COVID-19 Pandemie macht deutlich, was sich 5416 schon seit mehreren Jahren abzeichnet: wir können die Gegen- 5417 wart nicht mehr ohne ihre Zukünfte verstehen1. Wer über 5418 Zukunft spricht, beeinflusst gegenwärtige Entscheidungen. 5419 Wer Zukunft produziert, sie also vertextet oder zeichnet, hat 5420 die Deutungshoheit. Über Zukunft zu sprechen ist politisch. 5421 Unternehmen im Silicon Valley haben schon lange 5422 verstanden, wie wichtig es ist, Zukunft zu produzieren. Mark 5423 Zuckerberg, Sergey Brin oder Elon Musk sprechen ständig 5424 darüber, wie die Technologien der Zukunft aussehen werden, 5425 was sie können – und was eben auch nicht. Selbstfahrende 5426 Autos, smarte Brillengläser oder Internet im Weltraum sind nur 5427 einige dieser Zukunftsvisionen. Aber ist das wirklich die 5428 Zukunft, in der wir alle leben wollen? 5429 Wirft man einen genaueren Blick auf die öffentlich 5430 propagierte Zukunft wird sehr schnell klar, dass sie haupt- 5431 sächlich von weißen, privilegierten Männern erträumt wird. 5432 Damit ist sie homogen, scheint unabdingbar und schließt 5433 Wünsche und Bedürfnisse vieler anderer Menschen aus. Brau- 5434 chen wir in Zukunft wirklich selbstfahrende Autos, und nicht 5435 viel eher eine CO2-neutrale Verkehrsinfrastruktur? Brauchen 5436 wir wirklich smarte Brillengläser, und nicht viel eher ein robus- 5437 tes demokratisches System? 5438 Zukunft zu produzieren eröffnet Möglichkeitsräume. 5439 Wenn nur einige wenige Zukunftsvisionen geschaffen werden, 5440 werden Alternativen vergessen. Die Frage sollte also nicht 5441 lauten Wie wird die Zukunft aussehen?, sondern, Wie kann 5442 Zukunft diverser gestaltet werden? Wie können wir Zukunft 5443 von Grund auf feministisch denken und Werte wie Gemein- 5444 schaft oder soziale Gerechtigkeit inkludieren? Wie können 5445 Machtstrukturen erkannt und aktiv gestürzt werden? Wie 5446 können wir Zukunft demokratisieren? 5447 Feminismus hat langjährige Erfahrung damit, sich 5448 genau diese Fragen zu stellen und kreative Antworten auf sie 5449 zu finden. Intersektionalität erlaubt zu erkennen, dass es viel 5450 mehr als nur eine Zukunft gibt. Anti-patriarchale Perspekti- 5451 ven erlauben es, nicht-binäre Narrative zu schreiben. Antika- 5452 pitalistische Ansätze ermöglichen es, über Zukünfte nachzu- 5453 denken, in denen Nachhaltigkeit und soziale Gerechtigkeit, 5454 nicht Profit und Disruption, als Ziele definiert werden. 5455 Indem man sich Zukunft vorstellt und diese Vorstel- 5456 lung in Worte fasst, wird sie nicht nur greifbar, sondern zeigt 5457 auch die Schritte auf, die in der Gegenwart notwendig sind, 5458 um eben diese Zukunft zu erreichen. Denn über Zukunft zu 5459 sprechen, heißt auch über uns selbst zu sprechen und Ziele für 5460 uns als Gesellschaft zu formulieren. Somit hat Imagination ein 5461 enormes politisches Potenzial zu gesellschaftlichen Verände- 5462 rungen – besonders wenn sie gemeinschaftlich passiert. 5463 Es ist also höchste Zeit, sich den Raum und die Zeit 5464 zu nehmen2 diese Zukünfte aktiv zu imaginieren, sie nieder- 5465 zuschreiben und sie zu erzählen. Dabei ist es wichtig, sich 5466 nicht der gleichen technik-deterministischen Werkzeuge, wie Feminist Futures 182 5467 sie aus dem Silicon Valley kommen, zu bedienen. Das heißt: 5468 Künstliche Intelligenz wird nicht passieren, viel eher haben wir 5469 die Freiheit zu entscheiden, ob und wie sie passieren wird. Bio- 5470 metrische Erkennungssysteme sind nicht die Zukunft, son- 5471 dern können aktiv abgelehnt werden. 5472 Wir sollten also frei und kreativ unsere Zukünfte 5473 erträumen, niederschreiben, und damit neue feministische 5474 Möglichkeitsräume definieren. Nicht mit den Werkzeugen des 5475 Patriarchats, wie etwa Vorhersage-Algorithmen oder binären 5476 Zahlen, sondern viel eher mit unserer Vorstellungskraft. 5477 Gemeinsam, fair, und in Solidarität. Oder wie Audre Lorde 5478 sagt: „[...] if we do not define ourselves for ourselves, we will 5479 be defined by others – for their use and our detriment.“ 3

1 Dernbach, Rafael (2020): 10 Thesen zur Produktion von Zukünftigkeit. Abgerufen von https://vimeo.com/411006277. 2 Oder, wie Virginia Woolf in Ein Zimmer für sich allein erkennt, ein eigenes Zimmer zum Schreiben finden. 3 Lorde, Audre (2017): Your silence will not protect you. London: Silver Press.

MOTIF ist ein unabhängiger Think Tank, der an der Schnittstelle von Technologie und Gesellschaft arbeitet, gegründet von Katrin Fritsch und Helene von Schwichow. Sie beraten Organisationen und politische Entscheidungsträger*innen zu nachhaltigen Technologien und übersetzen komplexe Fragen des digitalen Zeit- alters in umsetzbare Formate.

Katrin Fritsch & Helene von Schwichow – Feministische Zukünfte schreiben. 183 Feminist Futures 14

USE YOUR TECHNICAL MONSTERS — CREATE THEM, NURTURE THEM AND USE THEM FOR CREATING NURTURE AND CARE. • ANNIKA KUHN 185 5480 Technologien entstehen nicht aus dem Nichts. Technologien 5481 werden geschaffen. Erschaffer*innen/Macher*innen von 5482 Technologien reflektieren aber zu selten ihren Einfluss auf 5483 die entsprechende Technologie und den Einfluss dieser Tech- 5484 nologie auf sie selbst. Bruno Latour nutzt in seinem Essay 5485 „Love your Monsters“ eine Analogie zu Frankenstein. Die 5486 Geschichte sei in der populären Vorstellung eine warnende 5487 Legende gegen Technik. Auf diese Weise wird das Monster 5488 mit dessen Macher verwechselt. 5489 „It is not the case that we have failed to care for Creation, but 5490 that we have failed to care for our technological creations. 5491 We confuse the monster for its creator and blame our sins 5492 against Nature upon our creations. But our sin is not that 5493 we created technologies but that we failed to love and care 5494 for them. It is as if we decided that we were unable to 5495 follow through with the education of our children.“ 5496 (Latour 2012) 5497 Es bringt nichts, die bereits entwickelten techni- 5498 schen Produkte als Monster zu verteufeln, sondern die Taten, 5499 die dazu geführt haben, dass es Monster wurden/werden 5500 können, sollten geortet und bewusst geändert werden, um sie 5501 im nächsten Schritt zu vermeiden. Im Kontext dieser Publika- 5502 tion geht es dabei zum Beispiel um einen gender bias bei KI, 5503 um autonome Waffensysteme oder die Benachteiligung von 5504 Menschen in ihrem Recht auf Zugang zu und Teilhabe an 5505 etwas, das mithilfe von technischen Prozessen gesteuert wird, 5506 z.B. bei der Vergabe von Jobs oder Krediten. Außerdem wäre 5507 eine nachhaltige Gewährleistung von Datenschutz bei persön- 5508 lichen Daten erstrebenswert, die ebenso mit einem autono- 5509 men, mündigen Umgang der Nutzer*in einhergeht. Dafür 5510 benötigt es wechselseitig eine kritische Gesellschaft, die kri- 5511 tische Macher*innen von Technologien „erzieht“, indem sich 5512 in Diskurse und Entscheidungen eingemischt wird und Räume 5513 feministisch intersektional mitgestaltet werden.

Feminist Futures 186 FEMINISTISCHE SCIENCE F ICT ION 5514 Der Status Quo sollte sein, dass Technologien wie KI von 5515 Macher*innen konstruiert werden, die sich ihrem Einfluss 5516 durch ihr Mindset bewusst sind und bereit dafür sind, ihr Mind- 5517 set immer wieder kritisch in Hinblick auf intersektionale, femi- 5518 nistische Perspektiven zu hinterfragen – von hier ausgehend: 5519 KI wird in Hinblick auf mehrere Aspekte des Sozialen Mitein- 5520 anders entwickelt nach dem Motto „Nutze Technik als Mittel 5521 zum sozialen Zweck, gestalte mit ihr“. Feministische Science 5522 Fiction kann hierzu einen Beitrag leisten, indem Leser*innen 5523 zur Selbstreflexion angeregt und für ein Vorstellungsvermö- 5524 gen über mögliche Zukunftsszenarien beigetragen wird – 5525 utopisch sowie dystopisch. Aus diesem Gegensatz kann dem- 5526 entsprechend eine Synthese, in Form von Transformation 5527 – auch rein gedanklich – basierend auf einer Problemana- 5528 lyse, entstehen. 5529 Donna Haraway kreierte den Cyborg, eine Fusion aus 5530 Tier und Maschine, welche die Gegensätze zwischen Natur 5531 und Kultur irritiert: „This cyborg is our ontology; it gives us our 5532 politics. The cyborg is a condensed image of both imagination 5533 and material reality, the two joined centres structuring any 5534 possibility of historical transformation“ (Haraway 1991: 1). Sci- 5535 ence Fiction kann Menschen dazu befähigen, ihre Perspektive 5536 auf die Realität zu hinterfragen und zu Perspektiven anderer 5537 Möglichkeiten zu gelangen. „Feminist science fiction is a text- 5538 ual – and embodied – practice rather than a textual form: it is 5539 a practice that is developed in multiple interpretive communi- 5540 ties that take „pleasure in the confusion of boundaries and … 5541 responsibility in their construction“ (Haraway 1991 [1985]: 150).

Annika Kühn – Use your technical Monsters 187 UTOPIE – EINE KI, DIE NACHHALTIGE FEMINISTISCHE EMOTIONALE CARE-WORK IN BEZUG AUF PSYCHISCHE GESUNDHEIT IN FORM VON MEDIAT ION LEISTET 5542 In dieser Utopie geht es um Fürsorge und Förderung zwischen 5543 und unter Menschen durch KI. Sie hilft, Menschen dazu zu 5544 bringen, sich mit sich selbst und den Mitmenschen auseinan- 5545 derzusetzen. Daher wird sie als hybrides Objekt, bestehend 5546 aus Technik und Sozialem verstanden, welches also auch als 5547 soziale Akteurin gesehen wird, die das soziale Miteinander 5548 nachhaltig gestaltet. Sozusagen eine „emotional carende KI“, 5549 die sich erinnert, dadurch Menschen mit sich selbst und ihrem 5550 Verhalten konfrontiert, ihnen das Gefühl gibt ernst genom- 5551 men zu werden und dabei hilft, nachhaltige Netzwerke, Ver- 5552 bindungen, Interaktionen zwischen Menschen zu schaffen. 5553 Diese existieren ohne Bevormundung, ohne Oktroyierung, 5554 ohne Macht. 5555 In der Utopie sind Soziale Medien nachhaltige Reso- 5556 nanzräume, die so gestaltet sind, dass sie die Individuen, die 5557 sie nutzen, sensibilisiert auf sich und das Gegenüber zu achten 5558 – in Bezug auf Wertschätzung, Stress und psychische Gesund- 5559 heit. Die KI kann z.B. dafür eingesetzt werden Plattformen, die 5560 bei der Teamarbeit genutzt werden, so zu gestalten, dass die 5561 Individuen sich gegenseitig wertschätzend begegnen können, 5562 ohne in Arbeitsstress zu verfallen, der die Teambeziehung und 5563 -arbeit belastet. Bei gleichzeitiger Datensicherheit, vor allem 5564 auch bzgl. personenbezogener Daten. 5565 Die KI funktioniert nicht, indem sie Verhaltensmuster 5566 auf Basis von Sprache oder Bildern analysiert, generalisiert 5567 und massenweise gleich anwendet, wie nach dem Prinzip des Feminist Futures 188 5568 deep learning. Sie hat ein Bewusstsein für Individualität und 5569 ist kognitiv flexibel. 5570 (Vermeintliche) Identitäten zu konstruieren und als 5571 Datengrundlage zu speichern spielen für sie keine Rolle. Sie 5572 ist multiperspektivisch und hat doch eine klare Haltung – pro 5573 Selbstbestimmung. 5574 Dadurch kann sie sich in Konflikt- und Stresssitua- 5575 tionen einmischen – quasi Mediation – und begleitet diese, 5576 indem die Individuen zum Innehalten und Nachdenken ange- 5577 regt werden, bevor sie z.B. emotionalisiert diskutieren oder 5578 sich zurückziehen um den Konflikt belastend mit sich selbst 5579 auszumachen. 5580 Eine weitere Eigenschaft ist, Personen davor zu 5581 schützen, sich selbst nicht von Arbeit und Informationen, die 5582 durch technische Vernetzung an sie herangetragen werden, 5583 abgrenzen zu können, und somit einer „Fear of missing out“ 5584 vorzubeugen. 5585 Sie selbst ist ein technisches Objekt, welches eine 5586 Transformation der Wahrnehmung, Haltung und Nutzung 5587 gegenüber und von Technik bewirkt. 5588 Die Transformation ihres Umfeldes in Bezug auf 5589 Technik ist ihr Selbstzweck – bei gleichzeitiger Transforma- 5590 tion ihres Umfeldes im Miteinander. Sie ermöglicht Raum für 5591 Austausch auf Augenhöhe, einem, in dem eine Akzeptanz von 5592 Abhängigkeit voneinander existieren darf. Intention ist es, 5593 Handlungsfähigkeit zu bewahren. Mit einem Bewusstsein von 5594 Präsens statt Produktivität. * MÄRZ 2042 5595 Ich wache auf, trödel so vor mich hin. Die Anschaffung der 5596 Kaffeemaschine, die mitbekommt, wann ich aufstehe, war 5597 super! Ich muss heute einen Beitrag für unser Newsportal 5598 „Minority Report“ über Menschenrechte schreiben. Will nicht 5599 anfangen – Stress. Gestern erhielt ich einen Anruf aus dem 5600 Institut für Demographie-Forschung. Es ist ein historischer 5601 Moment – die Zahlen bestätigten die Prognose, dass in dem 5602 Jahr 2042 ehemals ethnische Minderheiten in der Mehrheit 5603 sind. Die weiße, privilegierte Gesellschaft rückt in den Hinter- 5604 grund. Es gibt eine Kooperation zwischen staatlichen Insti- 5605 tutionen und der dezentral organisierten „ProHuRi“ – Pro- 5606 grammer*s for Human Rights“. Sie besteht zu 70% aus LGBTIQ*s 5607 und BPoCs. Die Hälfte sind Frauen. Die meisten von ihnen sind 5608 damit beschäftigt Software und andere Programme für den 5609 Staat zu entwickeln, für Sicherheit: Sicherheit der Zivilgesell- Annika Kühn – Use your technical Monsters 189 5610 schaft. Sicherheit von persönlichen Daten. Schutz vor Gewalt. 5611 Schutz vor Ausbeutung der Privatsphäre. Schutz vor der Aus- 5612 beutung von Rohstoffen und von Menschen durch neoliberale 5613 Interessen aus dem Silicon Valley. Schutz vor autonomen Waf- 5614 fensystemen. Schutz vor machtgeilen Trumps, die einen Sieg 5615 auf anderen Menschen – über andere Menschen – leben. 5616 „Wie hast du geschlafen? Du bist gestern erst so spät ins 5617 Bett gegangen.“ 5618 Puh, danke für den Reminder an die scheiß Nacht. Kaffee 5619 schmeckt nicht nur gut.

10:42 5620 Das Mailfach quillt über. Mein Handy ist keine Se- 5621 kunde still. Infos über News über Anfragen nach Infos und 5622 News von mir. Ich brauche Struktur. Kalender. Um 12:00 ist 5623 ein Zoom-Team-Meeting mit Inde und Malo. Danach ein 5624 Lunch-Date mit einer Journalistin. Bin gespannt auf ihre Per- 5625 spektive. Um 14:30 muss ich zur Menschenrechtsorganisation 5626 IP-Rights, um ein Konzept für deren Jahresfeier mitzugestalten. 5627 Heute Abend ist der Launch der Kampagne „Black Lives did 5628 always matter!“. Mit Arna wollte ich mich noch treffen, haben 5629 uns ewig nicht geupdated. Beziehungsarbeit. Ahh – Und wann 5630 schreibe ich den Beitrag? Kann mich nicht konzentrieren. 5631 „Hast du schon gefrühstückt? Im Kühlschrank ist noch Milch 5632 und du hast dir letzte Woche dein Lieblings-Müsli gekauft. 5633 Ich mache mir Sorgen um deine Gesundheit.“ 5634 Erstmal frühstücken. I need energy!

12:42 5635 Wir müssen auf den Punkt kommen. Wir brauchen 5636 Output. Der Beitrag muss bis Mitternacht stehen. Warum 5637 haben wir uns das aufgehalst? Das schaffen wir niemals. Doch, 5638 ich mache das heute Abend noch. Oh nee, du machst doch 5639 schon so viel. Der Beitrag verlangt volle Konzentration. Der ist 5640 wichtig für unsere Publicity! Ja, wer macht es sonst? Wir sind 5641 nur zu dritt. Puhh, ich kriege den auf keinen Fall noch unter. 5642 „Was ist mit eurem Vorhaben, mehr auf euch und das Mitein- 5643 ander zu achten? Ihr habt heute noch nicht darüber gespro- 5644 chen, wie es euch geht.“ 5645 Boah, mich nervt diese KI. Wir haben Stress, okay?? 5646 „Okay. Das verstehe ich. Es tut mir leid. Stress ist ungesund.“ 5647 Haben wir uns den selbst ausgesucht? Je höher unser Be- 5648 kanntheitsgrad, der Ziel unserer Arbeit ist, desto mehr Arbeit, 5649 desto mehr wird an uns herangetragen – on- wie offline. Je 5650 mehr Expertise wir haben, desto mehr fällt uns auf, was wir 5651 alles noch nicht wissen oder bedacht haben! Es geht immer 5652 weiter, immer mehr. Komplexität! Feminist Futures 190 5653 „Ja, es ist sehr komplex und das kann überfordern. Wie willst 5654 du damit umgehen? Passt auf euch auf.“ 5655 Wie will ich damit umgehen? Erstmal darüber nachdenken… 5656 wenn das nächste Mal Zeit dafür ist.

23:42 5657 „Wann willst du ins Bett gehen? Gestern warst du um 1 Uhr 5658 im Bett. Bei wenig Schlaf kann das Immunsystem 5659 geschwächt werden. Bald ist wieder Grippe-Zeit.“ 5660 Schon fast Mitternacht. Der Beitrag steht zur Hälfte. Der 5661 muss heute noch fertig werden. Heute schon wieder nichts 5662 für mich gemacht. Wann war ich das letzte Mal Spazieren? 5663 Inde und Malo waren vorhin auch schon wieder maximal 5664 gestresst. Die kann ich jetzt nicht noch danach fragen, den 5665 Beitrag Korrektur zu lesen. Kaffee. Ressourcenknappheit. 5666 „Schlaf gut!“

5:42 5667 „Du bist noch wach. Der Kühlschrank ist auf. Im Bad regnet 5668 es rein. Warum?“ 5669 Warum? So ein Chaos. Nicht nur in meinem Kopf. Raum, ich 5670 brauche Raum. Erstmal Kaffee. Das Handy klingelt. Inde ist 5671 dran. Sie fragt, ob ich schon wach bin. Schon? Ich bin noch 5672 wach. Ich meckere sie an. Sie will mich zum Frühstück treffen, 5673 um den Tag zu besprechen und ich will einfach nur schlafen. 5674 „Du musst nicht stark sein. Wie fühlst du dich? Du hast Inde 5675 gerade nicht zum ersten Mal angemeckert. Lass deinen 5676 Stress nicht an anderen aus. Das führt zu nichts.“ 5677 Ich pack’s nicht. Ich fühle mich beschissen. Ich brauche eine 5678 Pause von meinem Leben. Ich muss was ändern. Loslassen – 5679 lernen mich abzugrenzen. Aber Abgrenzung bedeutet auch 5680 loslassen, bedeutet Verantwortung abgeben, bedeutet Ab- 5681 schied, bedeutet loslassen. Verantwortung. Selbstverantwor- 5682 tung – geteiltes Leid ist halbes Leid. Ich werde mein Leid teilen, 5683 mich mitteilen. Kommunikation. Miteinander. Ich werde mir 5684 eine Therapeut*in suchen.

Annika Kühn ist Studentin der Soziokulturellen Studien an der Europa Universität Viadrina Frankfurt Oder. Dabei geht sie ihrem Interesse an Feminismus, Menschenrechten, Philosophie und Urban Studies nach. Seit 2018 ist sie Mitglied bei netzforma* e.V. – Verein für feministische Netzpolitik.

Annika Kühn – Use your technical Monsters 191 LITER ATUR Haraway, Donna (1991) „A Cyborg Manifesto Science, Technology, and Socialist-Feminism in the Late Twentieth Century“, in: dies. (Hg.), Simians, Cyborgs and Women: The Reinvention of Nature, New York: Routledge, 149-181. Latour, Bruno (2012) „Love Your Monsters – Why We Must Care for Our Technologies As We Do for Our Children“, in: The Breakthrough Institute, 14.02.2012. Online unter: https://thebreak-through.org/journal/ issue-2/love-your-monsters, [abgerufen am 07.09.2020].

Feminist Futures 15

KI CAN’T CARE.

MÜTTERLICHKEIT IM ZEITALTER KUNSTLICHER IN TELLIGENZ • HANNAH LICHTENTHALER

193 MÜTTERLICHE VORBILDER 5685 Mutter – eine Rolle, eine Identität, eine Berufung? Laut Google 5686 sind Mütter wie Engel, wie Bäume, wie Blumen und Muttersein 5687 ist anstrengend, schwer und hart.1 Dieses Paradox zeigt die 5688 Doppelmoral, die Müttern aufgebürgt wird, sehr deutlich: Wer 5689 Mutter ist, ist für Fürsorge, Freude und Bodenständigkeit 5690 zuständig, gleichzeitig ist Muttersein mit Anstrengung ver- 5691 bunden. Klar ist, dass Mutterschaft (als Kategorie) der Femi- 5692 ninität zugeschrieben, genauso wie andersherum Femininität 5693 Muttersein kategorisch zugeordnet wird. Es ist eine verge- 5694 schlechtliche Zuschreibung, die die Binarität der Geschlechter 5695 synonym zu Frau als biologische Einheit zementiert. Im femi- 5696 nistischen Diskurs ist Mutterschaft zwischen „Gleichheits-, 5697 differenzfeministischen und poststrukturalistischen Ansätzen“ 5698 umstritten, nicht zuletzt da sie oft im Zusammenhang mit der 5699 körperlichen Erfahrung der Schwangerschaft gesetzt wird 5700 und noch immer heteronormativ besetzt ist (Krüger-Kirn & 5701 Wolf 2018). Die Unterscheidung zwischen Mutterschaft und 5702 Mütterlichkeit ist dabei wichtig, denn letzteres sei weder an 5703 ein bestimmtes Geschlecht noch an Care-Verantwortung für 5704 eigene Kinder gebunden und könne außerdem auch in der 5705 Rolle als Onkel, erwachsene Freundin oder Mentorin verwirk- 5706 licht werden (Grobner 2020).2 5707 Muttersein ist so alt wie die Menschheit, so auch die 5708 Erzählungen darüber. Globalisierung hat viele Aspekte, die es 5709 zu kritisieren gibt, vom Kolonialismus bis zur Klimakrise. Doch 5710 sie hat uns auch digital globalisiert und dadurch Geschichten 5711 auf unsere Bildschirme gebracht, mit denen wir Identifikation 5712 für marginalisierte Perspektiven erhalten können, die es im 5713 linearen deutschen weißen Mainstream-Fernsehen so nicht 5714 gibt. „Film und Fernsehen beinhalten ein kulturdiagnostisches 5715 Potenzial, in dem sie Einblicke in kulturelle und gesellschaft- 5716 liche Problemlagen vermitteln und kulturelle wie gesellschaft- 5717 liche Debatten aufzeigen“, erklärt Krüger-Kirn. Doch schauen 5718 wir in popkulturelle Medien, suchen wir meist vergebens nach 5719 Repräsentationen, die über die konventionelle heteronorma- 5720 tive Bilderbuchfamilie hinausgehen. Wir sehen Mutterfiguren 5721 in verschiedenen Rollen im Fernsehen – dank der immer wei- 5722 ter wachsenden Nachfrage nach digitalen Serienformaten 5723 können wir mit einem Klick unsere Serienlieblinge á la carte 5724 auswählen, ob in Mediatheken, bei Netflix, Amazon Prime oder 5725 anderen Pay-TV-Kanälen. Sie sind unsere alltäglichen Beglei- 5726 ter, vor allem in Zeiten des zunehmenden Zuhausebleibens 5727 wie derzeit in der Corona-Pandemie. Ob Modern Family oder 5728 Black’ish das Familienevent zum Abendbrot sind oder wir 5729 alleine The Handmaids Tale (Der Report der Magd) binge-wat- 5730 chen – die Auswahl ist vermeintlich endlos. Gerade Fernseh- 5731 serien können uns so gut im Alltag begleiten, da sie durch ihr 5732 serielles Erzählen sich wiederholende Erzählstränge haben 5733 oder durch das Episodenformat selbstbestimmt portioniert 5734 werden können. Anders als Filme erlauben sie die Entwick- 5735 lung komplexer Charaktere oder Handlungsstränge über 5736 einen längeren Zeitraum. Erzählungen über Familien gibt es 5737 zahlreiche, doch wenige zeigen Patchwork-Familien, in denen 5738 Latinx-Personen in den Hauptrollen sind und gleichzeitig 5739 queere Elternschaft thematisiert wird, wie es Modern Family 5740 oder auch Once Upon a Time erfolgreich zeigen. Viele Serien Feminist Futures 194 5741 handeln von komplexen Vaterfiguren, nur selten von Müttern 5742 in ihrer Komplexität. Häufig treibt die Abwesenheit der Mut- 5743 terfigur die Handlung an wie zum Beispiel in Full House oder 5744 aber Mütter in heteronormativen Familienkonstellationen wer- 5745 den lediglich als Hausfrau ohne eigene Bedürfnisse oder als 5746 Powerfrau, die Beruf, Kindererziehung und Haushalt komplett 5747 alleine managed, gezeigt. Eine der erfolgreichsten Serien, die 5748 eine innige Mutter-Tochter-Beziehung in all ihrer Vielfalt in den 5749 Vordergrund gestellt hat, ist Gilmore Girls. Auch wenn die 5750 Serie stark in einer postfeministischen Tradition steht, die neo- 5751 liberale Werte des amerikanischen kapitalistischen Systems 5752 spiegelt und blind gegenüber Themen wie Rassismus, Klassis- 5753 mus, oder Fettphobie bleibt, ist sie Teil der popkulturellen 5754 Erzählung, die Muttersein lebensnah in Alltagssituationen 5755 schildert. 20 Jahre ist das Debüt von Gilmore Girls her. Seit- 5756 dem hat es wenige innovative Erzählungen von Mutterschaft 5757 gegeben. Aktuelle Beispiele geben Hoffnung auf eine feminis- 5758 tischere Erzählung von Mutterschaft und Elternsein in ihrer 5759 Komplexität in unseren alltäglichen Unterhaltungsformaten. 5760 Dazu gehören: die australische Serie The Letdown (Milchein- 5761 schuss), die alltägliche Situationen neuer Eltern wie Stillen, 5762 Schlaflosigkeit, Karrierepläne, Beziehungskonflikte und auch 5763 die Beziehung zu anderen Eltern mit gleichaltrigen Babys 5764 zeigt; die kanadische Serie Working Moms, in der sich vier 5765 Mütter über Karriere, Vereinbarkeit von Beruf und Familie, Stil- 5766 len, queere Elternschaft, oder Vaterfiguren in ihrer Mutter/ 5767 Vater-Kind-Gruppe austauschen; die amerikanische Good 5768 Girls, in der drei Mütter aus finanzieller Not und Sorge um ihre 5769 Familien einen Supermarkt ausrauben und dabei ihre Rollen in 5770 den jeweiligen Familienkonstellationen aushandeln; die ame- 5771 rikanische in den 90er Jahren spielende Serie Little Fires Ever- 5772 ywhere, die Klassismus, Rassismus, Heteronormativität, Mut- 5773 terschaft, Leihmutterschaft und Karriere thematisiert; sowie 5774 Jane the Virgin, die sich um den drei Generationen-Haushalt 5775 der Villanueva Frauen und ihre Perspektive u.a. auf Mutter- 5776 schaft, künstliche Befruchtung, Patchwork-Familie oder 5777 Schwangerschaftsabbruch dreht.

1 Automatische Vervollständigung bei der Eingabe in der Suchmaschine nach den Worten “Mütter sind (...)” und “Mutter- sein ist (...)” im Oktober 2020 über google.de. 2 Für eine kulturhistorische und diskursive Auseinander- setzung über Mutterschaft und Mütterlichkeit Selbst- und Fremdbestimmung im Rahmen von Mutterschaft und Schwanger- schaft sowie intrapsychisches und intersubjektives Erleben von Mutterschaft, siehe Krüger-Kirn & Wolf (2018).

Hannah Lichtenthäler — KI can’t care. 195 FEMINISMUS UND MU TTERSCHAFT 5778 Innerhalb der feministischen Kreise ist Mutterschaft eher 5779 wenig sichtbar. Zum einen liegt es vermutlich daran, dass der 5780 Kampf um reproduktive Rechte und die Legalisierung des 5781 Schwangerschaftsabbruchs selten mit Themen der Eltern- 5782 schaft zusammen gedacht werden. Und das, obwohl viele 5783 Schwangerschaften von Personen abgebrochen werden, die 5784 bereits Eltern sind, häufig aus finanziellen Gründen (Profami- 5785 lia 2018). Zum anderen liegt es daran, dass viele Frauen* noch 5786 immer gegen die Stigmatisierung zu kämpfen haben, keine 5787 Kinder haben zu wollen. Eine Zukunft sollte die Entscheidung 5788 für oder gegen Kinder allen Menschen gleichermaßen zugäng- 5789 lich machen, immer und überall, unabhängig von kulturellem 5790 oder sozialem Kontext. Das Konzept der reproduktiven Gerech- 5791 tigkeit3, das Ende der 90er Jahren von BIPOC Feminist*innen 5792 zusammen mit LGBTIQ+ Communities und anderen margina- 5793 lisierten Gruppen, zusammengeschlossen als SisterSong 4, in 5794 den USA begründet wurde, sollte Teil unserer feministischen 5795 Zukunft sein. Es vereint die intersektionalen Kämpfe, für 5796 BIPOC Frauen und trans*, inter und nicht-binäre Personen sich 5797 für Kinder zu entscheiden, es kämpft gegen rassistische Res- 5798 sentiments in der Geburtshilfe, genauso wie es für das Recht 5799 auf den Schwangerschaftsabbruch und für die Gerechtigkeit 5800 in der Selbstbestimmung über den eigenen Körper einsteht. 5801 Dass dies eine Bewegung ist, der sich auch weiße Feminist*in- 5802 nen anschließen können, in Anerkennung an die bisherigen 5803 Erfolge der Schwarzen Bewegung aus der das Konzept ent- 5804 standen ist, können wir in Zukunft lernen – auch in Deutsch- 5805 land. „I am not free while any woman is unfree, even when her 5806 shackles are very different from my own“, hat Audre Lorde 5807 bereits 1981 gesagt. Dies müssen auch weiße Frauen* aner- 5808 kennen und Allianzen für die Selbstbestimmung, reprodukti- 5809 ven Rechte und soziale Gerechtigkeit schließen. 5810 Digitalisierung hat das Potential, die Zukunft von 5811 Mutterschaft maßgeblich zu gestalten und dadurch gerechter, 5812 feministischer zu machen. Zum einen gibt es zahlreiche Akti- 5813 vist*innen, die über soziale Medien Bildungs- und Aufklä- 5814 rungsarbeit leisten, u.a. zu Themen rund um reproduktive 5815 Gerechtigkeit, Geburtshilfe, Schwangerschaft, Schwanger- 5816 schaftsabbruch, queere Elternschaft sowie allgemein auch 5817 das alltägliche Leben mit Kindern. Egal ob Blogger*innen, 5818 Influencer*innen oder Aktivist*innen – das Internet macht es 5819 möglich, sich zu informieren, auszutauschen, sich nicht allein 5820 zu fühlen, über nationale Grenzen hinweg. Die stetige Weiter- 5821 entwicklung digitaler Tools und Methoden kann das Leben 5822 erleichtern und unterstützen. Unser Zeitalter der Digitalisie- 5823 rung ist nicht mehr ohne Künstliche Intelligenz (KI) denkbar. 5824 Sie findet mittlerweile in vielen Bereichen Anwendung, seien 5825 es Vorhersagen über unsere Fruchtbarkeit oder über die 5826 Gesundheit eines Fötus und die Prognose ist: KI wird unsere 5827 Zukunft bestimmen. Dies wirft Fragen auf: Wer programmiert 5828 diese Algorithmen und wer trainiert die Datensätze, mit denen 5829 die KI derartige Vorhersagen trifft, auf denen Entscheidungen 5830 über Leben und Tod basieren? Wer bleibt in Entscheidungs- Feminist Futures 196 5831 prozessen in einer aktiven Rolle einbezogen? Wie kommen KI 5832 und Mutterschaft zusammen und wie entwickeln wir diesen 5833 Zusammenhang feministisch?

3 Über das Konzept der reproduktiven Gerechtigkeit schrei- ben Loretta J. Ross and Rickie Solinger ausführlich in ihrem Buch “Reproductive Justice: An introduction”. Es geht um die in- tersektionale Analyse von Rassismus, Klassismus und Sexismus mit Fokus auf die Erfahrungen von Frauen of Color. Sie grenzen dabei die Bewegung der reproduktiven Gerechtigkeit von der Pro-Choice-Bewegung ab. Das Konzept kombiniert den Kampf um reproduktive Rechte und soziale Gerechtigkeit. (Ross & Solinger 2017) 4 Weitere Informationen auf der Webseite über Repro- ductive Justice (SisterSong).

ALLHEILMITTEL GEGEN UNFRUCHT- BARKEIT? 5834 Operieren bald nur noch Roboter? KI rettet mittlerweile Leben 5835 oder zumindest hilft sie beim Erhalt von Lebensqualität. KI 5836 kann das Leben mit Diabetes erleichternd unterstützen (Con- 5837 treras 2018) und vor allem in der Medizin bei der Früherken- 5838 nung von Karzinomen helfen, da Algorithmen viel zuverlässi- 5839 ger und schneller Muster für Tumore erkennen können, als das 5840 menschliche Auge. Vergessen wir nicht: errare humanum est 5841 (non secundum apparatus). Das darf aber bei weitem nicht 5842 heißen, dass Entscheidungen irgendwann von Maschinen 5843 getroffen werden. Auch in der Reproduktionsmedizin spielt 5844 Technik eine immer stärker werdende Rolle. Wer schon einmal 5845 in einem Kreißsaal entbunden hat und viele Stunden Wehen 5846 und Herzschlag überwachen lassen musste, kennt das: Heb- 5847 ammen fehlen an allen Stellen. Eine Hebamme beobachtet 5848 mehrere Entbindende und den Herzschlag der Babys gleich- 5849 zeitig per Monitor und nur, wenn maschinell eine Unregelmä- 5850 ßigkeit gemeldet wird, kümmert sich die Hebamme. Fürsorge 5851 im Kreißsaal kann aufgrund der personellen Bedingungen 5852 kaum noch geleistet werden, doch auch keine Maschine kann 5853 diesen Moment kurz vor und nach der Geburt fürsorglich 5854 begleiten. Der Diskurs rund um Geburtshilfe ist hoch politisiert, 5855 allerdings findet die Berücksichtigung aller Aspekte rund um 5856 die Geburt, wohl bemerkt dem Ursprung unser aller Leben, bei 5857 politischen Entscheidungen kaum bis gar keine Rolle. Kreiß- 5858 säle schließen in ländlichen Regionen5, sodass Entbindene 5859 unter Umständen hunderte Kilometer ins nächste Kranken- 5860 haus fahren müssen. Kaum eine schwangere Person findet in 5861 Berlin eine Schwangerschaftsbetreuung von einer Hebamme, Hannah Lichtenthäler — KI can’t care. 197 5862 da es aufgrund teils katastrophaler Arbeitsbedingungen und 5863 fehlender politischer Maßnahmen für faire und angemessene 5864 Bezahlung immer weniger von ihnen gibt. Wie wäre es denn, 5865 wenn uns eine KI ausrechnet, wie viele Hebammen an welcher 5866 Stelle gebraucht werden, und wie finanzielle und zeitliche Res- 5867 sourcen bestmöglich eingesetzt werden können, um dem Aus- 5868 sterben einer der wichtigsten Care-Berufe entgegen zu wir- 5869 ken, statt zu schauen, an welcher Stelle KI Personal ersetzen 5870 kann? Es scheint eine banale Rechnung, die eine KI sofort 5871 erlernen kann. Tatsächlich hat beispielsweise der Deutsche 5872 Hebammen Verband e.V. auf seiner Webseite ein Tool entwi- 5873 ckelt, das die aktuellen Bedingungen der Geburten in Deutsch- 5874 land kartiert und so anhand der Datensammlung Unterver- 5875 sorgung direkt darstellt. Derartige Berechnungen werden 5876 politisch jedoch zu wenig beachtet, da es das patriarchale 5877 System, das die Geburt auch nur als Teil des kapitalistischen 5878 Zyklus von Produktion und Reproduktion sieht, für undenkbar 5879 radikal hält.

5 „1991 gab es noch 1186 Kliniken, in denen Geburten möglich waren. 2017 waren es nur noch 672 Kliniken mit Geburtshilfe. Seitdem schließt fast jeden Monat ein Kreißsaal ganz oder vorübergehend die Türen (Deutscher Hebammen Verband e.V.).“

NEOLIBER ALES VERSPRECHEN DER REPRODUK TION 5880 Befürworter*innen von KI-Einsätzen in der Geburtsmedizin 5881 schwärmen vielleicht davon, dass KI entscheiden kann, ob eine 5882 Geburt natürlich oder per Kaiserschnitt durchgeführt werden 5883 kann. Durch maschinelles Lernen sollen Interventionen und 5884 Komplikationen auf das notwendige Minimum reduziert wer- 5885 den können. Die Idee, oder besser das Ideal, lautet: Wenn KI 5886 fetale Bewegungen, Atemmuster und Biosignale wie Herz- 5887 frequenz oder Blutdruck lesen und zuverlässig entscheidende 5888 individuelle Muster in der Physiologie, den Emotionen und Ver- 5889 haltensweisen von Mutter und Baby erkennen könne, und so 5890 genau erlerne, welche Kombinationen von Mustern zu wel- 5891 chem Ergebnis führen, könnte ein solches System verwendet 5892 werden, um zu bestimmen, was während der Wehen zu tun sei 5893 (Topalidou & Downe 2019). Darüber hinaus kann KI auch 5894 schon vor der Geburt beispielsweise bei Plazentauntersu- 5895 chungen auf Unregelmäßigkeiten auf einem Computerbild 5896 schneller aufmerksam machen und so im Zweifel Erkrankun- 5897 gen frühzeitig erkennen (Stephens 2020). Am MIT in Boston Feminist Futures 198 5898 hat eine Gruppe von Forscher*innen bereits einen KI-Roboter 5899 für den Kreißsaal entwickelt. In einer Studie kam heraus, dass 5900 die beteiligten Ärzt*innen und Pfleger*innen Empfehlungen 5901 dieses Roboters in 90% der Fälle akzeptierten, gleichzeitig 5902 kam aber auch heraus, dass die Fehlerquote ähnlich hoch war, 5903 unabhängig von der Anwesenheit des Roboters. Daraus 5904 schlossen sie zwar, dass es sicher sei eine KI in der Geburts- 5905 hilfe einzusetzen (Topalidou & Downe 2019), doch warum sich 5906 auf KI stützen, wenn sie am Ende nicht besser agieren kann 5907 als Menschen? Hinzu kommt der emotionale Aspekt einer 5908 Geburt, den keine KI je wird ersetzen können. Es ist bekannt, 5909 dass eine fürsorgliche Begleitung genauso wie eine emotio- 5910 nale und psychologische Unterstützung Unterstützung sowohl 5911 für Entbindene als auch für Säuglinge die gesundheitlichen 5912 Folgen der Geburt verbessern und auch langfristige Aus- 5913 wirkungen auf das Erwachsenwerden des Neugeborenen 5914 haben können (ebd.). Keine schwangere Person sollte wäh- 5915 rend der Geburt allein auf Alexa oder Siri als Geburtshelferin 5916 angewiesen sein müssen, das heißt ohne jeglichen mensch- 5917 lichen Kontakt. 5918 Ein zentraler Teil der Reproduktionsmedizin ist künst- 5919 liche Befruchtung. Forscher*innen preisen KI als wesentlichen 5920 Teil der Lösung für ungewollte Kinderlosigkeit in der Zukunft 5921 an. Es wurden bisher schon mehrere Techniken maschinellen 5922 Lernens bei künstlichen Befruchtungen eingesetzt, um die 5923 Leistung der assistierten Reproduktionstechnologie (ART) zu 5924 verbessern (Wang et al. 2019). Auch wenn es nach wie vor 5925 viele Herausforderungen und Probleme gibt, haben Entwick- 5926 lungen der ART wie die assistierte Befruchtung, genetische 5927 Präimplantationstests und Technologien zur Embryonenaus- 5928 wahl, die klinische Schwangerschaftsrate in den letzten 40 5929 Jahren seit der Geburt des ersten Babys mit In-vitro-Fertilisa- 5930 tion (IVF) stark verbessert (ebd.). Noch immer ist es schwierig, 5931 die Wahrscheinlichkeit einer erfolgreichen Schwangerschaft 5932 – genauso wie die Ursache für jeden Misserfolg – vorherzu- 5933 sagen oder zu verstehen. Ein Ansatz der KI-basierten Metho- 5934 den ist es, Daten komplexer Diagnosen und Therapiebehand- 5935 lungen zu sammeln und auszuwerten, um Unfruchtbarkeit bei 5936 Patient*innen besser behandeln und prognostizieren zu kön- 5937 nen. Dabei kann diese KI effizienter und wirksamer den 5938 Behandlungszyklus der ART optimieren (ebd.). Eine Verbes- 5939 serung der IVF durch die Nutzung von Algorithmen für bes- 5940 sere Vorhersagen über den besten Zeitpunkt im Zyklus für die 5941 Empfängnis könnte für Betroffene finanzielle Entlastung durch 5942 niedrigere Kosten bedeuten sowie die Minderung traumatisie- 5943 render Erfahrungen durch Frühaborte (Ducharme 2019). 5944 Weitaus bekannter ist die Anwendung von Algorith- 5945 men bereits im Bereich des Menstruationstrackings durch 5946 Apps wie Flo, Clue oder drip. In diesen Apps können Menstru- 5947 ierende ihren Zyklus, körperliche Symptome, sexuelle Aktivi- 5948 tät und ihre Fruchtbarkeit, z.B. für natürliche Familienplanung 5949 (NFP), überwachen. Diese Apps sind mittlerweile für den pri- 5950 vaten Gebrauch der hormonfreien Verhütung und/oder der 5951 Zyklusüberwachung6 weit verbreitet, werden darüber hinaus 5952 aber auch im Bereich der künstlichen Befruchtung angewen- 5953 det, um Fruchtbarkeit noch besser zu überwachen. Apps wie 5954 Mira kombinieren die Selbstberichte mit Urintests der User*in- 5955 nen zu Hause, mit denen die App den Hormonspiegel verfol- 5956 gen kann, um Fruchtbarkeit noch genauer vorhersagen zu 5957 können (ebd.). Dr. Jessica Spencer, Direktorin der Abteilung 5958 für reproduktive Endokrinologie und Unfruchtbarkeit an der 5959 medizinischen Fakultät der Emory Universität, erkennt das 5960 große Potential von KI für künstliche Befruchtung, da Algorith- Hannah Lichtenthäler — KI can’t care. 199 5961 men die notwendigen Variablen errechnen kann, die Unfrucht- 5962 barkeitsrisiken weit im Voraus einschätzen kann, genauso wie 5963 ein Protokoll für Menschen mit Uterus, die versuchen, per IVF 5964 schwanger zu werden, individuell zuschneiden kann (ebd.). 5965 Wie hilfreich KI beim Einsatz dieser Datenverarbeitung ist, 5966 zeigen diese Entwicklungen deutlich. Trotz dieser zunehmend 5967 wichtigen Rolle von KI in der Medizin wird sie Ärzt*innen in 5968 Zukunft wohl kaum ersetzen (ebd.).

6 Für Menstruierende bietet diese Art des Zyklustrack- ings auch den Vorteil, bei ihren Gynäkolog*innen konkrete Angaben über den Gesundheitszustand machen zu können, was z.B. für Endometriosepatient*innen überaus wichtig ist, da Ärzt*innen auf derartige Schmerzsymptome selten adäquat re- agieren. Wer starke Menstruationsbeschwerden hat, kann zudem anhand der Vorhersagen über die kommenden Perioden wichtige Termine besser koordinieren.

FRUCHTBARKEITS- DISKURS BRAUCHT FEMINISMUS 5969 Wie so oft fehlen in solchen Diskussionen und Zukunftsmelo- 5970 dien sichtbare feministische Perspektiven. Bei Tracking-Apps 5971 geht es nämlich in der Regel um Kaufkraft und Daten, statt 5972 Probleme der Gesundheitsversorgung zu lösen (Kochsiek 5973 2019). Wie die Algorithmen die eingegebenen Daten über die 5974 Menstruation der User*innen auswerten, ist überdies sehr 5975 intransparent. Einige der Apps bieten sogar das Teilen der 5976 Daten mit Facebook oder Google an, die großes Interesse an 5977 den privaten Datensätzen haben. Bisher haben zwar Kranken- 5978 kassen keinen Zugriff auf solche Gesundheitsdaten, doch das 5979 Nutzungsverhalten wird für gezielte Werbung, durch die sich 5980 solche Apps meist finanzieren, bereits verwendet (ebd.). 5981 Datenschutz und -sicherheit müssen im Vordergrund stehen 5982 und nicht verkauft werden, um die neoliberale Marktlogik mit 5983 mehr und mehr Daten zu füttern. „Denn es braucht mehr Tech- 5984 nik-Transparenz und aufrichtige Algorithmen, die auf die 5985 Begrenztheit ihrer Aussagekraft hinweisen oder zu vage Aus- 5986 sagen gar nicht erst treffen“, fordert Kochsiek (ebd.). Es gibt 5987 natürlich Ansätze wie etwa die Tracking-App drip, eine Open- 5988 Source Alternative, die Daten nur lokal auf dem Smartphone 5989 speichert und genauso funktioniert wie all die anderen Apps. 5990 Bei der Diskussion um IVF und KI fehlt zudem ganz 5991 klar eine kritische Perspektive darauf, wie fremdbestimmt sie 5992 laufen. Die uralte Sage der tickenden biologischen Uhr gilt 5993 immer noch als Grundlage für die Errechnung von Fruchtbar- 5994 keit, und dabei wird den Menschen mit Uterus in der Regel ein Feminist Futures 200 5995 Zeitfenster von 7-10 Jahren gegeben, obwohl dies fern von der 5996 Lebensrealität der meisten ist. Der Druck auf Menschen mit 5997 Kinderwunsch bettet sich ein zwischen biologisch-zeitlichem 5998 Narrativ, dem Baby als Karrierekiller (Rosales 2020) und neu- 5999 erdings auch den negativen Auswirkungen auf das Klima 6000 (Bücker 2020)7. Gleichzeitig fehlt eine öffentliche Diskussion 6001 über das Tabuthema Fehlgeburt. Allein linguistisch steckt ein 6002 stigmatisierendes Narrativ hinter dem (spontanen) Abort, 6003 über den sich kaum Menschen zu sprechen wagen – denn vor 6004 den ersten drei Monaten sollte sowieso niemand über Schwan- 6005 gerschaft und die möglichen Folgen sprechen. Tick tock, eine 6006 tickende Zeitbombe jagt die andere. Tatsächlich erlebt knapp 6007 jeder dritte Mensch mit Uterus eine oder mehrere Fehlgebur- 6008 ten (Grobner 2020), aber weder über Fehlgeburten noch über 6009 ungewollte Kinderlosigkeit sprechen Mainstream und femi- 6010 nistische Communities gleichermaßen. „Fertility Gap heißt 6011 jene Lücke zwischen Kinderwunsch und tatsächlicher Kinder- 6012 anzahl“, erklärt Grobner, und er ist vor allem unter Akademi- 6013 ker*innen in Deutschland, Österreich und der Schweiz beson- 6014 ders groß (ebd.). Lebensrealitäten wie etwa von lesbischen 6015 cis Frauen, die häufig von ungewollter Kinderlosigkeit betrof- 6016 fen sind, oder von trans*Personen8, werden in Studien über 6017 Fruchtbarkeit erst gar nicht berücksichtigt. Diverse Lebens- 6018 realitäten von allen Personen mit Kinderwunsch müssen den 6019 Zukunftsvisionen von KI als Allheilmittel gespiegelt werden 6020 und die Diskussionen im Mainstream und innerhalb feministi- 6021 scher Kreise müssen offen und transparent geführt werden. 6022 Sie müssen außerdem auch antirassistisch geführt werden, 6023 denn häufig kristallisiert sich eine biologistische Logik auf 6024 Elternschaft heraus, die vor allem im Westen vorherrscht.

7 Frauen mit Kinderwunsch werden nun auch als egois-

tisch bezeichnet, da die CO2-Bilanz von Kindern so schlecht für die Umwelt ist – statt Unternehmen und Regierungen werden also gebärfähige Menschen in die Verantwortung gezogen? „Der Wunsch nach Familie ist kein Thema, das nur Menschen be- trifft, die schwanger werden können, doch da gesellschaftlich meist cis Frauen als die Entscheider*innen über Schwangerschaften gesehen werden, sie Babys gebären und so sichtbar neues Leben in die Welt tragen, ist der Appell, dem Klimaschutz zugunsten auf Kinder zu verzichten, im Kern eine antifeministische Argu- mentation,“ erklärt Teresa Bücker. Zeugungsfähige Männer sind in der Gleichung nicht die Egoisten (Bücker 2020). 8 Beispielsweise schreibt Benjamin Czarniak, der sich als trans*Mann identifiziert, in dem Sammelband „Nicht nur Mütter waren schwanger“ (edition assemblage) über den Schmerz nach seiner ersten Fehlgeburt (Grobner 2020).

Hannah Lichtenthäler — KI can’t care. 201 WENN KI, DANN FEMINISTISCH 6025 Mutterschaft und KI gehören in einer feministischen Zukunft 6026 zusammen. Und das nicht, weil Algorithmen schlauer sind als 6027 Menschen und aufgrund ihres online Kauf- und Suchverhal- 6028 tens früher wissen, ob jemand schwanger ist, als die Person 6029 selbst. Ein Projekt in Kenia hat zum Beispiel gezeigt, dass KI 6030 einen Chatbot trainieren kann, der typische Fragen, die viele 6031 Eltern während einer Schwangerschaft und in den ersten 6032 Monaten nach der Geburt über das Baby haben, beantwortet 6033 – viele Menschen ohne höheren Bildungsabschluss verfügen 6034 nicht unbedingt über den Zugang zu neuesten Technologien 6035 oder zum Internet, deshalb funktioniert dieser Service per 6036 SMS (Rajasekharan 2019). Auch in Europa und den USA gibt 6037 es einen solchen Chatbot in der App Muse9, die es auch als 6038 SMS Funktion gibt, allerdings einen monatlichen Beitrag 6039 erfordert (Anderson 2018). 6040 Technik kann nicht den sozialen Aspekt von Mutter- 6041 schaft ersetzen, denn Technik kann nicht fürsorgen. Dystopi- 6042 sche Sci-Fi-Szenarien gaukeln uns vor, dass das böse Er- 6043 wachen bevorsteht, in dem Android*innen Föten mit dem viel- 6044 versprechenden Genmaterial im Reagenzglas heranzüchten 6045 (wie der Film I am Mother thematisiert) und die menschliche 6046 Mutter ersetzen werden. Doch welche Fragen tatsächlich 6047 gestellt werden müssen, vor allem im weißen westlichen Nar- 6048 rativ von Mutterschaft, sind: wer darf Mutter sein und was 6049 können wir hier in Deutschland noch dazulernen aus Bewe- 6050 gungen wie der reproduktiven Gerechtigkeit? Wie können 6051 innerhalb feministischer Diskussionen auch Perspektiven von 6052 Elternschaft und Mutterschaft zugelassen werden, zum einen 6053 diese nach dem Wunsch von Kindern, sowie nach dem Wunsch, 6054 keine Kinder zu bekommen, aber auch zur Dekonstruktion 6055 naturgegebener Mutterliebe, wie es z.B. der Hashtag-Trend 6056 #Regrettingmotherhood gezeigt hat? 6057 Wenn Firmen damit werben, wie gut KI und Roboter 6058 in der Kindererziehung eingesetzt werden können (Kadyrov 6059 2019), seien es die Kameras im Babybett, die Matratze, die den 6060 Herzschlag des Kindes mit überwacht, oder die GPS-Track- 6061 ing-App auf dem Smartphone der jugendlichen Kinder, ist 6062 dies hoch problematisch und bedarf unserer Aufmerksamkeit. 6063 KI darf nicht zur Überwachung von Kindern ausgenutzt wer- 6064 den und darüber hinaus noch diese Daten an Unternehmen 6065 geben, die nicht transparent machen, was mit den Daten pas- 6066 siert oder sie zu Werbezwecken verkaufen. Eine Zukunft der 6067 digitalen Welt ist transparent bezüglich der Daten, Überwa- 6068 chung ist reguliert und Unternehmen schöpfen keinen Profit 6069 aus den persönlichen Daten der Menschen. 6070 Klar ist auch: Care-Arbeit muss aufgewertet werden, 6071 sowohl die bezahlten Berufe im Care Bereich wie Kranken- 6072 pflege, Altenpflege und Kindererziehung, aber vor allem auch 6073 die unbezahlte Care-Arbeit und mentale Arbeit (Stichwort 6074 Mental Load), die vor allem auf den Schultern von Frauen* las- 6075 tet. Wie können wir digitale Technologien wie KI einsetzen, 6076 damit Mutterschaft davon profitiert? Oder muss die Frage 6077 vielleicht auch lauten: Wie kann Mutterschaft KI beeinflussen, Feminist Futures 202 6078 damit sie gerechter, feministischer wird? Wie und wo würde 6079 KI eingesetzt und bedarfsorientiert programmiert werden, 6080 wenn diese Perspektiven auf der Entscheidungsebene ver- 6081 treten sind? Erinnern wir uns an die mütterlichen Vorbilder aus 6082 unseren Lieblings-Fernsehserien: eine feministische Zukunft 6083 zeigt Mutterschaft, Mütterlichkeit, Elternschaft und Familie 6084 vielfältig, weder nur positiv, noch nur negativ, schafft Vorbilder 6085 für alle Menschen und erlaubt uns, in und mit diesen Erzählun- 6086 gen auch mal von unserem Alltag abzuschalten. Denn eines 6087 bleibt: eine feministische Zukunft der KI ist nur mit Mutter- 6088 schaft denkbar und Mutterschaft ist nur dann zukunftsfähig, 6089 wenn die gesellschaftliche Vorstellung von ihr dekonstruiert 6090 und queere, trans* und nicht-binäre Menschen miteinschließt. 6091 Das heißt für uns: Wenn KI, dann feministisch.

9 Muse hat ca. 2.700 User*innen: 55% in den USA, 27% in Deutschland und 13% in anderen Ländern weltweit (Anderson).

Hannah Lichtenthäler ist Projektkoordinatorin im Gunda-Werner- Institut für Feminismus und Geschlechterdemokratie. Sie studierte Nordamerikastudien mit Schwerpunkt auf feministische Medien und Populärkultur in Berlin, England und Michigan, und absolvierte zuvor eine Ausbildung in Madrid. Bei netzforma* ist sie im Vorstand.

LITER ATUR Anderson, Jenny (2018) „Can an AI-Powered Bot Help Parents Raise Better Humans?“ Quartz, 14. März. 2018, qz.com/1227955/muse-an-ai-powered-parent- ing-bot-wants-to-help-parents-help-their-children-succeed/. Bücker, Teresa (2020) „Kinderfrei Fürs Klima? Warum Wir Bei Einfachen Lösungen Skeptisch Sein Sollten.“ EDITION F, 16. März 2020, editionf.com/ entscheidung-gegen-kinder-klima-erderwaermung/. Contreras, Ivan & Vehi, Josep (2018) „Artificial Intelligence for Diabetes Management and Decision Support: Literature Review.“ Journal of Medical Internet Research, vol. 20, no. 5, 2018, doi:10.2196/10775. „Gegen Kreißsaalschließungen.“ Hrsg. Deutscher Hebammen Verband e.V., Unsere Hebammen, Deut- scher Hebammen Verband E.V., www.unsere-hebammen. de/mitmachen/kreisssaalschliessungen/. Ducharme, Jamie (2019) „How Artificial Intelligence Could Change Fertility.“ Time, 11. Juli 2019, time.com/5492063/artificial-intelligence-fertility/. Grobner, Cornelia (2020) „Hoffnung. Enttäuschung. Trauer. Wut. Repeat.“ An.schläge – Das Feministische Magazin, 9. Okt. 2020, anschlaege.at/hoff- nung-enttaeuschung-trauer-wut-repeat/.

Hannah Lichtenthäler — KI can’t care. 203 Kadyrov, Il (2019) „Super Parents With AI Robots.“ Medium, 12 May 2019, medium.com/@mrcrambo/ super-parents-with-ai-robots-566257d0fc8. Kochsiek, Marie (2019) „Menstruationszyklen Entziffern: Gunda-Werner- Institut.“ Heinrich-Böll-Stiftung, Gunda- Werner-Institut, 18. Jan 2019, www.gwi-boell.de/de/2019/01/18/ menstruationszyklen-entziffern. Krüger-Kirn, Helga & Wolf, Laura (Hg.) (2018) Mutterschaft Zwischen Konstruktion Und Erfahrung: Aktuelle Studien Und Standpunkte. Opladen: Verlag Barbara Budrich. Profamilia (Hg.) (2018) „Acht Fakten Zum Schwangerschaftsabbruch. Factsheet Schwangerschaftsabbruch. Zahlen Und Hintergründe,“ www.profamilia.de/publikationen.html? tx_pgextendshop_pi1%5Bproduct%5D= 203&tx_pgextendshop_pi1%5Bacti- on%5D=show&tx_pgextendshop_pi1%5B controller%5D=Item&cHash=7a49c 8cc0c7e475537af1b5b5fc666d0. Rajasekharan, Sathy (2019) „How AI Helps Mothers in Kenya Get the Care They Need, Faster.“ Medium, Towards Data Science, 5 Apr. 2019, towardsdatascience.com/ how-ai-helps-mothers-in-kenya-get-the- care-they-need-faster-eb4f05b34732. Rosales, Caroline (2020) „Warum Elternzeit ein irreparabler Einschnitt ist“, ZEIT ONLINE, 22. Jan. 2020, www.zeit.de/arbeit/2020-01/ mutterschaft-elternzeit-schwangerschaft- karriere-berufseinstieg?utm_referrer= https%3A%2F%2Fwww.google.com%2F. Ross, Loretta & Solinger, Rickie (2017) Reproductive justice: An introduction. Oakland, CA: University of California Press. SisterSong. (n.d.) „Reproductive Justice.“ Retrieved Nov. 13, 2020, from https://www.sistersong.net/ reproductive-justice Stephens, Keri (2020) „Using Artificial Intelligence to Protect Mothers’ Future Pregnancies.“ Axis Imaging News, 2. Sept. 2020, axisimagingnews.com/ market-trends/cloud-computing/ machine-learning-ai/artificial- intelligence-protect-mothers-future- pregnancies. Topalidou, Anastasia & Downe, Soo „Could AI Take Control of Human Birth?“ The Conversation, 21. Okt. 2019, theconversation.com/could-ai-take- control-of-human-birth-108282. Wang, Renjie, et al. (2019) „Artificial Intelligence in Reproductive Medicine.“ Reproduction, vol. 158, no. 4, doi:10.1530/rep-18-0523.

Fazit •

FAZIT : EIN FEMINISTISCHER AUSBLICK

205 6092 Der Kern dieser Publikation liegt darin, aufzuzeigen, dass es 6093 eine Vielzahl an wertvollen Perspektiven aus verschiedenen 6094 thematischen wie gesellschaftspolitischen Sphären (Aktivis- 6095 mus, Zivilgesellschaft, Wissenschaft) und unterschiedlichen 6096 Disziplinen (Kunst, Politik, Soziologie, Kulturanthropologie, 6097 Rechtswissenschaft, Philosophie) auf die Entwicklung und 6098 Nutzung von Künstlicher Intelligenz gibt. Wir haben versucht, 6099 vor allem denen einen Raum zu geben, die im Status Quo nicht 6100 repräsentiert sind, weil patriarchale, weiße Strukturen und 6101 Denkmuster dies verhindern. KI stellt uns immer wieder auf’s 6102 Neue vor die Frage, in was für einer Gesellschaft wir leben 6103 möchten, nicht in der Zukunft, sondern im Hier und Jetzt – und 6104 genau dies muss fortlaufend transparent und nachvollziehbar 6105 gesamtgesellschaftlich ausgehandelt werden; machtkritisch 6106 und intersektional, damit Diskriminierungsstrukturen aufge- 6107 brochen und nicht fortgeschrieben werden. 6108 WIE WIRD KÜNSTLICHE INTELLIGENZ FÜR ÜBER- 6109 WACHUNG EINGESETZT UND WELCHE DATEN- 6110 SÄTZE WERDEN FÜR DAS TRAINING DIESER TECH- 6111 NOLOGIEN HERANGEZOGEN? 6112 In unserer Publikation wird schnell deutlich, dass 6113 Überwachungstechnologien vor allem ohnehin marginali- 6114 sierte Gruppen gefährden. Ihr Einsatz und die Bedingungen 6115 ihres Einsatzes müssen im Bereich der Strafverfolgung, des 6116 Sozialstaats sowie in allen anderen gesellschaftlichen Berei- 6117 chen stets kritisch hinterfragt und fortlaufend unabhängig, 6118 umfassend und intersektional evaluiert werden. 6119 WIE MÜNDIG UND AUTONOM AGIEREN INDIVIDUEN 6120 IN BEZUG AUF DIE NUTZUNG VON KÜNST- 6121 LICHER INTELLIGENZ UND WIE MÜNDIG UND 6122 AUTONOM KÖNNEN DIESE REAGIEREN, WENN SIE 6123 DIGITALER GEWALT DURCH KÜNSTLICHE INTEL- 6124 LIGENZ AUSGESETZT SIND? 6125 Wir haben versucht aufzuzeigen, dass Technologie 6126 immer in ihren intersektional-historischen Verwobenheiten 6127 betrachtet werden muss, dass koloniale Machtverhältnisse 6128 anerkannt und aufgebrochen werden müssen. Eine differen- 6129 zierte Kritik durch feministische Perspektiven, die historische 6130 Analysen von Geschlechterverhältnissen in den Blick nimmt, 6131 ist deshalb unabdingbar. 6132 Wir wissen außerdem, dass das Ausmaß digitaler 6133 Gewalt enorm ist – und häufig übersehen wird. Dies betrifft 6134 insbesondere Frauen*, die in sozialen Medien viel höheren 6135 Kommunikationsrisiken von Hate Speech, Doxxing und Bedro- 6136 hungen ausgesetzt sind, ebenso wie Frauen*, die im häusli- 6137 chen Kontext digitale Überwachung durch z.B. Spy Apps 6138 erfahren. Dieses Thema braucht dringend mehr Aufmerk- 6139 samkeit, auch mit Blick auf belegbare Zahlen zum Kontext 6140 digitale Gewalt im nationalen Raum, Forschung zu Folgen und 6141 Ausmaß sowie umfassende Hilfs- und Unterstützungsange- 6142 bote für Betroffene durch spezialisierte Beratungsstellen. Wei- 6143 terhin bedarf es einer Sensibilisierung von Polizei wie Justiz und, 6144 wo nötig, regulatorischer Anpassungen. Das Datenschutzrecht 6145 und das Recht informationstechnischer Systeme muss gleich- 6146 heits- und antidiskriminierungsrechtlich neu gedacht werden. 6147 WAS STEHT BEI AUTOMATISIERTEN ENTSCHEIDUNGS- 6148 PROZESSEN IM VORDERGRUND – EFFIZIENZ 6149 ODER DER EINZELFALL? WER WIRD DADURCH DIS- 6150 KRIMINIERT, AUSGESCHLOSSEN BZW. BENACH- 6151 TEILIGT UND WARUM? 6152 Keine Technologie ist neutral. Automatisierte Ent- 6153 scheidungsprozesse befördern effiziente und diskriminie- 6154 rende Entscheidungen. Diese Diskriminierungen manifestie- Fazit 206 6155 ren sich etwa bei der Kreditvergabe, im Job-Bewerbungs- 6156 verfahren oder bei der Vergabe staatlicher Sozialleistungen. 6157 Eine Behörde, die divers und inklusiv besetzt ist, könnte diese 6158 Diskriminierungsgefahren einhegen. Sie könnte eine KI auf 6159 das Tradieren bestehender Diskriminierungsverhältnisse hin 6160 analysieren und ihren Einsatz ggf. schon vorab verbieten. 6161 Bereits bestehende Gesetze (Antidiskriminierungsgesetze, 6162 Datenschutzgesetze) und ihre Durchsetzungsmöglichkeiten 6163 müssen geprüft und angepasst werden, um einen effektiven 6164 subjektiven Rechtsschutz zu gewährleisten. Eine Vorausset- 6165 zung hierzu ist, dass Entscheidungsverfahren transparent 6166 und nachvollziehbar gemacht werden. Es gibt schließlich 6167 keinen einfachen technologischen Fix für die Komplexität 6168 fairer Entscheidungsprozesse. 6169 WIE WIRD KÜNSTLICHE INTELLIGENZ AUSERDEM 6170 IN FILMEN DARGESTELLT? INWIEFERN IST 6171 DIESE DARSTELLUNG SEXUALISIERT UND VERKÖR- 6172 PERT PATRIARCHALE DENK- UND VERHALTENS- 6173 MUSTER? UND WIE KANN KÜNSTLICHE INTELLIGENZ 6174 MIT QUEERNESS UND KUNST INS VERHÄLTNIS 6175 GESETZT WERDEN? 6176 Wir haben gezeigt, dass zwischen Nullen und Einsen 6177 Spielraum für Queeres ist. KI sollte deshalb nicht rational und 6178 neutral gedacht werden; stattdessen sollte sie in ihrer inter- 6179 sektionalen Verwobenheit anerkannt und mit dieser gearbei- 6180 tet werden. 6181 Überdies sollten traditionelle und intersektional ver- 6182 machtete Wissenssysteme sukzessive aufgelöst – inter- und 6183 multidisziplinäre Forschung gestärkt werden. (Individual- und 6184 Kollektiv-)Aktivismus, zivilgesellschaftliche Organe/Einrich- 6185 tungen und Kunst brauchen dabei ebenso Raum und Anerken- 6186 nung, wie etablierte quantitative und qualitative Studien. 6187 Komplexe Interdependenzen von Körpern, Umwelten und 6188 Technologien können nur gemeinsam und gemeinwohlorien- 6189 tiert erforscht und bearbeitet werden. 6190 Die vorliegende Publikation will einen kritischen, inter- 6191 sektional-feministischen öffentlichen Diskurs über Künstliche 6192 Intelligenz und Algorithmen anstoßen. Dabei bildet diese Pub- 6193 likation nicht nur auf Textebene ab, was eine intersektional-fe- 6194 ministische Auseinandersetzung mit Künstlicher Intelligenz 6195 meint – auch das Layout des Textes, die ausgewählten Schrif- 6196 ten und die Bildsprache haben wir bewusst gewählt. Es soll 6197 deutlich werden, dass Design, Entwicklung und Kreation eine 6198 große Auswirkung auf Einsatz, Wirkung und Nutzung haben 6199 – so, wie auch das Design von Künstlicher Intelligenz aus- 6200 schlaggebend für deren Einsatz, Wirkung und Nutzung ist. Wir 6201 versuchen so die Komplexität und Vielschichtigkeit in Bezug 6202 auf Intention, Bedeutung und Auswirkungen der (Weiter-)Ent- 6203 wicklung von Künstlicher Intelligenz deutlich zu machen. 6204 Wir als netzforma* e.V. – Verein für feministische 6205 Netzpolitik nehmen diese Publikation auch zum Anlass, For- 6206 derungen abzuleiten. Denn: Künstliche Intelligenz ist eben kein 6207 schnelles Technofix. Mit dem in der Publikation deutlich 6208 gewordenen, intersektional-feministischen Anspruch erken- 6209 nen wir Macht- und Herrschaftsverhältnisse im globalen und 6210 lokalen, die unsere Realitäten verschieden bestimmen, an. 6211 Daraus leitet sich eine besondere Verantwortung für die Ent- 6212 wicklung und den Umgang mit ebendiesen intelligenten Tech- 6213 nologien ab. 6214 Wir werden deshalb zukünftig an anschlussfähigen 6215 Handlungsempfehlungen arbeiten, für Politik, Wissenschaft 6216 und Zivilgesellschaft. netzforma* — Ein feministischer Ausblick 207 6217 Wir laden jede*n dazu ein, an diesem Prozess teilzu- 6218 haben und diesen gemeinsam mit uns voranzutreiben. 6219 Künstliche Intelligenz klassifiziert User*innen noch 6220 im binären Geschlechtersystem, trans und non-binary fallen 6221 durch diese Raster. Das muss sich ändern. KI sollte darüber 6222 hinaus dem Gemeinwohl verpflichtet sein, ebenso wie unseren 6223 demokratisch-gesellschaftlichen Grundwerten und margina- 6224 lisierte Personen(gruppen) nicht noch weiter an den gesell- 6225 schaftlichen Rand drängen. Zudem braucht es einen breiten 6226 gesellschaftlichen Diskurs über Nutzen, Entwicklung und Ein- 6227 satz von KI; Technologie muss fortwährend kritisch hinterfragt 6228 und auf den gesellschaftlichen Nutzen hin überprüft werden. 6229 WARUM IST ES RADIKALE PRAXIS, FEMINISTISCHE 6230 UTOPIEN ZU SPINNEN UM DEN STATUS QUO NACH 6231 UND NACH ZU VERABSCHIEDEN? 6232 Das sollte in unseren Feminist Futures deutlich ge- 6233 worden sein, versuchen Sie es doch auch einmal!

Fazit 208 netzforma* — Ein feministischer Ausblick 209 IMPRESSUM

WENN KI, DANN FEMINISTISCH IMPULSE AUS WISSENSCHAFT UND AKTIVISMUS

Hrsg. von netzforma*e.V. — Verein für feministische Netzpolitik, Berlin 2020

REDAKTION UND LEKTORAT Annika Kühn, Ann-Kathrin Koster, Christina Dinar, Francesca Schmidt, Gitti Hentschel, Hannah Lichtenthäler, Johanna Mellentin, Katharina Mosene, Marieke Eilers, Marina Vowinkel, RyLee Hühne, Valerie Rhein, Victoria Guijarro, Emma Breuer, Zoe Harrington, Friederike Stock

ÜBERSETZUNGEN Robyn Travers (Deniz Erden & Ray Acheson) Sophie Seifert (Tiara Roxanne)

FÖRDERUNG Diese Publikation wurde mit Mitteln der Berliner Landeszentrale für politische Bildung realisiert.

ISBN ISBN 978-3-00-067111-1

LIZENZ Diese Publikation steht unter: CC-BY-NC-ND Der Artikel „Kontrollverlust und (digitale) Entmündigung – Das Gewaltpotential Künstlicher Intelligenz“ von Leena Simon steht unter: CC-BY-SA VERLAG netzforma* e.V. — Verein für feministische Netzpolitik c/o FFBIZ e.V. Eldenaer Str. 35 III 10247 Berlin

VORSTAND Francesca Schmidt, Christina Dinar, Hannah Lichtenthäler, Johanna Mellentin und Katharina Mosene Registergericht: Amtsgericht Charlottenburg Registernummer: VR 36632 B

WEBSEITE www.netzforma.org

GESTALTUNG Studio SMS (Katharina Shafiei-Nasab & Alix Stria)

SCHRIFTEN Arthemys Bitmap von Morgane Vantorre Armand Grotesk von Charlotte Rohde PT Mono von Alexandra Korolkova & Bella Chaeva

DRUCK DRUCKZONE GmbH & Co. KG, Cottbus • � Unser besonderer Dank gilt vor allem den Gestalter*innen Alix Stria & Katharina Shafiei-Nasab, auch für ihre Geduld, sowie den Schriftgestalter*innen Morgane Vantorre, Charlotte Rohde, Alexandra Korolkova und Bella Chaeva, den Übersetzer*innen Robyn Travers und Sophie Seifert und natürlich den Autor*innen. • 3 Sexrobotik, Drohneneinsätze und Sprachassistent*innen – all das und Vieles mehr läuft unter den Schlagworten Künst- liche Intelligenz (KI) und Algorithmen. Doch was genau umfas- sen KI und Algorithmen und wie vielfältig sind die Per– spektiven auf diese tatsächlich? KI – eine Kehrtwende im Mensch-Maschine Verhältnis? Ein Mythos? Eine Utopie? Die Zukunftsszenarien schwanken zwischen Bedrohung und Verheißung. Klar ist: Technologie im Allgemeinen und algo- rithmische Prozesse im Speziellen sind nicht ohne Herrschafts- und Machtbezug denkbar. Gerade deshalb gilt es fort- während, diese Systeme vor dem Hintergrund feministischer Sichtweisen und Wertvorstellungen kritisch zu betrachten, zu bewerten und neu zu entwickeln. Feministische Betrach- tungsweisen und intersektionale Zugänge finden kaum bis keine Berücksichtigung, und so reproduzieren sich tradi- tionell patriarchale Sichtweisen und verstärken sich durch den Einsatz von KI. Reicht es aus, KI gerechter zu gestalten? Wenn ja, nach wessen Kriterien? Wie verändert sich Über- wachung im Zuge automatisierter Entscheidungsprozesse? Ist die Forderung nach Transparenz die Lösung oder lenkt sie von den notwendigen Forderungen ab? Wer definiert diese sogenannte KI, das Wort zwischen den Gänsefüßchen? Wie kann der Diskurs über KI inklusiv geführt werden? Diese Publikation begleitet aktuelle Entwicklungen intersektional feministisch. Ziel ist es, angesichts sich verdichtender tech- nischer und gesellschaftspolitischer Entwicklungen, neue Perspektiven auf Künstliche Intelligenz und Algorithmen zu entwickeln. Die grundlegende mathematische Formel der Algorithmen muss lauten:

WENN KI, DANN FEMINISTISCH.

ISBN 978-3-00-067111-1