Fairness im Maschinellen Lernen Dr. rer. nat. Sebastian Pape Habilitationskolloquium 22. Februar 2021 Agenda ● Einführung – Motivation – Maschinelles Lernen – Einordnung ● Fairness – Bias – Diskriminierung – Definition Fairness ● Algorithmen – Klassifizierung – Word Embedding ● Herausforderungen ● Zusammenfassung 22.02.21 Habilitationskolloquium Fairness im Maschinellen Lernen Dr. Sebastian Pape 2/25 Aufgaben für maschinelles Lernen Source: https://www.oneragtime.com/24-industries-disrupted-by-ai-infographic/ 22.02.21 Habilitationskolloquium Fairness im Maschinellen Lernen Dr. Sebastian Pape 3/25 Motivation Source: Caroline Chen, ProPublica https://www.propublica.org/article/only-seven-of-stanfords-first-5-000-vaccines-were-designated-for-medical-residents 22.02.21 Habilitationskolloquium Fairness im Maschinellen Lernen Dr. Sebastian Pape 4/25 Machine Learning vs. Traditional Approaches Input Data Input Data Machine Model / Traditional Output Data Learning Program Approach Output Data 22.02.21 Habilitationskolloquium Fairness im Maschinellen Lernen Dr. Sebastian Pape 5/25 Generelle Herausforderungen von Maschinellem Lernen ● Angriffe ● Datenschutz ● Große Datenmengen zum Training benötigt ● Erklärbarkeit / Interpretierbarkeit ● Ethik 22.02.21 Habilitationskolloquium Fairness im Maschinellen Lernen Dr. Sebastian Pape 6/25 Ethik im Maschinellen Lernen Hagendorff, T. (2020). The ethics of AI ethics: An evaluation of guidelines. Minds and Machines, 30(1), 99-120. 22.02.21 Habilitationskolloquium Fairness im Maschinellen Lernen Dr. Sebastian Pape 7/25 Ethik im Maschinellen Lernen Hagendorff, T. (2020). The ethics of AI ethics: An evaluation of guidelines. Minds and Machines, 30(1), 99-120. 22.02.21 Habilitationskolloquium Fairness im Maschinellen Lernen Dr. Sebastian Pape 8/25 Bias Daten ● Historical Bias ● Behavioral Bias ● Aggregation Bias ● Presentation Bias ● Temporal Bias ● Linking Bias ● Social Bias ● Content Production Bias Benutzer Interaktion Algorithmus ● Omitted Variable Bias ● Cause-Effect Bias ● Observer Bias ● Funding Bias ● Measurement Bias ● Popularity Bias ● Simpson’s Paradox ● Ranking Bias ● Evaluation Bias ● Emergent Bias Mehrabi, N., Morstatter, F., Saxena, N., Lerman, K., & Galstyan, A. (2019). A survey on bias and fairness in machine learning. arXiv preprint arXiv:1908.09635. 22.02.21 Habilitationskolloquium Fairness im Maschinellen Lernen Dr. Sebastian Pape 9/25 Diskriminierung ● Geschützte Attribute ● Direkte Diskriminierung – Geschlecht – Geschützte Attribute – Abstammung ● Indirekte Diskriminierung – Rasse – Korrelation mit geschützten – Sprache Attributen – Heimat und Herkunft ● – Glauben Systemische Diskriminierung – religiöse/politische ● Statistische Diskriminierung Anschauungen – Schluss von Statistik auf Individuum – Alter ● – Behinderung Erklärbare Diskriminierung – z.B. Geschlecht – Arbeitszeit – Jahresgehalt – Familienstand ● Unerklärbare Diskriminierung Mehrabi, N., Morstatter, F., Saxena, N., Lerman, K., & Galstyan, A. (2019). A survey on bias and fairness in machine learning. arXiv preprint arXiv:1908.09635. 22.02.21 Habilitationskolloquium Fairness im Maschinellen Lernen Dr. Sebastian Pape 10/25 (Binäres) Klassifizierungsproblem Prädiktor ● Attribute ● Name ● Alter ● Geschlecht ● Wohnort ● Einkommen ● Blutgruppe ● ... 22.02.21 Habilitationskolloquium Fairness im Maschinellen Lernen Dr. Sebastian Pape 11/25 Fairness Definitionen (Gruppe) Y = 1 Y = 0 Equal Opportunity P(Ŷ=1 |A=0,Y=1) = P(Ŷ=1 |A=1,Y=1) (TP) A=1 Y Y Conditional Statistical Parity A=0 P(Ŷ=1 |L=1, A=0) = P(Ŷ=1 |L=1,A=1) (TP) Y Y L: Menge legitimer Attribute TP FN FP TN Equalized Odds P(Ŷ=1 |A=0,Y=1) = P(Ŷ=1 |A=1,Y=1) (TP) P(Ŷ=1 |A=0,Y=0) = P(Ŷ=1 |A=1,Y=0) (FP) Y Y Y Demographic Parity P(Ŷ=1 |A=0) = P(Ŷ=1 |A=1) - Relaxation: p%-Regel (A=1 bevorzugt) P(Ŷ=1 | A=0) / P(Ŷ=1 | A=1) ≥ ϵ mit ϵ=p/100 ∈ [0,1]. 22.02.21 Habilitationskolloquium Fairness im Maschinellen Lernen Dr. Sebastian Pape 12/25 Fairness Definitionen (Individuum) Y = 1 Y = 0 A=1 Fairness Through Awareness Y Y - Ähnliche Ergebnisse für ähnliche Individuen A=0 Y Y Fairness Through Unawareness - Geschützte Attribute werden nicht explizit verwendet TP FN FP TN Counterfactual Fairness P(ŶA←a (U)=y|X=x,A=a) = P( ŶA←a’ (U)=y|X=x,A=a) U: Menge der Variablen, die nicht von X und A Y Y verursacht werden Y X: Kontext - selbes Ergebnis wie in anderer Gruppe Kusner, M. J., Loftus, J. R., Russell, C., & Silva, R. (2017). Counterfactual fairness. arXiv preprint arXiv:1703.06856. 22.02.21 Habilitationskolloquium Fairness im Maschinellen Lernen Dr. Sebastian Pape 13/25 Targeting Biases Input Data Pre- Post- Processing Processing Prädiktor Input Data Machine Model / Traditional Output Data Learning Program Approach In-Processing Output Data Disparate learning - geschützte Attribute … sind in der Lernphase erlaubt … sollen im Prädiktor vermieden werden 22.02.21 Habilitationskolloquium Fairness im Maschinellen Lernen Dr. Sebastian Pape 14/25 (Faire) Binäre Klassifizierung I ● ● Training Klassifizierung Faire Klassifizierung – – Binär, konvex „margin-based“ Demographic Parity mit Relaxation: p%-Regel P(Ŷ=1 | A=0) / P(Ŷ=1 | A=1) ≥ p / 100 – Schwer p%-Regel direkt in θ zu integrieren 1) Gesucht: f(x) → y ● Führt zu schwer lösbaren Optimierungsproblemen 2) Identifikation von Parameter θ* für Entscheidungs-Grenze ● Solange sich die „Seite“ von X nicht ändert, ist p%-Regel unverändert 1) Trainingsdaten {(xi, yi)} i=1..N 2) θ* = argminθ L(θ) – Idee: neues Mass für Fairness: ● Kovarianz zwischen geschütztem Attribut A und Abstand zur Entscheidungs-Grenze dθ*(X) Cov(A, dθ*(X)) = E[ ( A – A ) dθ*(X) ] - E[ ( A – A ) ] dθ*(X) ● Klassifizierung ≈ ≈ 1/N Σi=1..N (Ai – A ) dθ*(Xi) fθ(X) → 1 gdw. dθ*(X) ≥ 0 Ŷ=1 fθ(X) → 0 gdw. dθ*(X) < 0 ● Fairness-Problem falls X mit A korreliert Zafar, M. B., Valera, I., Rogriguez, M. G., & Gummadi, K. P. (2017, April). Fairness constraints: Mechanisms for fair classification. In Artificial Intelligence and Statistics (pp. 962-970). PMLR. 22.02.21 Habilitationskolloquium Fairness im Maschinellen Lernen Dr. Sebastian Pape 15/25 (Faire) Binäre Klassifizierung I ● ● Training Klassifizierung Faire Klassifizierung – – Binär, konvex „margin-based“ Demographic Parity mit Relaxation: p%-Regel P(Ŷ=1 | A=0) / P(Ŷ=1 | A=1) ≥ p / 100 – Schwer p%-Regel direkt in θ zu integrieren 1) Gesucht: f(x) → y ● Führt zu schwer lösbaren Optimierungsproblemen 2) Identifikation von Parameter θ* für Entscheidungs-Grenze ● Solange sich die „Seite“ von X nicht ändert, ist p%-Regel unverändert 1) Trainingsdaten {(xi, yi)} i=1..N 2) θ* = argminθ L(θ) – Idee: neues Mass für Fairness: ● Kovarianz zwischen geschütztem Attribut A und Abstand zur Entscheidungs-Grenze dθ*(X) Cov(A, dθ*(X)) = E[ ( A – A ) dθ*(X) ] - E[ ( A – A ) ] dθ*(X) ● Klassifizierung ≈ ≈ 1/N Σi=1..N (Ai – A ) dθ*(Xi) fθ(X) → 1 gdw. dθ*(X) ≥ 0 Ŷ=1 fθ(X) → 0 gdw. dθ*(X) < 0 ● Fairness-Problem falls X mit A korreliert Zafar, M. B., Valera, I., Rogriguez, M. G., & Gummadi, K. P. (2017, April). Fairness constraints: Mechanisms for fair classification. In Artificial Intelligence and Statistics (pp. 962-970). PMLR. 22.02.21 Habilitationskolloquium Fairness im Maschinellen Lernen Dr. Sebastian Pape 16/25 (Faire) Binäre Klassifizierung II ● Faire Klassifizierung ● Training Klassifizierung – c lässt sich nicht aus p herleiten – Binär, konvex „margin-based“ – Numerische Lösung 1) Gesucht: f(x) → y – Erlaubt wahlweise Optimierung von 2) Identifikation von Parameter θ* ● Accuracy unter Fairness-NB für Entscheidungs-Grenze ● Fairness unter Accuracy-NB 1) Trainingsdaten {(xi, yi)} i=1..N – Disparate Learning erfüllt 2) θ* = argminθ L(θ) NB: 1/N Σi=1..N (Ai – A ) dθ*(Xi) ≤ c 1/N Σi=1..N (Ai – A ) dθ*(Xi) ≥ - c ● Klassifizierung fθ(X) → 1 gdw. dθ*(X) ≥ 0 Ŷ=1 fθ(X) → 0 gdw. dθ*(X) < 0 ● Fairness-Problem falls X mit A korreliert Zafar, M. B., Valera, I., Rogriguez, M. G., & Gummadi, K. P. (2017, April). Fairness constraints: Mechanisms for fair classification. In Artificial Intelligence and Statistics (pp. 962-970). PMLR. 22.02.21 Habilitationskolloquium Fairness im Maschinellen Lernen Dr. Sebastian Pape 17/25 GPT-3 Source: https://www.geeksforgeeks.org/biased-gpt-3/ Source: https://onezero.medium.com/for-some-reason-im-covered-in- blood-gpt-3-contains-disturbing-bias-against-muslims-693d275552bf Source: https://www.technologyreview.com/2020/07/20/1005454/ openai-machine-learning-language-generator-gpt-3-nlp/ 22.02.21 Habilitationskolloquium Fairness im Maschinellen Lernen Dr. Sebastian Pape 18/25 Bias in (GloVe) Word Embeddings ● Vokabelanzal: V ● Matrix X ∈ℝVxV – Mit Xij gewichteter Anzahl wie oft Wort j im Kontext von Wort i auftaucht ● Word-Embedding Association Test (WEAT) ● 2 Mengen Zielwörter – Programmierer, Ingenieur, ... – Krankenschwester, Lehrer, ... ● 2 Mengen Attributwörter – Mann, männlich, Junge, Bruder, ... – Frau, weiblich, Mädchen, Schwester, ... Caliskan, A., Bryson, J. J., & Narayanan, A. (2017). Semantics derived automatically from language corpora contain human-like biases. Science, 356(6334), 183-186. 22.02.21 Habilitationskolloquium Fairness im Maschinellen Lernen Dr. Sebastian Pape 19/25 Word Embedding – De-Bias (Pre-Processing) ● Berechnung Bias auf ganzem Korpus ● Alternative: – Berechnung für Korpus ohne – Neue Texte hinzufügen Dokument Di – “Mary umarmt ihren Bruder Tom” → Differential Bias für Dokument Di →→“NAME-1 umarmt seine Schwester NAME-2.” – Approximation zur Effizienzsteigerung – Komplizierter in anderen Sprachen ● Geschlechterspezifische Adjektive, Nomen, ... Brunet, M. E., Alkalay-Houlihan, C., Anderson, A.,