Algorithms: Please Mind the Bias!

Algorithms: Please Mind the Bias!

Algorithms: Please Mind the Bias! REPORT MARCH 2020 Algorithms: Please Mind the Bias! REPORT – MARCH 2020 There is no desire more natural than the desire for knowledge TABLE OF CONTENTS Executive summary: Findings and challenges 6 Executive summary: Recommendations ����������������������������������������������������������������������������������������������������������������������������������������������������������������������������������� 8 Introduction 11 I. Algorithms are both remedies against and causes of discrimination ������������������������������������������������������������������������������������� 12 A. Algorithms are sometimes a useful remedy against discrimination �������������������������������������������������������������������������������������������������������������� 13 B. Algorithms pose new risks for discrimination, but the French debate remains influenced by American examples �������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������� 16 a. Should we fear algorithms? ������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������ 16 b. Reconstructing the French debate on the impact of algorithms ������������������������������������������������������������������������������������������������������������ 18 II. Algorithmic bias: an old and complex problem ��������������������������������������������������������������������������������������������������������������������������������������������������� 20 A. Biases pre-exist algorithms and are mainly found in the data they use 20 B. A fair algorithm has multiple contradictory definitions; is it the role of organizations to choose which one to apply? 26 a. Why we need to talk about the different forms of algorithmic fairness, rather than just the principle of fairness ������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������ 26 b. Algorithmic fairness: an ideal difficult to reach ������������������������������������������������������������������������������������������������������������������������������������������������������ 29 c. A fair and efficient algorithm, the squaring of the circle �������������������������������������������������������������������������������������������������������������������������������� 30 d. Loyalty and neutrality, two complementary but imperfect approaches to fairness 32 e. Use of an unbiased algorithm for recruitment �������������������������������������������������������������������������������������������������������������������������������������������������������� 33 III. Many laws exist against discrimination… and should be applied before voting new texts specific to algorithms ��������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������� 34 A. Anti-discrimination laws apply to algorithms 34 B. Existing digital laws limit the possibility of biases 36 At the European level… ���������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������� 36 … and at the national level 39 C. The developing specificities of European and French law in relation to the United States in the field of algorithms �������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������� 41 D. The application of existing law to algorithms is today imperfect and difficult 43 IV. Recommendations ������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������� 45 A. Proposals left on the side 46 Non-proposal #1: A law on algorithmic bias 47 Non-proposal #2: State control of algorithms 48 B. Prevent bias by implementing best practices and increasing training for those that create and use algorithms ���������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������� 48 Proposal #1: Deploy good practices to prevent the spread of algorithmic bias (internal charters, diversity within teams) 50 Proposal #2: Train technicians and engineers in the risks of bias, and improve citizen awareness of the risks and opportunities of AI ������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������ 53 C. Give each organization the means to detect and fight algorithmic bias 56 Proposal #3: Require testing algorithms before use, along the same lines as the clinical studies of drugs 56 Proposal #4: Adopt an active fairness approach – authorize the use of sensitive variables for the strict purpose of measuring biases and evaluating algorithms 58 Proposal #5: Make public test databases available to enable companies to assess biases within their methodology 60 D. Evaluate high-risk algorithms to limit their impact �������������������������������������������������������������������������������������������������������������������������������������������������������� 61 Proposal #6: Implement more stringent requirements for high-risk algorithms 63 Proposal #7: Support the emergence of labels to strengthen the confidence of citizens in critical uses, and accelerate the dissemination of beneficial algorithms 65 Proposal #8: Develop the capability to audit high-risk algorithms ������������������������������������������������������������������������������������������������������������ 67 Conclusion ��������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������� 69 EXECUTIVE SUMMARY FINDINGS AND CHALLENGES Despite the risk of bias in some cases, algorithms in many ways actually represent an advance where discrimination is concerned Men and women are often consciously or unconsciously biased, inconsistent in their decisions Using an algorithm means formalizing rules that apply to everyone, measuring the results, and ensuring that no bias exists. Algorithmic biases leading to discrimination are rarely due to an incorrect code in the algorithm Incomplete or poor-quality data, or data that reflect biases in society, are much more often at the root of such biases The fight against algorithmic bias is therefore above all a fight against discrimination that already exists on a daily basis The challenge is not only to produce algorithms that are fair, but also to reduce discrimination in society This battle is difficult for numerous reasons. First of all, it is not simple to 6 define a bias-free algorithm. While some biases are voluntary, such as promoting need-based scholarship recipients in the school admissions, others are involuntary or ignored, leading to discrimination against certain groups A fair algorithm, ie one that treats users fairly, is close to an algorithm without bias However, this can never be fully guaranteed Taking equity into account does not help designing unbiased algorithms, since equity can take different forms Assessing what is fair involves an inherent cultural dimension and depends on each situation The ethical attitude will not be the

View Full Text

Details

  • File Type
    pdf
  • Upload Time
    -
  • Content Languages
    English
  • Upload User
    Anonymous/Not logged-in
  • File Pages
    82 Page
  • File Size
    -

Download

Channel Download Status
Express Download Enable

Copyright

We respect the copyrights and intellectual property rights of all users. All uploaded documents are either original works of the uploader or authorized works of the rightful owners.

  • Not to be reproduced or distributed without explicit permission.
  • Not used for commercial purposes outside of approved use cases.
  • Not used to infringe on the rights of the original creators.
  • If you believe any content infringes your copyright, please contact us immediately.

Support

For help with questions, suggestions, or problems, please contact us