ARTIFICIAL INTELLIGENCE AND ALGORITHMIC DISCRIMINATION:

AN ANALYSIS OF THE AMAZON CASE

Authors

  • Guilherme Manoel de Lima Viana Centro Universitário das Faculdades Metropolitanas Unidas
  • Caio Sperandeo de Macedo Centro Universitário das Faculdades Metropolitanas Unidas

Keywords:

Artificial Intelligence, Women, Regulation, Technology, Bias

Abstract

This article analyzes the issue of algorithmic discrimination in the context of artificial intelligence (AI), focusing on a case involving Amazon. It highlights how AI algorithms can inadvertently perpetuate biases and prejudices, affecting minority groups in society. The study addresses how Amazon's hiring algorithm favored male candidates over female candidates. The analysis underscores the importance of training and adjusting AI algorithms to prevent discrimination and bias, emphasizing the need for greater human oversight and regulation to ensure equity in the implementation of AI in business environments. Scientifically, the study used the literature review method, consulting national and international doctrine and jurisprudence to understand the ethical challenges of AI. The results revealed that algorithmic discrimination is significantly influenced by the quality of training data and the assumptions embedded in the algorithms. A notable example is the Amazon case, where a resume screening system was trained with data reflecting the male predominance in the tech industry, resulting in a bias against female candidates.

Downloads

Download data is not yet available.

Author Biographies

Guilherme Manoel de Lima Viana, Centro Universitário das Faculdades Metropolitanas Unidas

Master's degree in Law in the Information Society (CAPES/BRAZIL scholarship holder) at the University Center of the United Metropolitan Colleges - FMU and Master's degree in Human and Social Sciences at the Federal University of ABC (UFABC). Post-graduate degree in Family and Succession Law from the UniDomBosco University Center (2022) and Post-graduate degree in Digital Labor Law, Labor Compliance and LGPD from Faculdade Verbo Educacional (2023). Bachelor of Laws from Universidade Presbiteriana Mackenzie (2021). Lattes: http://lattes.cnpq.br/1660121333362740.

Caio Sperandeo de Macedo, Centro Universitário das Faculdades Metropolitanas Unidas

PhD in Philosophy of Law from the Pontifical Catholic University of São Paulo, PUC/SP (2014), Brazil, Master's degree in State Law from the Pontifical Catholic University of São Paulo (2005). Coordinator of the Postgraduate Program of the Master's Degree Program "strictu sensu" in Law of the Information Society, at the University Center of the United Metropolitan Colleges-UniFMU/SP. Lattes: http://lattes.cnpq.br/5246795808445782.

References

ADAMS-PRASSL, Jeremias, et al. “Directly Discriminatory Algorithms”. The Modern Law Review, vol. 86, no 1, 2023, p. 144–175, doi:10.1111/1468-2230.12759.

CAON, Felipe. A discriminação algorítmica é a mais nova forma de opressão. Consultor Jurídico, 11 de novembro de 2021, Disponível em: https://www.conjur.com.br/2021-nov-11/caon-discriminacao-algoritmica-forma-opressao/. Acesso em: 07 jan. 2023.

CITRON, Danielle Keats; PASQUALE, Frank. The scored society: Due process for automated predictions. Wash. L. Rev., v. 89:1, 2014.

COSTA, Raquel Lima da. Divisão sexual do trabalho e a posição imposta a mulher na sociedade capitalista. 2019. 31f. Monografia (Graduação em Serviço Social) - Universidade Federal do Rio Grande do Norte, Centro de Ciências Sociais Aplicadas, Departamento de Ciência da Informação, Natal, RN, 2019. Disponível em: https://antigo.monografias.ufrn.br/jspui/handle/123456789/8932. Acesso em: 07 jan. 2023.

DASTIN, Jeffrey. “Amazon scraps secret AI recruiting tool that showed bias against women”, Reuters, 10 outubro. (2018) Disponível em: https://www.reuters.com/article/us-amazon-com-jobs-automation-insight-idUSKCN1MK08G. Acesso em: 18 out. 2023.

DICIONÁRIO AURELIO, “Discriminação”. Dicio, Disponível em: https://www.dicio.com.br/discriminacao/. Acesso em: 4 out. 2023.

FRAZÃO, Ana. Discriminação algorítmica: para que fins e como devem ser julgadas as pessoas?. JOTA, 11 de agosto de 2021, Disponível em: https://www.jota.info/opiniao-e-analise/artigos/discriminacao-algoritmica-para-que-fins-e-como-devem-ser-julgadas-as-pessoas-11082021/amp. Acesso em: 12 jan. 2023.

GODOY, Sandro Marcos. A mulher e o direito do trabalho: a proteção e a dimensão constitucional do princípio da igualdade. São Paulo: Boreal, 2015.

GOODMAN, Bryce W. Economic Models of (Algorithmic) Diserimination. 29th Conference on Neural Information Processing Systems, Barcelona, Spain, 2017.

KEARNS, Michael. ROTH, Aaron. "The Ethical Algorithm", Oxford University Press, New York, 2020. ISBN: 13 9780190948207.

LINDOSO, Maria Cristine Branco. Discriminação de gênero em processos decisórios automatizados. Dissertação - Faculdade de Direito, Universidade de Brasília. Brasília. 2019. Disponível em: https://repositorio.unb.br/bitstream/10482/38524/1/2019_MariaCristineBrancoLindoso.pdf. Acesso em: 4 out. 2023.

MACHADO, Anderson Fraiha; MENDES, Leilani Dian; GARCEZ, Lucas Nogueira. Introdução à Arquitetura e Engenharia Jurídica com Lawtex. São Paulo: Looplex, 2018.

MACHADO, Lia Zanotta. Perspectivas em Confronto: Relações de Gênero ou Patriarcado Contemporâneo. Brasília: Serie Antropológica. V. 284, 2000. Disponível em http://dan.unb.br/images/doc/Serie284empdf.pdf. Acesso em: 4 out. 2023.

MUNANGA, Kabengele; GOMES, Nilma Lino. Racismo, discriminação racila e ações afirmativas: a sociedade atual. In O Negro no Brasil de hoje. São Paulo: Global. 2006. Págs. 171-197.

NASCIMENTO, Amauri Mascavo. Iniciação ao Direito do Trabalho. Imprenta, 2003.

PINHEIRO, Patricia Peck – Proteção de Dados Pessoais – Comentários à Lei nº 13.709/2018 (LGPD), 1º ed. Saraiva; São Paulo, 2018.

ROSSI, Giovana. A culpabilização da vítima no crime de estupro: os estereótipos de gênero e o mito da imparcialidade jurídica. – 1. ed. – Florianópolis: Empório do Direito, 2016.

ROSSI, Giovana. A culpabilização da vítima no crime de estupro: os estereótipos de gênero e o mito da imparcialidade jurídica. Florianópolis-SC: Editora Empório do Direito, 2016.

SHIPPERS, Laurianne-Marie. Algoritmos que discriminam: uma análise jurídica da discriminação no âmbito das decisões automatizadas e seus mitigadores. Monografia - Escola de Direito de São Paulo, Fundação Getúlio Vargas. São Paulo. 2020.

TACCA, Adriano. ROCHA, Leonel Severo. Inteligência Artificial: Reflexos no sistema do direito. Nomos, v. 38.2, p. 53-68, 2018. Disponível em: http://periodicos.ufc.br/nomos/article/view/20493. Acesso em: 01 nov. 2023.

TRASLAVIÑA, Carlos Mauricio Galvis. Introducción a la biometría. 2007. Disponível em: https://www.academia.edu/9374109/Introduccion_a_la_biometr%C3%ADa. Acesso em: 11 nov. 2023.

UOL NOTÍCIAS; PORTAL DE NOTÍCIAS DA AGÊNCIA REUTERS. Você está demitido! Amazon abandona robô recrutador que virou machista. Por Jeffrey Dastin, traduzido pelo portal UOL. Disponível em: https://noticias.uol.com.br/tecnologia/noticias/reuters/2018/10/11/voceesta-demitido-amazon-abandona-robo-recrutador-que-virou-machista.htm. Acesso em: 10 jan. 2024.

URWIN, Richard. Artificial Intelligence: The Quest for the Ultimate Thinking Machine. London: Arcturus, 2016.

VAINAPEL, S. et al. (2015) “The dark side of gendered language: The masculine-generic form as a cause for self-report bias”, Psychological assessment, 27(4), p. 1513–1519. doi: 10.1037/pas0000156. Disponível em https://pubmed.ncbi.nlm.nih.gov/25984637/. Acesso em: 14 nov. 2023.

VIANA, Guilherme Manoel de Lima. DESIGUALDADE NA ERA DIGITAL: COMO A DISCRIMINAÇÃO ALGORÍTMICA AFETA OS TRANSEXUAIS. Inova Jur, [S. l.], v. 2, n. 1, 2023. Disponível em: https://revista.uemg.br/index.php/inovajur/article/view/7534. Acesso em: 6 set. 2023.

Published

2024-09-08

How to Cite

DE LIMA VIANA, G. M.; SPERANDEO DE MACEDO, C. ARTIFICIAL INTELLIGENCE AND ALGORITHMIC DISCRIMINATION: : AN ANALYSIS OF THE AMAZON CASE. Revista Eletrônica Direito & TI, [S. l.], v. 1, n. 19, p. 39–62, 2024. Disponível em: https://direitoeti.com.br/direitoeti/article/view/212. Acesso em: 19 sep. 2024.