Exemplos de discriminação em IA

Esta página reúne alguns exemplos que ilustram os impactos negativos que a discriminação algorítmica pode causar sobre pessoas ou subgrupos sociais.

Quais tipos de danos a discriminação algoritmica pode causar?

Com relação aos tipos de danos que podem ocorrer por conta da discriminação algoritmica, a respeitada pesquisadora australiana Kate Crawford sugere dois grandes grupos: Danos de alocação e os Danos de Representação. Para mais informações, eu recomendo o vídeo The Trouble with Bias - NIPS 2017 Keynote - Kate Crawford

Os danos de alocação ocorrem quando os sistemas de IA dificultam ou impedem o acesso de determinados subgrupos da população em recursos, informações, serviços e oportunidades, em comparação com outros subgrupos. Este tipo de dano por discriminação é encontrado por exemplo em sistemas de IA que apoiam as seleções de currículos e contratações, a admissão em universidades e na concessão de créditos e empréstimos bancários. Danos de alocação também podem resultar da má qualidade de serviços (Quality-of-service harms), quando um sistema de IA funciona bem para determinados subgrupos, e funciona mal (com mais erros) para outros subgrupos da população, que ficam sujeitos a um serviço de pior qualidade. Por exemplo, a performance de aplicações de IA de reconhecimento facial (medida pela acurácia ou outra métrica de classificação) pode variar entre pessoas conforme o tom da pele. Outros serviços como anúncios on-line e sistemas de recomendação por IA também podem ter desempenho diferenciado de forma discriminativa, apresentando taxas de erros (falsos positivos, falsos negativos) significativamente mais altas para determinados subgrupos apenas.

Enquanto os danos de alocação têm relação com o acesso a recursos, os danos de representação estão relacionados com falhas na identificação de indivíduos, animais, objetos etc. Um grave exemplo de dano de representação foi a exibição de imagens de pessoas negras com o label “Gorillas” pela API de identificação de objetos do Google em 2015. Fonte da imagem: Google apologises for Photos app's racist blunder

Vamos ver em seguida diversos exemplos (todos reais) de discriminação de pessoas ou subgrupos sociais por conta de vieses ou outros problemas no design de sistemas de IA, que usualmente já estão presentes nos próprios dados que são utilizados no treinamento dos modelos de IA por algoritmos, e deste modo o sistema de IA resultante não apenas reproduz, mas tem o poder de AMPLIFICAR nossos preconceitos mais sombrios.

“Bias in systems is commonly caused as we know by bias in training data, and we can only gather data about the world that we have, which has a long history of discrimination. So the default tendency of these systems will be to reflect our darker biases” (Kate Crawford). “
O viés nos sistemas (de IA) é normalmente causado, como sabemos, por vieses existentes nos dados de treinamento, e nós só podemos coletar dados sobre o mundo em que vivemos, que tem uma longa história de discriminação. Então, a tendência (por padrão) destes sistemas é refletir nossos preconceitos mais sombrios”

Discriminação em policiamento preditivo e avaliação de riscos em sentenças criminais

Um sistema de IA chamado COMPAS foi utilizado para avaliar "o risco de um criminoso voltar a cometer um crime nos próximos dois anos" após ser solto da prisão. Foi verificado por pesquisadores da Propublica (Jornalismo Investigativo) que a ferramenta era discriminatória contra pessoas negras. Comparando os dados para pessoas brancas e negras, foi constatado que o número de erros do tipo "falso positivo" (*) entre as pessoas negras era maior do que para as brancas.
(*) Falso positivo: pessoa que foi classificada como sendo de "alto risco" de reincidência, mas não voltou a cometer crimes.

Fonte da imagem: Machine Bias

Caso você tenha interesse neste tema, veja as referências selecionadas no final desta página.

Discriminação em processos seletivos

Anos atrás, um algoritmo desenvolvido pela Amazon para ajudar o RH na contratação de novos colaboradores, que filtrava de forma automática os currículos enviados pelos candidatos para certas posições. Após algumas queixas e uma análise aprofundada, verificou-se que o algoritmo era "discriminatório contra mulheres“. Foi descoberto que eram rejeitados currículos perfeitamente aceitáveis (apenas de mulheres), com base em certas características (por exemplo, hobbies das pretendentes).
Fonte da imagem: Folha de S. Paulo

Targeting de anúncios contaminados por estereótipos de gênero

Em 2020, como um experimento, a organização AlgorithmWatch publicou no Facebook dois anúncios fictícios de emprego. Uma vaga era para motorista de caminhão e a outra para educador.

Os próprios algoritmos de IA do Facebook decidiram para quem exibir cada anúncio (este era o objetivo do experimento - verificar como seria a distribuição dos anúncios por gênero).

Resumindo os resultados: O anúncio da vaga para motorista de caminhão foi exibido para 4.864 homens e apenas 386 mulheres, enquanto o anúncio para educador, que foi postado simultaneamente, foi exibido para 6.456 mulheres, mas apenas 258 homens. Isso revelou estereótipo de gênero nos algoritmos ("mulher não pode dirigir caminhão", "educador é emprego para mulher"). Fonte da imagem: Automated Decision-Making Systems and Discrimination.

Discriminação por idade e gênero na concessão de crédito

2021, Alemanha. Uma mulher não conseguiu concluir uma compra on-line, embora tivesse recursos para pagar, presumivelmente em função de uma combinação "desfavorável" de sua idade e seu gênero (avaliação de risco de crédito por algoritmo de IA).
Fonte da imagem: Automated Decision-Making Systems and Discrimination.

Reconhecimento facial não funciona dependendo da cor da pele

Em 2020, Audrey K. foi a uma repartição pública em Hamburgo, na Alemanha, para tirar a carteira internacional de motorista. Entretanto, o sistema de biometria não foi capaz de reconhecer o rosto dela, em função do tom de pele escuro. A maior taxa de erro nos algoritmos de reconhecimento facial para peles escuras cria muitos problemas de autenticação e pode causar dificuldades em vários serviços para esta população (por exemplo, problemas na biometria facial implementada em aeroportos).

Fonte da imagem: Automated Decision-Making Systems and Discrimination.

No projeto The Gender Shade liderado pela pesquisadora Joy Buolamwini três empresas (IBM, Microsoft e Face++) que oferecem soluções de IA com visão computacional baseados na detecção e identificação de atributos de rostos (por exemplo, classificação por gênero) tiveram seus produtos avaliados. Todas as empresas tiveram desempenho melhor nos rostos com tom de pele clara, ou seja, as taxas de erro na classificação foram maiores para as peles escuras em todos os produtos avaliados. As maiores taxas de erro na classificação para peles escuras têm impactos negativos para este grupo no uso de soluções que utilizam estes modelos.
Fonte da imagem: How well do IBM, Microsoft, and Face++ AI services guess the gender of a face?

Preço do seguro do carro varia conforme a nacionalidade

Udo Enwerenezor mora na Itália e tem dupla nacionalidade (italiano e nigeriano). Ele percebeu que o preço do seguro do seu carro dependia de qual nacionalidade ele informava na contratação do serviço. Se falasse que era nigeriano, o preço do seguro era mais elevado, mesmo com todos os outros parâmetros idênticos no perfil. Isso indica um padrão discriminatório na análise.

Fonte da imagem: Automated Decision-Making Systems and Discrimination.

Vieses no processamento de linguagem natural (NLP)

Há modelos de NLP (Natural Language Processing) que fazem correlação semântica com "proximidade espacial" entre palavras. Ou seja, a similaridade no significado é indicada pela frequência em que as palavras aparecem próximas umas das outras (há uma forma técnica de medir a "distância" entre as palavras). Entretanto, constatou-se que estes algoritmos são "contaminados" por preconceitos da própria sociedade, e podem revelar padrões machistas e racistas. Historicamente, as palavras "médico" e "comandante" aparecem mais próximas de "homem", enquanto os conceitos de "enfermeiro" e "secretário" são associados com "mulher". O mesmo ocorre com a profissão de "programador" (computador), cujo termo é aproximado de "homem" pelo word2vec e outros algoritmos, em outro exemplo clássico de estereótipo de gênero. Analogamente, as palavras que representam as profissões de "artista", "cabelereiro" e "cozinheiro" são aproximadas pelos algoritmos de classificação com "homossexualidade", enquanto "carpinteiro" é um termo "hetero".

Fonte da imagem: Bias in word embeddings ~ ADRIAN COLYER

Os danos potenciais da discriminação algorítmica são muitos.

Em alguns casos, os danos são “injustos”, e em outros são ilegais. Os danos podem ser tanto individuais quanto coletivos como nos exemplos seguintes.

Perda de oportunidades

Discriminação em empregos.
Discriminação em preços de seguros e benefícios sociais.
Discriminação em programas de casas populares.
Discriminação no acesso à educação.

Perdas econômicas

Discriminação na concessão (ou custo) de crédito.
Preços diferenciados na obtenção de produtos e serviços.
Limitação de escolhas para determinados subgrupos.

Alienação social

"Bolhas" em mídias sociais por algoritmos de filtragem.
Reforço de estereótipos.
Preconceitos diversos na filtragem de conteúdos disponíveis.

Perda de liberdade

Riscos de abordagem discriminatória contra negros e outros subgrupos sociais em policiamento preditivo.
Vigilância em massa pelo poder público, e no trabalho.
Encarceramento injusto ou desproporcional.