Justiça, bias e discriminação

O que significa ser justo?

"Ser bom é fácil. Difícil é ser justo" (Victor Hugo)

Como nos ensinou o filósofo liberal John Rawls (1921-2002), a justiça como “fairness” é um requisito fundamental para que se possa ter estabilidade social. Se algum subgrupo da sociedade sente que não está sendo tratado de uma forma justa (em relação aos demais subgrupos), isso pode perturbar a paz social e levar a distúrbios, greves e conflitos. Ou seja, as pessoas se comprometem com a paz social na medida em que percebem que as instituições são “justas”.

Uma dificuldade surge com o fato de que há diferentes princípios para aplicar (e entender) a noção de “justiça”, como o da Igualdade e o da Equidade.

Princípio da Igualdade

Para os defensores do Princípio da Igualdade (Equality), justiça significa que todos devem ser tratados da mesma maneira.

Embora pareça uma proposta razoável, este princípio é criticado por não levar em conta diferenças individuais que podem ser relevantes, como ilustrado, onde a criança mais baixa não tem meios para alcançar a fruta se tiver que competir em “condições iguais” com a criança mais alta (ou seja, se estiver “sendo tratada da mesma maneira”). Seria justo deixá-la com fome?

(Fonte da imagem: The Ethics of AI - free online course created by the University of Helsinki.)

Princípio da Equidade

Como alternativa ao Princípio da Igualdade, alguns filósofos sugerem o Princípio da Equidade (Equity), para o qual a justiça requer que todos tenham acesso aos meios que precisam para que possam ser bem sucedidos.

Assim, a Equidade não defende que a justiça seja feita tratando-se todos da mesma maneira, mas, em vez disso, tentando dar a todos o mesmo acesso nas oportunidades.

Fonte da imagem: The Ethics of AI - free online course created by the University of Helsinki.

Por exemplo, em um país com enormes diferenças sociais e econômicas e péssima distribuição de renda como o Brasil, é razoável pelo Princípio da Equidade que certos subgrupos (baixa renda) sejam tratadas de forma diferenciada e recebam mais benefícios sociais do Governo (e paguem menos impostos), enquanto outros grupos em melhor situação econômica não tenham acesso aos mesmos benefícios (e paguem mais impostos). Neste caso, tratar de forma diferente pessoas em situações diferentes é considerado mais “justo”, pois é o meio de dar a todos (tanto quanto possível) o mesmo nível de acesso em recursos e oportunidades (educação, saúde, alimentação etc.). Não é muito diferente do que pensava Aristóteles, que 350 anos antes de Cristo já defendia a noção de Equidade, pois acreditava que “se as pessoas não são iguais não devem receber coisas iguais”, ou seja, para se fazer justiça, as circunstâncias importam.

Discriminação

Superada a noção de justiça e duas de suas interpretações comuns (Igualdade e Equidade), convém deixar mais claro o que queremos dizer com “discriminação” e “bias”. Vamos reproduzir aqui as definições deste curso.

Discriminação é tratar um indivíduo de forma diferente por conta de ele pertencer a um determinado grupo.

Esta definição parece seguir o Princípio da Igualdade, que como vimos acima, prega que todos devem ser tratados da mesma forma. Porém, como vimos, o Princípio da Equidade não é incompatível com o tratamento diferenciado para um determinado grupo de indivíduos (crianças, idosos, mulheres, pobres etc.), desde que vise promover maior equidade, que pode ser implementada por exemplo através de políticas públicas. Assim, pelo menos para os defensores da Equidade, “tratar de forma diferente alguém que pertence a um determinado grupo” (ou “discriminar”, pela definição acima) pode em certos casos ser uma ação de discriminação em um sentido positivo.

Refletindo um pouco, podemos concluir que o problema não está no tratamento diferenciado em si, mas na existência de justificativa e no resultado que esta ação trará, já que a diferenciação pode estar cumprindo o propósito de dar a um grupo menos favorecido maior acesso em oportunidades. A discriminação no sentido negativo ocorre quando “tratar grupos de forma diferente” prejudica os grupos afetados, em vez de beneficiá-los.

Por exemplo, não é aceitável que certos grupos sociais recebam tratamento diferente em função de sua idade, gênero, raça, preferência religiosa, inclinação sexual etc. se isso vai causar impactos negativos na vida delas, como ter acesso negado a crédito e empréstimos e menos oportunidades de emprego ou educação. Isso não pode ser considerado justo pois nem o Princípio da Igualdade nem o Princípio da Equidade estariam sendo satisfeitos.

O fato de que a discriminação pode ser positiva ou negativa revela a importância de levar sempre em conta o contexto nas avaliações de “discriminação”, e também nos alerta sobre o perigo de se tratar um assunto tão complexo com abordagens por demais ingênuas ou simplistas (inclusive durante a criação dos marcos regulatórios que estão sendo propostos para a IA).

Bias

Outra noção importante é bias (viés). Mais uma vez, vamos nos alinhar com as definições apresentadas aqui, e veremos que o termo pode denotar coisas diferentes, dependendo de quem o utiliza.

Para um estatístico, bias significa a discrepância entre um valor estatístico obtido em um sample (amostra) e o valor verdadeiro daquela mesma estatística para a população. Por exemplo, diferença entre a média estimada (x) da altura de homens brasileiros em uma amostra, e a média real (µ). Em geral este tipo de bias estatístico pode ser reduzido aumentando-se o tamanho da amostra.
Para um cientista cognitivo, o termo bias representa um preconceito, uma forma de pensar que tende a produzir resultados incorretos ou tendenciosos (skewed) de forma sistemática. Por exemplo, a “falácia do jogador” (pensar que probabilidades futuras serão afetadas por eventos independentes do passado) é um tipo de bias (Alice jogou dados e perdeu nove vezes seguidas, então é certo que ganhará na próxima!).
Para um cientista social, o termo bias tem significado mais próximo ao que pensamos ao discutir “discriminação”, ou seja, bias seria um tratamento diferenciado moralmente questionável (talvez não justificado nem mesmo pelo Princípio da Equidade), resultando em vantagens ou danos para certos grupos (comparativamente a outros).

Algumas confusões nos debates sobre “ética na IA” têm origem na mistura de noções de bias acima. Por exemplo, um estatístico apegado na definição de bias como “a diferença entre o valor esperado de um estimador e o valor real” pode argumentar que “se um modelo de Machine Learning sumariza os dados da população corretamente, então não há bias no modelo, e se existe bias sociológico não é culpa do algoritmo.” Entretanto, esta visão puramente estatística não leva em conta o propósito da discussão sobre ética na IA, que é “como construir sistemas de IA que suportem valores éticos humanos”, sem bias em qualquer um dos sentidos acima que possam causar discriminação negativa.

Portanto, parece importante entender os diferentes tipos de bias que podem se manifestar em sistemas de IA.

O ideal é que os sistemas de IA sejam desenvolvidos em todas as etapas de seu ciclo de vida com a inclusão em mente.

O diagrama mostra cinco possíveis categorias para diferentes tipos de bias em sistemas de IA. Os projetistas de sistemas de IA devem estar atentos para que seus produtos não sejam contaminados por uma ou mais destas categorias, que discutimos em seguida.

Fonte da imagem: How to Recognize Exclusion in AI

Tipos de bias

Viés de Dados (Dataset bias)

Ocorre quando os dados utilizados para treinar um modelo de Machine Learning não são representativos da diversidade dos diferentes subgrupos na população. Por exemplo, ao se fazer uma pesquisa sobre meios de transporte mais utilizados pela população, são entrevistados apenas indivíduos de maior poder aquisitivo que morarm em um bairro nobre da cidade e que provavelmente têm automóvel e não usam habitualmente o transporte público.

Fonte da imagem: Identifying Unknown Unknowns in the Open World

Viés de Associação (Associations Bias)

Ocorrem quando os dados utilizados para treinar um modelo de Machine Learning reforçam preconceitos culturais de associação (por exemplo, “soldado" é “profissão de homem”, e “enfermeiro” é “profissão de mulher”).

Gender

A Poem by Google Translate
he is a soldier

she’s a teacher

he is a doctor

she is a nurse

No idioma Turco, há um pronome neutro “o” que pode ser utilizado para qualquer tipo de terceira pessoa no singular independentemente de gênero, diferentemente do Português (“ele, ela”) e do Inglês (“he”, “she”, “it”). Assim, quando o Google Translate faz traduções do Turco para o Inglês, ele precisa “adivinhar” o gênero oculto pelo pronome “o”, e em alguns casos as traduções revelam bias de gênero por associação como discutido aqui. Este tipo de bias pode perpetuar estereótipos.
Fonte da imagem: Google Translate’s gender bias...

Viés de Automação (Automation Bias)

O viés de automação (automation bias) ocorre quando decisões automatizadas tomadas pelo modelo se sobrepõem a valores sociais e culturais humanos. Por exemplo, filtros com algoritmos em aplicativos para "embelezar" pessoas podem reforçar nas meninas, meninos e adolescentes uma noção europeia de beleza em imagens faciais, como peles com tonalidades claras, olhos azuis etc., em detrimento de outros padrões estéticos. Neste sentido, o bias de automação pode impor os valores de um grupo maior ou mais poderoso sobre outros grupos menos favorecidos, o que é maléfico para a diversidade.

Havia a expectativa de que no “primeiro concurso de beleza internacional julgado por IA” as avaliações do “juiz algoritmo” fossem imparciais, mas quase todas das 44 vencedoras eram brancas (em mais de 6.000 concorrentes). Algumas poucas eram asiáticas, e apenas uma tinha pele escura.

Fonte da imagem: Beauty.AI 2.0

Viés de Interação (Interaction bias)

O bias de interação ocorre quando os próprios humanos (usuários) que interagem com o modelo de IA fornecem dados que introduzem discriminação nos resultados. Por exemplo, humanos podem propositalmente enviar mensagens racistas e sexistas para chatbots para que eles sejam "treinados" para dizer mensagens ofensivas contra certos subgrupos. Foi exatamente isso que aconteceu em 2016 como Tay, um chatbot com IA lançado pela Microsoft anos atrás. Em apenas algumas horas depois de ter sido publicado para interagir com o público, o chatbot foi "treinado" por usuários humanos com inúmeros conceitos racistas e discriminatórios através de posts no Tweeter, até que o próprio o chatbot Tay começou a publicar posts racistas.

Fonte da imagem: Twitter (@guardian)

Viés de Confirmação (Confirmation bias)

O bias de confirmação é de origem cognitiva, e ocorre quando o indivíduo interpreta as informações sempre de modo a confirmar suas crenças sobre determinado assunto, ignorando outras informações e evidências contrárias. Por exemplo, um indivíduo de inclinação negacionista (contra a ciência) que acredita que “tomar vacina faz mal para a saúde” poderá reforçar esta crença se, ao tomar alguma vacina, tiver algum problema de saúde, mesmo que sua doença não tenha qualquer relação com a vacina tomada.

Este tipo de bias é bastante amplificado em “bolhas” ou “salas de eco” criadas por algoritmos de filtragem de conteúdo em redes sociais. Ao interagir apenas com pessoas que “pensam da mesma forma” e evitando posições divergentes, o senso crítico é prejudicado, e o terreno para a desinformação (acidental ou proposital) é fértil. No caso dos sistemas de IA, o viés de confirmação pode surgir por exemplo com a tendência do criador do sistema em selecionar dados de treinamento (ou aplicar labels em dados, no caso de classificação), ou ainda interpretar os resultados do modelo sempre de modo compatível com suas crenças, ignorando os demais dados.

Fonte da imagem: Confirmation Bias In Psychology: Definition & Examples

Oh Crap!

Qualquer que seja a origem ou tipo do bias, o fato é que a partir de 2017 “a ficha caiu” e tanto a academia quanto as grandes empresas mais envolvidas com sistemas de IA começaram a demonstrar enorme preocupação com o problema do bias em sistemas de IA.

A imagem mostra depoimentos de executivos importantes (John Giannandrea da Google, Mustafa Suleyman da DeepMind, e Satya Nadela, CEO da Microsoft), todos expressando sua inquietação com a questão da discriminação algorítmica.

Fonte da imagem: The Trouble with Bias - NIPS 2017 Keynote - Kate Crawford

Veja também

Márcio Galvão - Research