Filosofia e Inteligência Artificial
Justiça, bias e discriminação algorítmica
O que significa ser justo?
"Ser bom é fácil. Difícil é ser justo" (Victor Hugo)
Como nos ensinou o filósofo liberal John Rawls (1921-2002), a justiça como “fairness” é um requisito fundamental para que se possa ter estabilidade social. Se algum subgrupo da sociedade sente que não está sendo tratado de uma forma justa (em relação aos demais subgrupos), isso pode perturbar a paz social e levar a distúrbios, greves e conflitos. Ou seja, as pessoas se comprometem com a paz social na medida em que percebem que as instituições são “justas”.
Uma dificuldade surge com o fato de que há diferentes princípios para aplicar (e entender) a noção de “justiça”, como o da Igualdade e o da Equidade.
Princípio da Igualdade
Para os defensores do Princípio da Igualdade (Equality), justiça significa que todos devem ser tratados da mesma maneira.
Embora pareça uma proposta razoável, este princípio é criticado por não levar em conta diferenças individuais que podem ser relevantes, como ilustrado, onde a criança mais baixa não tem meios para alcançar a fruta se tiver que competir em “condições iguais” com a criança mais alta (ou seja, se estiver “sendo tratada da mesma maneira”). Seria justo deixá-la com fome?
(Fonte da imagem: The Ethics of AI - free online course created by the University of Helsinki.)
Princípio da Equidade
Como alternativa ao Princípio da Igualdade, alguns filósofos sugerem o Princípio da Equidade (Equity), para o qual a justiça requer que todos tenham acesso aos meios que precisam para que possam ser bem sucedidos.
Assim, a Equidade não defende que a justiça seja feita tratando-se todos da mesma maneira, mas, em vez disso, tentando dar a todos o mesmo acesso nas oportunidades.
Fonte da imagem: The Ethics of AI - free online course created by the University of Helsinki.
Por exemplo, em um país com enormes diferenças sociais e econômicas e péssima distribuição de renda como o Brasil, é razoável pelo Princípio da Equidade que certos subgrupos (baixa renda) sejam tratadas de forma diferenciada e recebam mais benefícios sociais do Governo (e paguem menos impostos), enquanto outros grupos em melhor situação econômica não tenham acesso aos mesmos benefícios (e paguem mais impostos).
Neste caso, tratar de forma diferente pessoas em situações diferentes é considerado mais “justo”, pois é o meio de dar a todos (tanto quanto possível) o mesmo nível de acesso em recursos e oportunidades (educação, saúde, alimentação etc.). Não é muito diferente do que pensava Aristóteles, que 350 anos antes de Cristo já defendia a noção de Equidade, pois acreditava que “se as pessoas não são iguais não devem receber coisas iguais”, ou seja, para se fazer justiça, as circunstâncias importam.
Discriminação
Agora que já temos uma noção do conceito de justiça em duas de suas interpretações comuns (Igualdade e Equidade), convém deixar mais claro o que significa “discriminação”. Vejamos os que dizem os dicionários:
discriminação
sf
1 Capacidade de discriminar ou distinguir; discernimento.
2 Ato de segregar ou de não aceitar uma pessoa ou um grupo pessoas por conta da cor da pele, do sexo, da idade, credo religioso, trabalho, convicção política etc.
3 No âmbito jurídico, discriminação é um ato contrário ao princípio de igualdade.
discriminação
sf
1. Ação ou resultado de discriminar.
2. Capacidade de discernir.
3. Ato de separar, segregar.
4. Tratamento desigual – favorável ou desfavorável – com base em características como raça, gênero, etc.
5. No direito, prática contrária à lei.
É fácil perceber que a maioria das definições tradicionais de “discriminação” parte do princípio da igualdade formal (tratar todos de forma igual, sem distinção) como se fosse o único referencial de justiça. Porém, nem sempre tratar todos da mesma forma é fazer justiça. Do ponto de vista contemporâneo — especialmente em direitos humanos, políticas públicas e ciências sociais — e também no contexto da discriminação pela inteligência artificial - a equidade é um princípio bem mais adequado para avaliar se um ato é justo ou não. Como vimos, a noção de justiça não é incompatível com o tratamento diferenciado para um determinado grupo de indivíduos (crianças, idosos, mulheres, pobres etc.), desde que vise promover maior equidade, que pode ser implementada por exemplo através de políticas públicas. Assim, “tratar de forma diferente alguém que pertence a um determinado grupo” (ou “discriminar”, pela definição tradicional!) pode em certos casos ser uma ação positiva.
Refletindo um pouco, podemos concluir que o problema não está no tratamento diferenciado em si, mas na existência de justificativa e no resultado que esta ação trará, já que a diferenciação pode estar cumprindo o propósito de dar a um grupo menos favorecido maior acesso em oportunidades. A discriminação no sentido negativo ocorre quando “tratar grupos de forma diferente” prejudica os grupos afetados, em vez de beneficiá-los. Por exemplo, não é aceitável que certos grupos sociais recebam tratamento diferente em função de sua idade, gênero, raça, preferência religiosa, inclinação sexual etc. se isso vai causar impactos negativos na vida delas, como ter acesso negado a crédito e empréstimos e menos oportunidades de emprego ou educação. Isso não pode ser considerado justo pois nem o Princípio da Igualdade nem o Princípio da Equidade estariam sendo satisfeitos.
O fato de que a discriminação pode ser positiva ou negativa revela a importância de levar sempre em conta o contexto nas avaliações de “discriminação”, e também nos alerta sobre o perigo de se tratar um assunto tão complexo com abordagens por demais ingênuas ou simplistas (inclusive durante a criação dos marcos regulatórios que estão sendo propostos para a IA).
Discriminação algorítmica
Fonte da imagem: The bias detectives, by RACHEL COURTLAND
Como vimos nas seções anteriores, não é trivial definir "justiça" ou "discriminação". Nesta seção vamos abordar a importante questão da discriminação algorítmica. O tema é bastante complexo. Trata-se de um problema que envolve um aspecto tecnológico e também questões normativas ou filosóficas, tais como:
• O que significa “ser justo”?
• Fazer justiça é promover igualdade ou equidade entre diferentes subgrupos de indivíduos?
• Como a noção de “justiça” (e outros valores eticamente desejáveis, como “transparência”) pode ser implementada em sistemas de inteligência artificial?
• O que significa “discriminação”?
• Como a discriminação se manifesta nos sistemas de IA?
• Quais as origens possívels de parcialidade ou bias em algoritmos? Quais métricas podem ser utilizadas para medir bias?
• Que tipo de danos o bias ou parcialidade algorítmica pode causar?
• Quais técnicas (processos, ferramentas) podem ser adotadas para detectar e mitigar o bias em algoritmos?
• Etc.
Além de diferentes formas de se fazer justiça (igualdade, equidade), há também muitas definições possíveis para "fairness", bem como há diferentes definições para o termo "bias", o que causa algumas confusões nos debates sobre ética na IA.
Os sistemas de IA podem apresentar comportamento injusto (parcial, unfair) por vários motivos. Pode haver bias cognitivo afetando as decisões tomadas durante o desenvolvimento do sistema. Pode ser que o modelo tenha sido treinado com datasets desbalanceados (má representatividade de algum subgrupo específico), ou pode ser que o bias reflita um comportamento social real (antes de existir inteligência artificial já existia racismo no mundo, e ainda existe).
Nesse caso, o sistema de IA é um espelho do que ocorre na sociedade - o mensageiro de uma realidade desconfortável – e se desejamos realmente um mundo melhor, não adianta apenas “atirar no mensageiro”, como alerta Kathy Baxter (ver destaque abaixo). Isso não significa, entretanto, que os vieses ou a parcialidade nos sistemas de IA não devam ser combatidos, dado que a IA tem enorme potencial para AMPLIFICAR estes comportamentos discriminatórios, e reforçar ainda mais estereótipos e preconceitos que existem na "vida real". Ou seja, o preconceito, o racismo, a misoginia, a intolerância e e discriminação existem FORA da IA, mas a IA pode tornar todos estes problemas muito piores do que já são.
Como referência, esta página resume alguns exemplos reais de discriminação por algoritmos em sistemas de IA.
"Bias in AI is a reflection of bias in our broader society. Building ethics into AI is fixing the symptoms of a much larger problem. We must decide as a society that we value equality and equity for all and then make it in happen in real life, not just in our AI systems. AI has the potential to be the Great Democratizer or to magnify social injustice and it is up to you to decide which side of that spectrum you want your product to be on" (Kathy Baxter).
“O viés na IA reflete o viés (preconceito) da sociedade. Construir ética na inteligência artificial é atacar os sintomas de um problema muito mais amplo. Nós precisamos decidir como sociedade que valorizamos a igualdade e a equidade para todos, e então fazer isto acontecer na vida real, não apenas nos nossos sistemas de IA. A IA tem o potencial de ser o “Grande Democratizador” ou de amplificar a injustiça social, e cabe a você decidir de que lado do espectro você deseja que seu produto esteja”.
A imagem seguinte mostra uma aplicação de reconhecimento de voz (Machine Learning) em que a taxa de erro para pessoas negras é quase o dobro da taxa de erro para pessoas brancas. Este é um exemplo de discriminação algorítmica.
Entendendo os problemas
Dizer que é preciso "eliminar o bias dos modelos de Machine Learning" é bem mais fácil do que fazer isso na prática - embora esta seja uma meta que deve ser perseguida. Temos aqui dois problemas, que são discutidos em detalhes nos artigos publicados no Substack mencionados mais adiante.
Em primeiro lugar, há diferentes métricas para avaliar imparcialidade (fairness). Qual delas é a melhor? Bem, isso depende do contexto, e do problema que se deseja analisar. Não existe uma forma absoluta de determinar "a melhor métrica para evitar discriminação em qualquer contexto". Digamos, porém, que em um caso de uso específico, optamos por uma determinada métrica de "justiça" (fairness), como a "paridade demográfica" ou a "disparidade nas taxas de falso positivo" para diferentes subgrupos.
O primeiro problema importante é que, ao optar por uma das diversas definições de fairness e otimizar o modelo para ela, o mesmo modelo poderá ser considerado "Injusto" se for avaliado por alguma outra definição de fairness. Em outras palavras, a opção por reduzir a parcialidade de acordo com uma definição específica para fairness poderá aumentar a parcialidade do modelo em relação à outras definições igualmente válidas. Matematicamente, não é possível satisfazer simultaneamente a todas as concepções de fairness. Além disso, em certos casos pode ser que a noção de “justiça” mais adequada ao contexto nem mesmo possa ser quantificada.
O segundo problema é que quando o modelo deixa de ser otimizado apenas para a performance (acurácia, precisão etc.) e passa a ter que tentar otimizar também durante seu treinamento alguma das noções de fairness (para promover maior "justiça", considerando diferentes subgrupos sociais), a performance resultante frequentemente será reduzida, e isso também pode trazer impactos negativos. Este trade-off entre “melhor performance” e “maior imparcialidade” será inevitável em muitos casos, ou seja, em muitos contextos será necessário abrir mão do modelo com maior precisão (acurácia, etc.) em favor de outro mais “justo” (sobre algum critério de imparcialidade que defina “justo”), como representado na figura abaixo.
Não há lanche grátis - escolhas difíceis precisam ser feitas.
Para uma discussão mais detalhada, leia a trilogia de artigos publicados no Substack sobre discriminação algorítmica.
Artigos publicados no Substack sobre discriminação algorítmica
O artigo “Discriminação algorítmica (Parte 1)” é o primeiro texto de uma trilogia sobre o tema.
Como escreveu Victor Hugo: “Ser bom é fácil. Difícil é ser justo.” Quando sistemas de inteligência artificial começam a tomar decisões que afetam a vida das pessoas — crédito, emprego, recomendações — a pergunta sobre o que significa “ser justo” deixa de ser apenas filosófica e passa a ser também um problema de engenharia. Neste artigo discuto conceitos como igualdade, equidade, bias e discriminação algorítmica, além da dificuldade de traduzir valores morais como justiça em métricas matemáticas utilizadas no treinamento de modelos de Machine Learning.
Boa leitura!
Clique no artigo para saber mais.
No texto anterior desta série eu discuti conceitos como igualdade, equidade e viés em sistemas de IA. Neste segundo artigo, a ideia é olhar para casos concretos.
O texto reúne alguns exemplos conhecidos de discriminação, como em sistemas de reconhecimento facial, policiamento preditivo, algoritmos usados em processos seletivos e modelos de linguagem. Em todos estes casos aparece o mesmo fenômeno: sistemas treinados com dados históricos acabam reproduzindo padrões e desigualdades que já estavam presentes nesses dados.
Esses casos nos ajudam a entender por que a discriminação algorítmica se tornou um tema importante nas discussões sobre ética e governança em inteligência artificial.
Boa leitura!
Este artigo é Parte 3 da série sobre discriminação algorítmica.
Nos textos anteriores discutimos o que é discriminação algorítmica e vimos exemplos reais de como sistemas de IA podem produzir resultados injustos para diferentes grupos. Neste último artigo, vamos para a parte prática. Mostro um exemplo utilizando o Fairlearn, uma biblioteca open-source em Python que permite analisar disparidades entre grupos e testar técnicas para mitigar vieses em modelos de Machine Learning.
O exercício revela algo importante: em muitos casos, melhorar fairness significa abrir mão de um pouco de performance — e escolher entre essas opções acaba sendo uma decisão política, não apenas técnica.
Boa leitura!
