Márcio Galvão - Research
Discriminação algorítmica
O difícil desafio de evitar discriminação nas soluções de IA.
Discriminação algoritmica
Fonte da imagem: The bias detectives, by RACHEL COURTLAND
Na busca por uma inteligência artificial (IA) mais ética e responsável, os conceitos de fairness (imparcialidade, justiça) e bias (viés) são provavelmente os que recebem maior atenção e têm maior literatura acadêmica no estudo de algoritmos. Isso ocorre porque já existem muitos sistemas de IA em produção, não existem ainda marcos regulatórios adequados, e há grande preocupação com o fato de que modelos de Machine Learning podem incorporar bias (vieses) de diferentes tipos, produzindo discriminação algorítmica (unfairness) contra determinados subgrupos da população.
O tema da discriminação algorítmica é bastante complexo. Trata-se de um problema que envolve um aspecto tecnológico e também questões normativas ou filosóficas, tais como:
• O que significa “ser justo”?
• Fazer justiça é promover igualdade ou equidade entre diferentes subgrupos de indivíduos?
• Como a noção de “justiça” (e outros valores eticamente desejáveis, como “transparência”) pode ser implementada em sistemas de inteligência artificial?
• O que significa “discriminação”?
• Como a discriminação se manifesta nos sistemas de IA?
• Quais as origens possívels de parcialidade ou bias em algoritmos? Quais métricas podem ser utilizadas para medir bias?
• Que tipo de danos o bias ou parcialidade algorítmica pode causar?
• Quais técnicas (processos, ferramentas) podem ser adotadas para detectar e mitigar o bias em algoritmos?
• Etc.
Além de diferentes formas de se fazer justiça (igualdade, equidade), há também muitas definições possíveis para "fairness", bem como há diferentes definições para o termo "bias", o que causa algumas confusões nos debates sobre ética na IA. Uma breve discussão das noções de "justiça" e "discriminação" e dos diferentes significados de "bias" é apresentada nesta página.
Os sistemas de IA podem apresentar comportamento injusto (parcial, unfair) por vários motivos. Pode haver bias cognitivo afetando as decisões tomadas durante o desenvolvimento do sistema. Pode ser que o modelo tenha sido treinado com datasets desbalanceados (má representatividade de algum subgrupo específico), ou pode ser que o bias reflita um comportamento social real (antes de existir inteligência artificial já existia racismo no mundo, e ainda existe). Neste caso, o sistema de IA é um espelho do que ocorre na sociedade - o mensageiro de uma realidade desconfortável – e se desejamos realmente um mundo melhor, não adianta apenas “atirar no mensageiro”, como alertam Kathy Baxter e Kate Crawford. Isso não significa, entretanto, que os vieses ou a parcialidade nos sistemas de IA não devam ser combatidos, dado que a IA tem enorme potencial para AMPLIFICAR estes comportamentos discriminatórios, e reforçar ainda mais estereótipos e preconceitos que existem na "vida real". Ou seja, o preconceito, o racismo, a misoginia, a intolerância e e discriminação existem FORA da IA, mas a IA pode tornar todos estes problemas muito piores do que já são.
Como referência, esta página resume alguns exemplos reais de discriminação por algoritmos em sistemas de IA.
"Bias in AI is a reflection of bias in our broader society. Building ethics into AI is fixing the symptoms of a much larger problem. We must decide as a society that we value equality and equity for all and then make it in happen in real life, not just in our AI systems. AI has the potential to be the Great Democratizer or to magnify social injustice and it is up to you to decide which side of that spectrum you want your product to be on" (Kathy Baxter).
“O viés na IA reflete o viés (preconceito) da sociedade. Construir ética na inteligência artificial é atacar os sintomas de um problema muito mais amplo. Nós precisamos decidir como sociedade que valorizamos a igualdade e a equidade para todos, e então fazer isto acontecer na vida real, não apenas nos nossos sistemas de IA. A IA tem o potencial de ser o “Grande Democratizador” ou de amplificar a injustiça social, e cabe a você decidir de que lado do espectro você deseja que seu produto esteja”.
Artigo (PDF): Sobre a discriminação algoritmica
Márcio Galvão
Este artigo apresenta uma introdução ao tema da discriminação algorítmica, que ocupa posição de destaque nos debates sobre ética na inteligência artificial. Trata-se de um problema “sociotécnico” bastante complexo, que envolve um aspecto tecnológico e também questões normativas ou filosóficas.
De onde vem o bias?
O bias (viés, parcialidade) pode ocorrer em diferentes estágios do pipeline em um projeto de Machine Learning. Não é trivial distinguir entre as diferentes fontes para o bias , dado que elas podem ocorrer simultaneamente e podem se influenciar mutuamente (um bias cognitivo em um analista pode resultar em um dataset desbalanceado, que poderá afetar negativamente a parcialidade do sistema). Assim, em vez de gastar energia na identificação das origens do bias, é mais produtivo avaliar o sistema de IA em função dos impactos que ele exerce em algum subgrupo da população.
Nesta visão mais pragmática, quaisquer que sejam as origens do bias, os responsáveis devem adotar medidas para impedir que seus sistemas de IA reproduzam ou amplifiquem situações de discriminação contra pessoas ou grupos. Para lidar com pelo menos alguns casos de discriminação algorítmica, é necessário combinar procedimentos, ferramentas e métricas. Algumas bibliotecas para ajudar desenvolvedores a identificar e reduzir bias em seus modelos de Machine Learning (como o pacote open-source Fairlearn) estão disponíveis. Há também checklists para apoiar na implementação.
Apesar dos avanços técnológicos, a imparcialidade (fairness) em sistemas de IA é um problema muito difícil que não se resolve apenas com marcos regulatórios e ferramentas de software, mas requer a análise de contextos particulares e o entendimento dos inevitáveis trade-offs entre “justiça e performance”, ou entre “diferentes noções de justiça” que não podem ser satisfeitas simultaneamente.
Diversas abordagens para a construção de “algoritmos éticos” já estão em testes, envolvendo Otimização Bayesiana, Causal Reasoning, Value-Sensitive Algorithm Design e outros métodos, mas ainda deve demorar até que o desafio do “alinhamento de valores” seja superado de forma satisfatória (ver Referências). Diante deste cenário, os legisladores envolvidos na construção de marcos regulatórios para a IA precisam ter consciência da difícil tarefa que enfrentam.
Usando o pacote Fairlearn para mitigar bias em algoritmos
Neste estudo reproduzimos um tutorial introdutório ao Fairlearn, uma ferramenta open-source que visa apoiar cientistas de dados no desenvolvimento de sistemas de IA mais “justos” (menos discriminatórios), através da detecção e eliminação (tanto quanto possível) de bias em algoritmos. O Fairlearn é integrado ao Azure Machine Learning Studio da Microsoft, que é o ambiente utilizado na demonstração.
A ferramenta Fairlearn é parte do Microsoft Responsible AI ToolBox, um conjunto de ferramentas para desenvolvedores e cientistas de dados testarem seus modelos, visando a criação de sistemas de IA mais éticos e responsáveis. A IBM, a Google e outras big techs também têm ferramentas para detecção e mitigação de parcialidade em modelos de IA. Veja a seção Referências mais adiante.
Apesar das ferramentas de software disponíveis, o desafio de detectar e eliminar vieses (bias) em modelos de IA (que podem levar a comportamentos discriminatórios contra pessoas ou subgrupos) é bastante difícil, como discutido na seção seguinte.
Métricas alternativas para fairness
Nesta seção, vamos explorar brevemente o fato de que dizer que é preciso "eliminar o bias dos modelos de Machine Learning" é bem mais fácil do que fazer isso na prática - embora esta seja uma meta que deve ser perseguida. Como já mencionado em outras partes deste site, o problema é que há diferentes maneiras de se entender o que é "imparcialidade" em modelos de IA, e a opção por reduzir a imparcialidade de acordo com uma definição específica para fairness poderá aumentar a parcialidade do modelo em relação à outras definições igualmente válidas. Não há lanche grátis - escolhas difíceis precisam ser feitas.
Ao tentar reduzir o bias em modelos de Machine Learning, é preciso escolher alguma métrica de fairness para que o modelo possa ser avaliado. Por exemplo, pode-se optar pela Diferença de Paridade Demográfica.
Paridade Demográfica
Diz-se que um modelo é “justo” segundo a noção de paridade demográfica se a proporção das pessoas de um subgrupo selecionadas pelo modelo é compatível com a proporção que o subgrupo representa no total de casos. Por exemplo, se 1.000 pessoas (todas binárias) utilizam um sistema de IA que seleciona candidatos a uma vaga, e se a proporção de mulheres neste total é de 43%, espera-se (idealmente) que 430 dos escolhidos pelo modelo sejam mulheres, e 570 sejam homens.
Uma característica da Paridade Demográfica é que ela não considera as particularidades de cada indivíduo. Há casos em que pode ser injusto tentar calibrar um modelo de IA para que ele assegure que 43% das vagas em um emprego sejam ocupadas por mulheres (ou, inversamente, que 57% sejam ocupadas por homens) sem levar em conta a competência, experiência, educação e outros atributos individuais mais relevantes que o gênero para se conseguir um emprego. Isso poderia significar que pessoas mais qualificadas (independentemente do sexo) ficariam de fora do processo seletivo (o que é injusto pela ótica do mérito), apenas para que se obedeça a uma paridade estatística por algum atributo sensível.
Por outro lado, há casos em que o mérito pessoal pode não ser importante. Se uma empresa decide distribuir 200 ingressos para o Rock in Rio, sortear aleatoriamente as 200 pessoas que vão ganhar os ingressos pode ser um bom critério, caso a empresa não veja motivos para julgar alguns candidatos como mais merecedores do que outros (não é preciso criar uma aplicação de IA para fazer isso – a mensagem é que nem sempre a qualificação ou os atributos pessoais devem importar na busca por um sistema mais “justo”).
Taxas de Erros de Falso Positivo e Falso Negativo
Também é possível tentar assegurar que o modelo terá taxas semelhantes de erros de falsos positivos ou de falsos negativos (True Positive Rate Parity e False Positive Rate Parity respectivamente) entre os diferentes subgrupos de interesse (por exemplo, jovens, idosos, negros, brancos, mulheres, homens, ricos, pobres etc). Pois se o modelo de IA exibe de forma consistente uma taxa de erros de Falso Positivo maior para idosos e mulheres do que para outros subgrupos, este modelo poderá ser acusado de ter "comportamento discriminatório".
Se há diferentes métricas para avaliar imparcialidade (fairness), qual delas é a melhor? Bem, isso depende do contexto, e do problema que se deseja analisar. Não existe uma forma absoluta de determinar "a melhor métrica para evitar discriminação em qualquer contexto", e este é um dos aspectos que torna este problema muito difícil de resolver. Ao se optar por uma das diversas definições de fairness e otimizar o modelo para ela, o mesmo modelo poderá ser considerado "Injusto" se for avaliado por alguma outra definição de fairness. Além disso, em certos casos pode ser que a noção de “justiça” mais adequada ao contexto nem mesmo possa ser quantificada.
O pacote Fairlearn (dentre outros) pode ajudar na detecção e mitigação de bias em algoritmos que podem levar a comportamentos discriminatórios por aplicações de IA contra determinados subgrupos populacionais, mas é importante
considerar que o trade-off entre “melhor performance” e “maior imparcialidade” será inevitável em muitos casos, ou seja, em muitos contextos será necessário abrir mão do modelo com maior precisão (acurácia, etc.) em favor de outro mais “justo” (sobre algum critério de imparcialidade que defina “justo”).
Referências selecionadas: Bias em Algoritmos
AlgorithmWatch é uma organização de pesquisa e advocacia sem fins lucrativos comprometida em fiscalizar e avaliar sistemas de decisões automatizadas (ADMs) e seus impactos na sociedade.
The AI Now Institute tem como objetivo produzir pesquisa interdisciplinar e engajamento público para ajudar a assegurar que os sistemas de IA serão responsabilizados por seus impactos sobre as comunidades, considerando seus contextos de atuação.
Humanitarian Law & Policy
March 14, 2024
UNU (United Nations University)
31 Jan 2024
FRA (European Union Agency for Fundamental Rights)
December 08, 2022
Harini Suresh, John V. Guttag
Dec 2021
Referências selecionadas: Ferramentas para Desenvolvedores e Cientistas de Dados
Microsoft Responsible AI Dashboard
Enabling practitioners to create responsible AI systems - The Responsible AI dashboard brings together a variety of responsible AI capabilities that are meant to easily communicate with each other to facilitate deep-dive investigations, without having to manually save and reload results in different dashboards.
Responsible AI is an approach to assessing, developing, and deploying AI systems in a safe, trustworthy, and ethical manner, and take responsible decisions and actions. Responsible AI Toolbox is a suite of tools providing a collection of model and data exploration and assessment user interfaces and libraries that enable a better understanding of AI systems. Documentation available.
Responsible innovation is a toolkit that helps developers become good stewards for the future of science and its effect on society. This toolkit provides a set of practices in development, for anticipating and addressing the potential negative impacts of technology on people
Improve fairness of AI systems - Fairlearn is an open-source, community-driven project to help data scientists improve fairness of AI systems.
IBM - AI Fairness 360
AI Fairness 360 - This extensible open source toolkit can help you examine, report, and mitigate discrimination and bias in machine learning models throughout the AI application lifecycle. We invite you to use and improve it.
VIDEO: IBM AI Talks #3: Understanding and Removing Unfair Bias in ML
Google What-If Tool
What-If Tool - Visually probe the behavior of trained machine learning models, with minimal coding. What-If presents five buttons, each of which sorts the data according to a different type of fairness, based on mathematical measures.
See also Playing with AI Fairness
Veja também