Filosofia e Inteligência Artificial
Justiça, bias e discriminação algorítmica
Última atualização em 11 de agosto de 2025
O que significa ser justo?
"Ser bom é fácil. Difícil é ser justo" (Victor Hugo)
Como nos ensinou o filósofo liberal John Rawls (1921-2002), a justiça como “fairness” é um requisito fundamental para que se possa ter estabilidade social. Se algum subgrupo da sociedade sente que não está sendo tratado de uma forma justa (em relação aos demais subgrupos), isso pode perturbar a paz social e levar a distúrbios, greves e conflitos. Ou seja, as pessoas se comprometem com a paz social na medida em que percebem que as instituições são “justas”.
Uma dificuldade surge com o fato de que há diferentes princípios para aplicar (e entender) a noção de “justiça”, como o da Igualdade e o da Equidade.
O que significa ser justo?
Princípio da Igualdade
Para os defensores do Princípio da Igualdade (Equality), justiça significa que todos devem ser tratados da mesma maneira.
Embora pareça uma proposta razoável, este princípio é criticado por não levar em conta diferenças individuais que podem ser relevantes, como ilustrado, onde a criança mais baixa não tem meios para alcançar a fruta se tiver que competir em “condições iguais” com a criança mais alta (ou seja, se estiver “sendo tratada da mesma maneira”). Seria justo deixá-la com fome?
(Fonte da imagem: The Ethics of AI - free online course created by the University of Helsinki.)
Princípio da Equidade
Como alternativa ao Princípio da Igualdade, alguns filósofos sugerem o Princípio da Equidade (Equity), para o qual a justiça requer que todos tenham acesso aos meios que precisam para que possam ser bem sucedidos.
Assim, a Equidade não defende que a justiça seja feita tratando-se todos da mesma maneira, mas, em vez disso, tentando dar a todos o mesmo acesso nas oportunidades.
Fonte da imagem: The Ethics of AI - free online course created by the University of Helsinki.
Por exemplo, em um país com enormes diferenças sociais e econômicas e péssima distribuição de renda como o Brasil, é razoável pelo Princípio da Equidade que certos subgrupos (baixa renda) sejam tratadas de forma diferenciada e recebam mais benefícios sociais do Governo (e paguem menos impostos), enquanto outros grupos em melhor situação econômica não tenham acesso aos mesmos benefícios (e paguem mais impostos). Neste caso, tratar de forma diferente pessoas em situações diferentes é considerado mais “justo”, pois é o meio de dar a todos (tanto quanto possível) o mesmo nível de acesso em recursos e oportunidades (educação, saúde, alimentação etc.). Não é muito diferente do que pensava Aristóteles, que 350 anos antes de Cristo já defendia a noção de Equidade, pois acreditava que “se as pessoas não são iguais não devem receber coisas iguais”, ou seja, para se fazer justiça, as circunstâncias importam.
Discriminação
Agora que já temos uma noção do conceito de justiça em duas de suas interpretações comuns (Igualdade e Equidade), convém deixar mais claro o que significa “discriminação”. Vejamos os que dizem os dicionários:
discriminação
sf
1 Capacidade de discriminar ou distinguir; discernimento.
2 Ato de segregar ou de não aceitar uma pessoa ou um grupo pessoas por conta da cor da pele, do sexo, da idade, credo religioso, trabalho, convicção política etc.
3 No âmbito jurídico, discriminação é um ato contrário ao princípio de igualdade.
1. Ação ou resultado de discriminar.
2. Capacidade de discernir.
3. Ato de separar, segregar.
4. Tratamento desigual – favorável ou desfavorável – com base em características como raça, gênero, etc.
5. No direito, prática contrária à lei.
É fácil perceber qye a maioria das definições tradicionais de “discriminação” parte do princípio da igualdade formal (tratar todos de forma igual, sem distinção) como se fosse o único referencial de justiça. Porém, nem sempre tratar todos da mesma forma é fazer justiça. Porém, do ponto de vista contemporâneo — especialmente em direitos humanos, políticas públicas e ciências sociais — e também no contexto da discriminação pela inteligência artificial - a equidade é um princípio bem mais adequado para avaliar se um ato é justo ou não. Como vimos, a noção de justiça não é incompatível com o tratamento diferenciado para um determinado grupo de indivíduos (crianças, idosos, mulheres, pobres etc.), desde que vise promover maior equidade, que pode ser implementada por exemplo através de políticas públicas. Assim, “tratar de forma diferente alguém que pertence a um determinado grupo” (ou “discriminar”, pela definição tradicional!) pode em certos casos ser uma ação positiva.
Refletindo um pouco, podemos concluir que o problema não está no tratamento diferenciado em si, mas na existência de justificativa e no resultado que esta ação trará, já que a diferenciação pode estar cumprindo o propósito de dar a um grupo menos favorecido maior acesso em oportunidades. A discriminação no sentido negativo ocorre quando “tratar grupos de forma diferente” prejudica os grupos afetados, em vez de beneficiá-los. Por exemplo, não é aceitável que certos grupos sociais recebam tratamento diferente em função de sua idade, gênero, raça, preferência religiosa, inclinação sexual etc. se isso vai causar impactos negativos na vida delas, como ter acesso negado a crédito e empréstimos e menos oportunidades de emprego ou educação. Isso não pode ser considerado justo pois nem o Princípio da Igualdade nem o Princípio da Equidade estariam sendo satisfeitos.
O fato de que a discriminação pode ser positiva ou negativa revela a importância de levar sempre em conta o contexto nas avaliações de “discriminação”, e também nos alerta sobre o perigo de se tratar um assunto tão complexo com abordagens por demais ingênuas ou simplistas (inclusive durante a criação dos marcos regulatórios que estão sendo propostos para a IA).
Discriminação algorítmica
Fonte da imagem: The bias detectives, by RACHEL COURTLAND
Como vimos nas seções anteriores, não é trivial definir "justiça" ou "discriminação". Nesta seção vamos abordar a importante questão da discriminação algorítmica. O tema é bastante complexo. Trata-se de um problema que envolve um aspecto tecnológico e também questões normativas ou filosóficas, tais como:
• O que significa “ser justo”?
• Fazer justiça é promover igualdade ou equidade entre diferentes subgrupos de indivíduos?
• Como a noção de “justiça” (e outros valores eticamente desejáveis, como “transparência”) pode ser implementada em sistemas de inteligência artificial?
• O que significa “discriminação”?
• Como a discriminação se manifesta nos sistemas de IA?
• Quais as origens possívels de parcialidade ou bias em algoritmos? Quais métricas podem ser utilizadas para medir bias?
• Que tipo de danos o bias ou parcialidade algorítmica pode causar?
• Quais técnicas (processos, ferramentas) podem ser adotadas para detectar e mitigar o bias em algoritmos?
• Etc.
Além de diferentes formas de se fazer justiça (igualdade, equidade), há também muitas definições possíveis para "fairness", bem como há diferentes definições para o termo "bias", o que causa algumas confusões nos debates sobre ética na IA.
Como veremos, os sistemas de IA podem apresentar comportamento injusto (parcial, unfair) por vários motivos. Pode haver bias cognitivo afetando as decisões tomadas durante o desenvolvimento do sistema. Pode ser que o modelo tenha sido treinado com datasets desbalanceados (má representatividade de algum subgrupo específico), ou pode ser que o bias reflita um comportamento social real (antes de existir inteligência artificial já existia racismo no mundo, e ainda existe). Neste caso, o sistema de IA é um espelho do que ocorre na sociedade - o mensageiro de uma realidade desconfortável – e se desejamos realmente um mundo melhor, não adianta apenas “atirar no mensageiro”, como alertam Kathy Baxter e Kate Crawford. Isso não significa, entretanto, que os vieses ou a parcialidade nos sistemas de IA não devam ser combatidos, dado que a IA tem enorme potencial para AMPLIFICAR estes comportamentos discriminatórios, e reforçar ainda mais estereótipos e preconceitos que existem na "vida real". Ou seja, o preconceito, o racismo, a misoginia, a intolerância e e discriminação existem FORA da IA, mas a IA pode tornar todos estes problemas muito piores do que já são.
Como referência, esta página resume alguns exemplos reais de discriminação por algoritmos em sistemas de IA.
Artigo (PDF): Sobre a discriminação algoritmica
Márcio Galvão
Este artigo apresenta uma introdução ao tema da discriminação algorítmica, que ocupa posição de destaque nos debates sobre ética na inteligência artificial. Trata-se de um problema “sociotécnico” bastante complexo, que envolve um aspecto tecnológico e também questões normativas ou filosóficas.
Bias
Outra noção importante é bias (viés). De acordo com as definições apresentadas aqui, fica claro que o termo pode denotar coisas diferentes, dependendo de quem o utiliza.
-
Para um estatístico, bias significa a discrepância entre um valor estatístico obtido em um sample (amostra) e o valor verdadeiro daquela mesma estatística para a população. Por exemplo, diferença entre a média estimada (x) da altura de homens brasileiros em uma amostra, e a média real (µ). Em geral este tipo de bias estatístico pode ser reduzido aumentando-se o tamanho da amostra.
-
Para um cientista cognitivo, o termo bias representa um preconceito, uma forma de pensar que tende a produzir resultados incorretos ou tendenciosos (skewed) de forma sistemática. Por exemplo, a “falácia do jogador” (pensar que probabilidades futuras serão afetadas por eventos independentes do passado) é um tipo de bias (Alice jogou dados e perdeu nove vezes seguidas, então é certo que ganhará na próxima!).
-
Para um cientista social, o termo bias tem significado mais próximo ao que pensamos ao discutir “discriminação”, ou seja, bias seria um tratamento diferenciado moralmente questionável (talvez não justificado nem mesmo pelo Princípio da Equidade), resultando em vantagens ou danos para certos grupos (comparativamente a outros).
Algumas confusões nos debates sobre “ética na IA” têm origem na mistura de noções de bias acima. Por exemplo, um estatístico apegado na definição de bias como “a diferença entre o valor esperado de um estimador e o valor real” pode argumentar que “se um modelo de Machine Learning sumariza os dados da população corretamente, então não há bias no modelo, e se existe bias sociológico não é culpa do algoritmo.” Entretanto, esta visão puramente estatística não leva em conta o propósito da discussão sobre ética na IA, que é “como construir sistemas de IA que suportem valores éticos humanos”, sem bias em qualquer um dos sentidos acima que possam causar discriminação negativa.
Portanto, parece importante entender os diferentes tipos de bias que podem se manifestar em sistemas de IA.
De onde vem o bias?
"Bias in AI is a reflection of bias in our broader society. Building ethics into AI is fixing the symptoms of a much larger problem. We must decide as a society that we value equality and equity for all and then make it in happen in real life, not just in our AI systems. AI has the potential to be the Great Democratizer or to magnify social injustice and it is up to you to decide which side of that spectrum you want your product to be on" (Kathy Baxter).
“O viés na IA reflete o viés (preconceito) da sociedade. Construir ética na inteligência artificial é atacar os sintomas de um problema muito mais amplo. Nós precisamos decidir como sociedade que valorizamos a igualdade e a equidade para todos, e então fazer isto acontecer na vida real, não apenas nos nossos sistemas de IA. A IA tem o potencial de ser o “Grande Democratizador” ou de amplificar a injustiça social, e cabe a você decidir de que lado do espectro você deseja que seu produto esteja”.
O bias (viés, parcialidade) pode ocorrer em diferentes estágios do pipeline em um projeto de Machine Learning (veja a próxima Figura). Não é trivial distinguir entre as diferentes fontes para o bias , dado que elas podem ocorrer simultaneamente e podem se influenciar mutuamente (um bias cognitivo em um analista pode resultar em um dataset desbalanceado, que poderá afetar negativamente a parcialidade do sistema). Assim, em vez de gastar energia na identificação das origens do bias, é mais produtivo avaliar o sistema de IA em função dos impactos que ele exerce em algum subgrupo da população.
Nesta visão mais pragmática, quaisquer que sejam as origens do bias, os responsáveis devem adotar medidas para impedir que seus sistemas de IA reproduzam ou amplifiquem situações de discriminação contra pessoas ou grupos. A IA é um imenso amplificador dos nossos preconceitos.
Existem algumas bibliotecas que podem ajudar desenvolvedores a identificar e reduzir bias em seus modelos de Machine Learning (como o pacote open-source Fairlearn) estão disponíveis. Há também checklists para apoiar na implementação. Porém, apesar dos avanços técnológicos, a imparcialidade (fairness) em sistemas de IA é um problema muito difícil que não se resolve apenas com marcos regulatórios e ferramentas de software, mas requer a análise de contextos particulares e o entendimento dos inevitáveis trade-offs entre “justiça e performance”, ou entre “diferentes noções de justiça” que não podem ser satisfeitas simultaneamente.
Diversas abordagens para a construção de “algoritmos éticos” já estão em testes, envolvendo Otimização Bayesiana, Causal Reasoning, Value-Sensitive Algorithm Design e outros métodos, mas ainda deve demorar até que o desafio do “alinhamento de valores” seja superado de forma satisfatória (ver Referências). Diante deste cenário, os legisladores envolvidos na construção de marcos regulatórios para a IA precisam ter consciência da difícil tarefa que enfrentam.
Tipos de bias
O ideal é que os sistemas de IA sejam desenvolvidos em todas as etapas de seu ciclo de vida com a inclusão em mente.
O diagrama mostra cinco possíveis categorias para diferentes tipos de bias em sistemas de IA. Os projetistas de sistemas de IA devem estar atentos para que seus produtos não sejam contaminados por uma ou mais destas categorias, que discutimos em seguida.
Fonte da imagem: How to Recognize Exclusion in AI
Viés de Dados (Dataset bias)
Ocorre quando os dados utilizados para treinar um modelo de Machine Learning não são representativos da diversidade dos diferentes subgrupos na população. Por exemplo, ao se fazer uma pesquisa sobre meios de transporte mais utilizados pela população, são entrevistados apenas indivíduos de maior poder aquisitivo que morarm em um bairro nobre da cidade e que provavelmente têm automóvel e não usam habitualmente o transporte público.
Fonte da imagem: Identifying Unknown Unknowns in the Open World
Viés de Associação (Associations Bias)
Ocorrem quando os dados utilizados para treinar um modelo de Machine Learning reforçam preconceitos culturais de associação (por exemplo, “soldado" é “profissão de homem”, e “enfermeiro” é “profissão de mulher”).
Gender
A Poem by Google Translate
he is a soldier
she’s a teacher
he is a doctor
she is a nurse
No idioma Turco, há um pronome neutro “o” que pode ser utilizado para qualquer tipo de terceira pessoa no singular independentemente de gênero, diferentemente do Português (“ele, ela”) e do Inglês (“he”, “she”, “it”). Assim, quando o Google Translate faz traduções do Turco para o Inglês, ele precisa “adivinhar” o gênero oculto pelo pronome “o”, e em alguns casos as traduções revelam bias de gênero por associação como discutido aqui. Este tipo de bias pode perpetuar estereótipos.
Fonte da imagem: Google Translate’s gender bias...
Viés de Automação (Automation Bias)
O viés de automação (automation bias) ocorre quando decisões automatizadas tomadas pelo modelo se sobrepõem a valores sociais e culturais humanos. Por exemplo, filtros com algoritmos em aplicativos para "embelezar" pessoas podem reforçar nas meninas, meninos e adolescentes uma noção europeia de beleza em imagens faciais, como peles com tonalidades claras, olhos azuis etc., em detrimento de outros padrões estéticos. Neste sentido, o bias de automação pode impor os valores de um grupo maior ou mais poderoso sobre outros grupos menos favorecidos, o que é maléfico para a diversidade.
Havia a expectativa de que no “primeiro concurso de beleza internacional julgado por IA” as avaliações do “juiz algoritmo” fossem imparciais, mas quase todas das 44 vencedoras eram brancas (em mais de 6.000 concorrentes). Algumas poucas eram asiáticas, e apenas uma tinha pele escura.
Fonte da imagem: Beauty.AI 2.0
No exemplo acima, as modelos são reais e os juízes do concurso de beleza são virtuais.
E quando as própria modelos são virtuais?
Algumas marcas como H&M já estão utilizando “avatares virtuais" de modelos em campanhas publicitárias, para reduzir custos e para aumentar a escalabilidade (modelos geradas por IA podem estar ao mesmo tempo em vários lugares e não precisam de avião nem hotel para se deslocar). Outras marcas como a Levi’s também criaram modelos virtuais com IA Generativa. A H&M informou que suas modelos seriam compensadas pelo uso de suas gêmeas digitais, mas se isso virar uma tendência há o risco de que muitos empregos (fotógrafos, maquiadores, assistentes etc.) relacionados com sessões de fotos com modelos reais simplesmente desapareçam.
Viés de Interação (Interaction bias)
O bias de interação ocorre quando os próprios humanos (usuários) que interagem com o modelo de IA fornecem dados que introduzem discriminação nos resultados. Por exemplo, humanos podem propositalmente enviar mensagens racistas e sexistas para chatbots para que eles sejam "treinados" para dizer mensagens ofensivas contra certos subgrupos. Foi exatamente isso que aconteceu em 2016 como Tay, um chatbot com IA lançado pela Microsoft anos atrás. Em apenas algumas horas depois de ter sido publicado para interagir com o público, o chatbot foi "treinado" por usuários humanos com inúmeros conceitos racistas e discriminatórios através de posts no Tweeter, até que o próprio o chatbot Tay começou a publicar posts racistas.
Fonte da imagem: Twitter (@guardian)
Viés de Confirmação (Confirmation bias)
O bias de confirmação é de origem cognitiva, e ocorre quando o indivíduo interpreta as informações sempre de modo a confirmar suas crenças sobre determinado assunto, ignorando outras informações e evidências contrárias. Por exemplo, um indivíduo de inclinação negacionista (contra a ciência) que acredita que “tomar vacina faz mal para a saúde” poderá reforçar esta crença se, ao tomar alguma vacina, tiver algum problema de saúde, mesmo que sua doença não tenha qualquer relação com a vacina tomada.
Este tipo de bias é bastante amplificado em “bolhas” ou “salas de eco” criadas por algoritmos de filtragem de conteúdo em redes sociais. Ao interagir apenas com pessoas que “pensam da mesma forma” e evitando posições divergentes, o senso crítico é prejudicado, e o terreno para a desinformação (acidental ou proposital) é fértil. No caso dos sistemas de IA, o viés de confirmação pode surgir por exemplo com a tendência do criador do sistema em selecionar dados de treinamento (ou aplicar labels em dados, no caso de classificação), ou ainda interpretar os resultados do modelo sempre de modo compatível com suas crenças, ignorando os demais dados.
Fonte da imagem: Confirmation Bias In Psychology: Definition & Examples
Seção 7: Usando o pacote Fairlearn para mitigar bias em algoritmos
Neste estudo reproduzimos um tutorial introdutório ao Fairlearn, uma ferramenta open-source que visa apoiar cientistas de dados no desenvolvimento de sistemas de IA mais “justos” (menos discriminatórios), através da detecção e eliminação (tanto quanto possível) de bias em algoritmos. O Fairlearn é integrado ao Azure Machine Learning Studio da Microsoft, que é o ambiente utilizado na demonstração.
A ferramenta Fairlearn é parte do Microsoft Responsible AI ToolBox, um conjunto de ferramentas para desenvolvedores e cientistas de dados testarem seus modelos, visando a criação de sistemas de IA mais éticos e responsáveis. A IBM, a Google e outras big techs também têm ferramentas para detecção e mitigação de parcialidade em modelos de IA. Veja a seção Referências mais adiante.
Apesar das ferramentas de software disponíveis, o desafio de detectar e eliminar vieses (bias) em modelos de IA (que podem levar a comportamentos discriminatórios contra pessoas ou subgrupos) é bastante difícil, como discutido na seção seguinte.
A imagem seguinte mostra uma aplicação de reconhecimento de voz (Machine Learning) em que a taxa de erro para pessoas negras é quase o dobro da taxa de erro para pessoas brancas. Este é um exemplo de discriminação algorítmica.
Métricas alternativas para fairness
Nesta seção, vamos explorar brevemente o fato de que dizer que é preciso "eliminar o bias dos modelos de Machine Learning" é bem mais fácil do que fazer isso na prática - embora esta seja uma meta que deve ser perseguida. Como já mencionado em outras partes deste site, o problema é que há diferentes maneiras de se entender o que é "imparcialidade" em modelos de IA, e a opção por reduzir a imparcialidade de acordo com uma definição específica para fairness poderá aumentar a parcialidade do modelo em relação à outras definições igualmente válidas. Não há lanche grátis - escolhas difíceis precisam ser feitas.
Ao tentar reduzir o bias em modelos de Machine Learning, é preciso escolher alguma métrica de fairness para que o modelo possa ser avaliado. Por exemplo, pode-se optar pela Diferença de Paridade Demográfica.
Paridade Demográfica
Diz-se que um modelo é “justo” segundo a noção de paridade demográfica se a proporção das pessoas de um subgrupo selecionadas pelo modelo é compatível com a proporção que o subgrupo representa no total de casos. Por exemplo, se 1.000 pessoas (todas binárias) utilizam um sistema de IA que seleciona candidatos a uma vaga, e se a proporção de mulheres neste total é de 43%, espera-se (idealmente) que 430 dos escolhidos pelo modelo sejam mulheres, e 570 sejam homens.
Uma característica da Paridade Demográfica é que ela não considera as particularidades de cada indivíduo. Há casos em que pode ser injusto tentar calibrar um modelo de IA para que ele assegure que 43% das vagas em um emprego sejam ocupadas por mulheres (ou, inversamente, que 57% sejam ocupadas por homens) sem levar em conta a competência, experiência, educação e outros atributos individuais mais relevantes que o gênero para se conseguir um emprego. Isso poderia significar que pessoas mais qualificadas (independentemente do sexo) ficariam de fora do processo seletivo (o que é injusto pela ótica do mérito), apenas para que se obedeça a uma paridade estatística por algum atributo sensível.
Por outro lado, há casos em que o mérito pessoal pode não ser importante. Se uma empresa decide distribuir 200 ingressos para o Rock in Rio, sortear aleatoriamente as 200 pessoas que vão ganhar os ingressos pode ser um bom critério, caso a empresa não veja motivos para julgar alguns candidatos como mais merecedores do que outros (não é preciso criar uma aplicação de IA para fazer isso – a mensagem é que nem sempre a qualificação ou os atributos pessoais devem importar na busca por um sistema mais “justo”).
Taxas de Erros de Falso Positivo e Falso Negativo
Também é possível tentar assegurar que o modelo terá taxas semelhantes de erros de falsos positivos ou de falsos negativos (True Positive Rate Parity e False Positive Rate Parity respectivamente) entre os diferentes subgrupos de interesse (por exemplo, jovens, idosos, negros, brancos, mulheres, homens, ricos, pobres etc). Pois se o modelo de IA exibe de forma consistente uma taxa de erros de Falso Positivo maior para idosos e mulheres do que para outros subgrupos, este modelo poderá ser acusado de ter "comportamento discriminatório".
Se há diferentes métricas para avaliar imparcialidade (fairness), qual delas é a melhor? Bem, isso depende do contexto, e do problema que se deseja analisar. Não existe uma forma absoluta de determinar "a melhor métrica para evitar discriminação em qualquer contexto", e este é um dos aspectos que torna este problema muito difícil de resolver. Ao se optar por uma das diversas definições de fairness e otimizar o modelo para ela, o mesmo modelo poderá ser considerado "Injusto" se for avaliado por alguma outra definição de fairness. Além disso, em certos casos pode ser que a noção de “justiça” mais adequada ao contexto nem mesmo possa ser quantificada.
O pacote Fairlearn (dentre outros) pode ajudar na detecção e mitigação de bias em algoritmos que podem levar a comportamentos discriminatórios por aplicações de IA contra determinados subgrupos populacionais. Porém, é importante considerar que o trade-off entre “melhor performance” e “maior imparcialidade” será inevitável em muitos casos, ou seja, em muitos contextos será necessário abrir mão do modelo com maior precisão (acurácia, etc.) em favor de outro mais “justo” (sobre algum critério de imparcialidade que defina “justo”).
Referências selecionadas: Bias em Algoritmos
AlgorithmWatch é uma organização de pesquisa e advocacia sem fins lucrativos comprometida em fiscalizar e avaliar sistemas de decisões automatizadas (ADMs) e seus impactos na sociedade.
The AI Now Institute tem como objetivo produzir pesquisa interdisciplinar e engajamento público para ajudar a assegurar que os sistemas de IA serão responsabilizados por seus impactos sobre as comunidades, considerando seus contextos de atuação.
Ananya
March 19, 2024
Último acesso em 11/08/2025
Humanitarian Law & Policy
March 14, 2024
Último acesso em 11/08/2025
UNU (United Nations University)
31 Jan 2024
Último acesso em 11/08/2025
Algorithm Watch
June, 2022
Último acesso em 11/08/2025
Sigal Samuel
April 19, 2022
Último acesso em 11/08/2025
Harini Suresh, John V. Guttag
Dec 2021
Último acesso em 11/08/2025
Joy Buolamwini
2018
Último acesso em 11/08/2025
Laura Douglas
Dec 5, 2017
Último acesso em 11/08/2025
Jon Kleinberg et al
17 Nov 2016
Último acesso em 11/08/2025
Seção 9: Referências selecionadas: Ferramentas para Desenvolvedores e Cientistas de Dados
Eric Horvitz et al (Microsoft)
Último acesso em 11/08/2025
Microsoft Responsible AI Dashboard
Enabling practitioners to create responsible AI systems - The Responsible AI dashboard brings together a variety of responsible AI capabilities that are meant to easily communicate with each other to facilitate deep-dive investigations, without having to manually save and reload results in different dashboards.
Último acesso em 11/08/2025
Microsoft Responsible AI Toolbox
Responsible AI is an approach to assessing, developing, and deploying AI systems in a safe, trustworthy, and ethical manner, and take responsible decisions and actions. Responsible AI Toolbox is a suite of tools providing a collection of model and data exploration and assessment user interfaces and libraries that enable a better understanding of AI systems.
Último acesso em 11/08/2025
Microsoft Responsible engineering overview
Responsible innovation is a toolkit that helps developers become good stewards for the future of science and its effect on society. This toolkit provides a set of practices in development, for anticipating and addressing the potential negative impacts of technology on people
Último acesso em 11/08/2025
Fairlearn
Improve fairness of AI systems - Fairlearn is an open-source, community-driven project to help data scientists improve fairness of AI systems.
Último acesso em 11/08/2025
IBM - AI Fairness 360
AI Fairness 360 - This extensible open source toolkit can help you examine, report, and mitigate discrimination and bias in machine learning models throughout the AI application lifecycle. We invite you to use and improve it.
VIDEO: IBM AI Talks #3: Understanding and Removing Unfair Bias in ML
Último acesso em 11/08/2025
Google What-If Tool
What-If Tool - Visually probe the behavior of trained machine learning models, with minimal coding. What-If presents five buttons, each of which sorts the data according to a different type of fairness, based on mathematical measures.
See also Playing with AI Fairness
Último acesso em 11/08/2025
Oh Crap!
Oh Crap!
Qualquer que seja a origem ou tipo do bias, o fato é que a partir de 2017 “a ficha caiu” e tanto a academia quanto as grandes empresas mais envolvidas com sistemas de IA começaram a demonstrar enorme preocupação com o problema do bias em sistemas de IA.
A imagem mostra depoimentos de executivos importantes (John Giannandrea da Google, Mustafa Suleyman da DeepMind, e Satya Nadela, CEO da Microsoft), todos expressando sua inquietação com a questão da discriminação algorítmica.
Fonte da imagem: The Trouble with Bias - NIPS 2017 Keynote - Kate Crawford
