Márcio Galvão - Research
Os desafios para uma IA ética e responsável
As aplicações baseadas em inteligência artificial (doravante IA) têm imenso potencial de impacto nas vidas humanas – para o bem e para o mal. Há inegáveis benefícios, mas também muitos riscos como as campanhas de desinformação e discursos de ódio impulsionadas por IA que ameaçam as democracias em todo o mundo. A inovação tecnológica evolui rapidamente e não vai desacelerar, e por conta disso, como alerta Brad Smith, “é o trabalho para gerenciá-la que precisa ganhar velocidade”. Dado que já existem inúmeras aplicações deste tipo em uso é necessário acelerar as discussões sobre a governança das soluções de AI, bem como a necessidade de princípios éticos e marcos regulatórios adequados.
Este esforço de governança e regulamentação já é bastante difícil, e está ocorrendo em escala global. Entretanto, embora necessário, provavelmente não será suficiente. O ideal seria tentar "embutir" de alguma forma certos valores morais humanos já na concepção e treinamento dos sistemas de IA mais poderosos, em oposição a apenas tentar otimizar o desempenho destes sistemas no alcance de objetivos específicos. Isso nos remete para a discussão da criação de algoritmos éticos.
Algoritmos éticos
Alguns especialistas como Aaron Roth e Michael Kearns defendem que em vez de apenas regulamentar os sistemas de IA depois que já estão prontos, deve-se buscar a construção de algoritmos éticos - de modo que as aplicações de IA já sejam treinadas por algoritmos que tenham aguns valores morais humanos "embutidos" como restrições matemáticas.
Por exemplo, o conceito "moral" de que a privacidade deve ser preservada já pode ser embutida em algoritmos. Graças ao trabalho de Cynthia Dwork e outros pesquisadores, a noção de "privacidade" foi ao menos parcialmente encapsulada na definição matemática de privacidade diferencial e assim ganhou uma métrica objetiva.
Infelizmente, como veremos em seguida, para outros valores morais e objetivos sociais a busca de uma definição matemática ou outra forma objetiva de representar princípios éticos nos algoritmos que treinam sistemas de IA é bem mais difícil.
Sem lanche grátis...
Como exemplos da dificuldade da criação de "algoritmos éticos" vejamos os casos da imparcialidade e da transparência. Veremos que ainda que não seja tecnicamente impossível incluir restrições nos sistemas de IA para que fiquem mais "alinhados" com estes dois valores, haverá escolhas difíceis a fazer, incluindo trade-offs inevitáveis entre "imparcialidade" e "precisão", ou entre "transparência" e "precisão".
A figura mostra um experimento em Machine Learning onde é necessário optar entre o modelo mais "justo" ou imparcial (com menor disparidade nas predições entre diferentes grupos sociais) e o sistema mais preciso (com maior acurária) .
Imparcialidade (não discriminação)
Uma enorme preocupação no contexto da "AI ética e responsável" é o problema da discriminação. Há inúmeros relatos de algoritmos que revelaram 'padrão discriminatório' contra subgrupos sociais. Porém, não é trivial passar para algoritmos a noção de fairness (imparcialidade), ou do que significa um sistema de IA ser "justo" (do ponto de vista estatístico) com diferentes subgrupos. Para começar, não há um conjunto único e bem definido de conceitos morais como "justiça" sobre os quais todos concordem. Por exemplo, existem 21 definições diferentes de imparcialidade (fairness) e já foi provado que não é possível satisfazer simultaneamente a todas elas. Ou seja, ao se tentar diminuir a 'injustiça' em uma solução de IA entre diferentes subgrupos sociais privilegiando uma certa noção de fairness (por exemplo, 'paridade estatística'), pode-se aumentar a injustiça se esta for medida por outra métrica (por exemplo, 'taxa de falsos positivos e negativos'). Além disso, a redução da discriminação algorítmica em muitos casos vai requerer um trade-off com a eficiência. Como mostrado na figura anterior, ao embutir restrições para maximizar a imparcialidade (fairness) usando alguma definição que pareça adequada ao contexto no treinamento de um modelo, a acurácia do modelo (ou outra medida de performance) poderá diminuir - suas predições não serão tão precisas, e isso pode ter impactos negativos que a sociedade precisa compreender. Não há lanche grátis.
Transparência
Há também dificuldades em lidar com o problema da transparência, ou o propósito de evitar que as soluções de IA funcionem como caixas pretas (black boxes) cujas decisões não são compreensíveis pelas partes afetadas. Embora existam processos e ferramentas que conferem maior interpretabilidade e explanabilidade aos algoritmos de IA, o problema não é trivial. Vale observar que "maior transparência" não se trata apenas de "revelar o algoritmo" utilizado. Em função da irredutibilidade da computação mesmo que sejam divulgados todos os detalhes sobre o código fonte de sistema de IA pode ser extremamente difícil predizer o que este código ou algoritmo vai fazer. Além disso, assim como no caso da busca pela não discrimininação pode ocorrer um trade-off entre "performance" e "imparcialidade", na busca pela maior transparência também ocorre um trade-off entre "ter um sistema de IA mais transparente" e "ter um sistema de IA mais preciso". Ou seja, ao se tentar produzir um sistema otimizado em termos de performance, é pouco provável que se consiga ao mesmo tempo uma narrativa mais amigável aos humanos sobre como o modelo funciona e como suas decisões são tomadas (como é o caso das aplicações de IA treinadas por redes neurais complexas com muitas camadas, utilizadas em deep learning). Sem lanche grátis aqui também.
O problema do alinhamento de valores
Todos desejamos uma IA mais ética e responsável, aderente aos valores morais como justiça, igualdade, inclusividade, segurança, privacidade, transparência, responsabilização e outros, alguns deles já considerados direitos fundamentais do homem. Os princípios para uma IA ética tentam colocar em palavras os valores que se deseja assegurar. Vimos que uma abordagem interessante é tentar incluir ao menos alguns destes princípios ou valores morais nos próprios algoritmos que suportam os sistemas de IA (ou seja, investir no design de algoritmos éticos). Já existe consenso de que esta tarefa se torna cada vez mais importante na medida em que vários sistemas poderosos de IA já estão em uso, alguns operando com grande autonomia para tomar decisões que antes eram relegadas aos humanos.
Porém, há uma dificuldade importante - como "embutir" valores morais humanos em algoritmos?
O nome usualmente utilizado para denotar esta tarefa é "alinhamento de valores" (Value Alignment). Esta tarefa não é simples, e requer uma abordagem multidisciplinar envolvendo legisladores, políticos, especialistas em IA, cientistas de dados, estatísticos, desenvolvedores de software, psicólogos, antropologistas, filósofos e a sociedade em geral.
Como mencionado, o propósito do "alinhamento de valores" é assegurar que os sistemas de IA (sobretudo os mais poderosos e capazes de produzir maior impacto e com mais alcance) estejam adequadamente alinhados com valores morais humanos. Para os interessados, selecionamos algumas referências:
-
Este tema é discutido pelo cientista da computação Stuart Russel em seu livro "Human Compatible: AI and the Problem of Control" e em outras referências.
-
O assunto também é abordado com grande competência no artigo "Artificial Intelligence, Values, and Alignment" de Iason Gabriel, filósofo eticista da DeepMind em Londres.
-
Outra boa referência é o livro "The Alignment Problem" de Brian Christian.
-
Veja também a abordagem da OpenAI (criadora do ChatGPT) para o "problema do alinhamento de valores".
De forma simplificada, o problema de "alinhamento de valores" tem duas partes, uma técnica, e outra filosófica:
1. Como implementar valores morais em um sistema de IA?
Esta é a parte técnica do problema do alinhamento. Soluções de IA que utilizam Machine Learning para aprender com dados são projetadas para maximizar a eficiência na execução de alguma tarefa (por exemplo, classificar imagens) - e fazem isso muito bem. Porém, não farão nada além disso se não forem instruídas para tal, de modo objetivo. Se você otimiza um algoritmo para maior precisão, não ganhará transparência, privacidade e não discriminação como um bônus a troco de nada. Assim, é preciso encontrar meios técnicos (por exemplo, através de restrições matemáticas definidas durante o treinamento do modelo) de incluir os valores morais desejados no design da solução.
Em um dos exemplos citados pelo professor Russell, se um algoritmo de recomendações de conteúdo utilizado em mídias sociais tem como único objetivo "maximizar o número de cliques dos usuários", sem levar em conta qualquer outro valor moral que imponha limitações (como ocorre em muitas implementações), provavelmente haverá problemas éticos no uso desta aplicação. Se a pornografia ou a violência extrema aumentarem estatisticamente o número de cliques por parte dos usuários, este será o caminho que o algoritmo do sistema de recomendações poderá tomar na ausência de outros controles para maior "alinhamento" com outros valores morais. A questão aqui é que a "lógica atual da otimização pura e simples de um sistema para alcançar este ou aquele objetivo" precisa ser abandonada: Como sugere o professor Stuart Russell, "em vez dos sistemas de IA serem considerados "inteligentes" na medida em que conseguem atender os seus objetivos, eles devem ser considerados benéficos na medida em que consigam atingir os nossos objetivos". Mas para isso, é preciso determinar quais objetivos seriam estes, o que nos leva ao aspecto filosófico do problema do alinhamento de valores.
2. Com quais valores desejamos que o sistema de IA esteja alinhado?
Esta é a parte mais filosófica ou normativa do "problema do alinhamento". Como a sociedade vai decidir sobre quais princípios (ou objetivos) devem ser "codificados" em sistemas de IA? Quem decidirá sobre isso, considerando que vivemos em uma sociedade pluralista com diferentes visões de mundo e crenças sobre valores morais, em alguns casos, incompatíveis entre si? Como fazer isso de forma que um determinado grupo não "imponha" seus valores preferidos sobre outros grupos?
O filósofo eticista Iason Gabriel nos ensina que há diferentes concepções sobre como isso pode ser feito. Por exemplo, em uma abordagem minimalista o foco seria em tentar embutir na IA pelo menos os controles que impeçam os impactos maiores (por exemplo, que atentem contra a segurança humana ou tragam outros resultados ruins sobre esta ótica da segurança e confiabilidade). Esta concepção nos levaria ao que o autor chama de "IA segura" (Safe AI). Já na abordagem maximalista o desafio seria ter não apenas segurança, mas uma "IA boa e justa" (Good IA), uma meta mais ambiciosa e próxima do que queremos dizer com "IA ética e responsável", mas também mais difícil, dado que é neste caso justamente que será preciso lidar com a "questão das definições". Assim, a parte normativa do "problema do alinhamento" parece ser a mais difícil, até pelo fato de que enquanto ela não for endereçada não será possível resolver a parte técnica de forma adequada (não podemos embutir valores morais na IA se não concordamos ainda sobre quais são eles). O mundo é plural, há diferentes sistemas morais e opiniões sobre o que significa ser justo, ou se a transparência deve ter prioridade sobre a eficiência, ou se a privacidade é mais ou menos importante que a precisão etc. É preciso definir qual seria o melhor método para discutir sobre a parte normativa.
Sobre isso, o filósofo nos explica que há três principais abordagens.
-
A primeira é a "Busca da Sobreposição de Valores", ou a ideia que ainda que existam diferenças entre as visões sobre quais seriam os melhores valores para direcionar a IA, existe consenso sobre um grupo de valores, sobre o qual todos ou a grande maioria concorda. Por exemplo, uma pesquisa em diferentes fontes de princípios para a IA ética revela que há razoável convergência sobre alguns princípios éticos como transparência, justiça, igualdade, segurança (confiabilidade), responsabilização e privacidade.
-
A segunda é o "Véu da Ignorância", fundamentado nos estudos do filósofo John Rawls. Esta abordagem visa evitar que os princípios sejam criados pensando-se "no interesse próprio e em cada caso particular", e em vez disso sejam definidos com base apenas em considerações gerais, como se seus criadores não soubessem quem vai ser afetado, nem onde, nem quando.
-
A terceira é a "Escolha Social", ou seja, deixar a sociedade votar e decidir sobre quais devem ser os princípios e noções morais que a IA deve seguir. Neste caso não se pretende obter princípios universais e categóricos (no sentido Kantiano), ou princípios sobre o qual todos concordem, mas em vez disso adotar o que foi escolhido pela maioria da sociedade, que afinal é quem será afetada pelas aplicações de IA. Esta seria portanto a "abordagem democrática" para atacar a parte normativa do "problema do alinhamento". Naturalmente, tem também suas dificuldades (como assegurar representatividade e conduzir esta votação? Cada país fará sua análise de escolhas isoladamente, e depois isso será agregado globalmente de alguma forma? Etc.).
O autor nos lembra também que dados os interesses econômicos em jogo e o alcance e importância da IA hoje no mundo, o problema não é apenas técnico e moral, mas tem um forte componente político, e também nos lembra que a IA é ainda uma tecnologia emergente, sobre o qual sabemos pouco, e que portanto é preciso cautela e uma abordagem progressiva na sua normatização, apesar dos anseios em todo o mundo por marcos regulatórios para o uso da IA.
Ainda que seja difícil de implementar, o "alinhamento de valores" é importante para evitar os riscos da singularidade e outros problemas que podem derivar de uma IA treinada apenas para "otimizar a performance em um objetivo específico". Veja a discussão sobre o "Efeito Midas" a seguir.
O "efeito Midas"
Cuidado com o objetivo que você passa para a IA, pois ela vai tentar alcançá-lo da forma mais otimizada possível.
A imagem mostra o professor Stuart Russel na TED Talk "3 principles for creating safer AI", que é bastante interesssante (e divertida, apesar da seriedade e relevância do tema).
Um alerta feito por Stuart Russell (que reforça a importância do "alinhamento de valores") é que devemos “entender exatamente o que está sendo pedido” para um sistema de IA, pois pela forma como os modelos de Machine Learning funcionam, os algoritmos vão tentar otimizar a sua performance na tarefa que devem resolver (por exemplo, classificar imagens), sem se preocupar com outros objetivos se estes não forem explicitamente definidos. Temos que ter muita atenção ao que estamos pedindo, para evitar o “efeito Midas ” na IA obter resultados ótimos, porém não alinhados ao que realmente desejamos.
Um exemplo anedótico porém ilustrativo de Nick Bostrom (filósofo da Universidade de Oxford) sobre o “problema do rei Midas na IA” é o da "produção de clips de papel":
“AI, produza a maior quantidade possível de clips de papel”.
Se é este o único objetivo passado para o sistema, o algoritmo poderá tentar otimizá lo dispondo de todos os recursos que estiverem disponíveis, e eventualmente poderá destruir estruturas para obter mais metal para a produção de clips, até cobrir o planeta Terra com estes objetos.
You build a system that’s extremely good at optimizing some utility function, but the utility function isn’t quite right. Russell has this example of paperclips. You say, “Make some paperclips.” And it turns the entire planet into a vast junkyard of paperclips. You build a super optimizer what utility function do you give it? Because it’s going to do it.
O livro "Superintelligence" do filósofo Nick Bostrom deixou Bill Gates e Elon Musk apavorados. Musk chegou a declarar que a IA representa um "risco existencial" para a humanidade. A propósito, o já falecido físico teórico Stephen Hawking também tinha a preocupação de que uma IA superinteligente poderia causar a extinção da raça humana.
Isso nos remete para o "temor da singularidade".
Veja também