De forma simplificada, o problema de "alinhamento de valores" tem duas partes, uma técnica, e outra filosófica:

​

1. Como implementar valores morais em um sistema de IA?

Esta é a parte técnica do problema do alinhamento. Soluções de IA que utilizam Machine Learning para aprender com dados são projetadas para maximizar a eficiência na execução de alguma tarefa (por exemplo, classificar imagens) - e fazem isso muito bem. Porém, não farão nada além disso se não forem instruídas para tal, de modo objetivo. Se você otimiza um algoritmo para maior precisão, não ganhará transparência, privacidade e não discriminação como um bônus a troco de nada. Assim, é preciso encontrar meios técnicos (por exemplo, através de restrições matemáticas definidas durante o treinamento do modelo) de incluir os valores morais desejados no design da solução. 

​

Em um dos exemplos citados pelo professor Russell, se um algoritmo de recomendações de conteúdo utilizado em mídias sociais tem como único objetivo "maximizar o número de cliques dos usuários", sem levar em conta qualquer outro valor  moral que imponha limitações (como ocorre em muitas implementações), provavelmente haverá problemas éticos no uso desta aplicação. Se a pornografia ou a violência extrema aumentarem estatisticamente o número de cliques por parte dos usuários, este será o caminho que o algoritmo do sistema de recomendações poderá tomar na ausência de outros controles para maior "alinhamento" com outros valores morais. A questão aqui é que a "lógica atual da otimização pura e simples de um sistema para alcançar este ou aquele objetivo" precisa ser abandonada: Como sugere o professor Stuart Russell, "em vez dos sistemas de IA serem considerados "inteligentes" na medida em que conseguem atender os seus objetivos, eles devem ser considerados benéficos na medida em que consigam atingir os nossos objetivos". Mas para isso, é preciso determinar quais objetivos seriam estes, o que nos leva ao aspecto filosófico do problema do alinhamento de valores.

​

2. Com quais valores desejamos que o sistema de IA esteja alinhado?

Esta é a parte mais filosófica ou normativa do "problema do alinhamento". Como a sociedade vai decidir sobre quais princípios (ou objetivos) devem ser "codificados" em sistemas de IA? Quem decidirá sobre isso, considerando que vivemos em uma sociedade pluralista com diferentes visões de mundo e crenças sobre valores morais, em alguns casos, incompatíveis entre si? Como fazer isso de forma que um determinado grupo não "imponha" seus valores preferidos sobre outros grupos? 
 
O filósofo eticista Iason Gabriel nos ensina que há diferentes concepções sobre como isso pode ser feito. Por exemplo, em uma abordagem minimalista o foco seria em tentar embutir na IA pelo menos os controles que impeçam os impactos maiores (por exemplo, que atentem contra a segurança humana ou tragam outros resultados ruins sobre esta ótica da segurança e confiabilidade). Esta concepção nos levaria ao que o autor chama de "IA segura" (Safe AI). Já na abordagem maximalista o desafio seria ter não apenas segurança, mas uma "IA boa e justa" (Good IA), uma meta mais ambiciosa e próxima do que queremos dizer com "IA ética e responsável", mas também mais difícil, dado que é neste caso justamente que será preciso lidar com a "questão das definições".  ​Assim, a parte normativa do "problema do alinhamento" parece ser a mais difícil, até pelo fato de que enquanto ela não for endereçada não será possível resolver a parte técnica de forma adequada (não podemos embutir valores morais na IA se não concordamos ainda sobre quais são eles). ​O mundo é plural, há diferentes sistemas morais e opiniões sobre o que significa ser justo, ou se a transparência deve ter prioridade sobre a eficiência, ou se a privacidade é mais ou menos importante que a precisão etc. É preciso definir qual seria o melhor método para discutir sobre a parte normativa.

 

Sobre isso, o filósofo nos explica que há três principais abordagens.

• A primeira é a "Busca da Sobreposição de Valores", ou a ideia que ainda que existam diferenças entre as visões sobre quais seriam os melhores valores para direcionar a IA, existe consenso sobre um grupo de valores, sobre o qual todos ou a grande maioria concorda. Por exemplo, uma pesquisa em diferentes fontes de princípios para a IA ética revela que há razoável convergência sobre alguns princípios éticos como transparência, justiça, igualdade, segurança (confiabilidade), responsabilização e privacidade.

• ​A segunda é o "Véu da Ignorância", fundamentado nos estudos do filósofo John Rawls. Esta abordagem visa evitar que os princípios sejam criados pensando-se "no interesse próprio e em cada caso particular", e em vez disso sejam definidos com base apenas em considerações gerais, como se seus criadores não soubessem quem vai ser afetado, nem onde, nem quando. 

• ​A terceira é a "Escolha Social", ou seja, deixar a sociedade votar e decidir sobre quais devem ser os princípios e noções morais que a IA deve seguir. Neste caso não se pretende obter princípios universais e categóricos (no sentido Kantiano), ou princípios sobre o qual todos concordem, mas em vez disso adotar o que foi escolhido pela maioria da sociedade, que afinal é quem será afetada pelas aplicações de IA. Esta seria portanto a "abordagem democrática" para atacar a parte normativa do "problema do alinhamento". Naturalmente, tem também suas dificuldades (como assegurar representatividade e conduzir esta votação? Cada país fará sua análise de escolhas isoladamente, e depois isso será agregado globalmente de alguma forma? Etc.).

​

O autor nos lembra também que dados os interesses econômicos em jogo e o alcance e importância da IA hoje no mundo, o problema não é apenas técnico e moral, mas tem um forte componente político, e também nos lembra que a IA é ainda uma tecnologia emergente, sobre o qual sabemos pouco, e que portanto é preciso cautela e uma abordagem progressiva na sua normatização, apesar dos anseios em todo o mundo por marcos regulatórios para o uso da IA.

​

Ainda que seja difícil de implementar, o "alinhamento de valores" é importante para evitar os riscos da singularidade e outros problemas que podem derivar de uma IA treinada apenas para "otimizar a performance em um objetivo específico". Veja a discussão sobre o "Efeito Midas" a seguir.