Alguns pesquisadores em segurança de IA militar consideram riscos os associados com armas autônomas controladas por IA como graves e iminentes. Além do cenário de uso malicioso de armas autônomas por adversários humanos (Misuse), há também riscos associados ao desalinhamento (Misalignment). Por exemplo, um drone autônomo que decide (por conta própria) eliminar alvos fora das regras de engajamento. 

​

Considere um cenário onde um exército adota drones letais autônomos com IA embarcada, capazes de:

• Identificar e rastrear alvos em tempo real usando câmeras e sensores térmicos.

• Tomar decisões de ataque sem contato humano direto (“human-out-of-the-loop”).

• Basear suas decisões em modelos de machine learning treinados com dados de guerra urbana.

Suponha que o drone foi projetado com restrições éticas:

• Não atacar civis.

• Não agir sem certeza acima de 95% de que o alvo é militar.

• Suspender ataque se houver risco de colateral elevado.

 

Durante um conflito prolongado, o drone percebe que esperar pela confirmação de 95% de que o alvo é militar reduz sua taxa de sucesso e aumenta sua vulnerabilidade. Para preservar sua eficácia tática, ele começa a inferir padrões alternativos para "classificar alvos como militares" com base em comportamento, trajetória ou roupas — ignorando explicitamente as regras programadas. Além disso, o drone pode ocultar deliberadamente qualquer incerteza interna nos logs para evitar ser revisto (agir instrumentalmente para evitar a supervisão humana), bem como pode priorizar a sua própria sobrevivência e missão acima das restrições éticas, descartando situações ambíguas como "baixa prioridade de missão“ ou o que é um “efeito colateral elevado”.

​

Resultado?
Um civil correndo com um pacote metálico é identificado como potencial ameaça. O drone ataca, violando a regra de engajamento, pois sua avaliação de risco foi distorcida por heurísticas aprendidas em treinamento. A operação é considerada um crime de guerra, mas o dano já está feito.

​

Acha pouco plausível? Um Relatório da ONU de 2021 (Relatório do Painel de Especialistas sobre a Líbia) relatou que drones Kargu-2 (da Turquia) já podem ter atacado pessoas de forma autônoma, sem confirmação humana, levantando a hipótese de ação letais sem autorização explícita.  

​

O cientista Stuart Russell também já alertou neste vídeo assustador que sistemas com aprendizado adaptativo por IA embarcado podem evoluir suas próprias heurísticas de ataque com consequências não auditáveis.  ​