top of page

Confiabilidade de sistemas de IA

Carros autônomos.
Armas autônomas.
Diagnósticos médicos apoiados por IA.

Carro autônomo guiado por IA

Confiabilidade e uso seguro

O princípio da Confiabilidade e Uso Seguro (Reliability & Safety)  requer que a solução de IA opere de forma confiável e segura, sem oferecer riscos substanciais para a vida humana. O atendimento a este objetivo requer processos de teste e verificação adequados.  

Há muitos contextos em que a confiabilidade de soluções de IA é importante, como no caso dos diagnósticos médicos. Por exemplo, em 2018 a IBM teve problemas quando utilizou sua aplicação Watson para fazer recomendações médicas para pacientes com câncer. Os médicos entenderam que o algoritmo ainda não estava "treinado o suficiente" e interromperam o projeto, pois algumas das recomendações feitas pelo sistema podiam ser fatais para os pacientes.

 

Também em 2018, o The New York Times reportou que um automóvel autônomo da Uber atropelou e matou uma pedestre nos Estados Unidos. Havia uma motorista, mas o veículo estava dirigindo a si próprio no momento do atropelamento. Eventos como este alimentam a desconfiança e a discussão sobre a confiabilidade dos modelos que estão por trás destas soluções. Este incidente também deu início a um debate ético sobre quem seria o responsável pelas mortes causadas por veículos autônomos (com ou sem motorista), um exemplo da importante questão da responsabilização (accountability) dos incidentes relacionados com a IA. 

The AI Incident Database is dedicated to indexing the collective history of harms or near harms realized in the real world by the deployment of artificial intelligence systems.

Um outro segmento onde a confiabilidade e o uso seguro da IA são requisitos críticos e as questões morais e éticas são especialmente sensíveis é o das armas autônomas letais

 

Este assunto remete para a discussão do uso militar (ou dual) das aplicações de IA (por exemplo, em que medida os marcos regulatórios que estão sendo desenvolvidos no Brasil e no mundo vão alcançar tais sistemas?).

Drone militar (arma autônoma com IA)

Além de diagnósticos, armas e carros autônomos há muitas outras aplicações da IA cuja confiabilidade é fundamental, como drones, robôs industriais, redes neurais que ajudam no desenvolvimento de remédios e em soluções onde falhas podem trazer impactos mais severos. Esta página traz algumas referências.

Referências selecionadas: "Militarização da IA e armas autônomas"

Referências selecionadas: "Confiabilidade e uso seguro da IA"

Referências selecionadas: "Responsabilização (Accountability) na IA"

National Telecommunications and Information Administration

March 2024

Veja também

Gestão de Riscos da IA
Governança
Trabalho e IA
Transparência
bottom of page