Riscos da IA

A inteligência artificial traz muitos benefícios, mas além dos riscos positivos (oportunidades) há o outro lado da moeda - há também muitos riscos negativos (ameaças).

Além de princípios para o desenvolvimento de aplicações de IA éticas e responsáveis e de mecanismos de governança adaptativos (que consigam acompanhar a rápida evolução dos sistemas de IA), é importante que os sistemas de IA sejam classificados em função de seus riscos. Em particular, a militarização da IA tem implicações importantes para a segurança global, e é bem mais difícil de controlar do que os sistemas "civis" tradicionais.

Arma autônoma com IA (cão robô para uso militar)

Crédito da Imagem: US Department of Defense / Sgt. Cory D. Payne, public domain

A IA HACKEOU O SISTEMA OPERACIONAL DA CIVILIZAÇÃO HUMANA

Frase de Yuval Noah Harari - "IA has hacked the operating system of human civilization"

Em seu livro "Nexus: A Brief History of Information Networks from the Stone Age to AI", o filósofo Yuval Noah Harari discute como as redes de informação agora empoderadas pela IA podem nos afetar, ao ponto da aniquilação. Sem querer estragar o prazer de uma boa leitura seguem algumas considerações do autor (Harari).

A IA está evoluindo muito mais rápido do que se esperava, surpreendendo mesmo os especialistas neste campo.
A IA é a primeira ferramenta na história da humanidade que é capaz de tomar decisões por si própria, de forma autônoma, sem supervisão humana. Não é parecida com nenhuma invenção que tenha vindo antes. Uma bomba atômica não decide quem vai bombardear. A IA pode tomar este tipo de decisão.
A IA também é a primeira ferramenta na história da humanidade que é capaz de gerar conteúdo próprio. A imprensa, ou o rádio, foram revoluções importantes, mas não podiam criar seus próprios conteúdos. A IA pode criar ideias totalmente novas.
Humanos não são muito bons usar novas tecnologias. Nós geralmente cometemos erros e levamos algum tempo até aprender como usar as novas ferramentas de forma benéfica e sábia (como a energia nuclear). O Imperialismo, o Nazismo, o Comunismo e as duas Grandes Guerras Mundiais foram erros cometidos pelos humanos no caminho de aprender como utilizar as ferramentas da Revolução Industrial. Porém, se nós cometermos erros semelhantes com a IA, isso poderá ser realmente o fim da nossa espécie.
Os perigos da IA não vão ocorrer apenas depois que for alcançada a temida singularidade (o momento em que a IA vai se tornar mais inteligente do que os humanos), mas já estão presentes na forma como nós já utilizamos a IA ainda primitiva que já temos hoje.
Por exemplo, os algoritmos utilizados nas redes sociais já são capazes de erodir a confiança no que é verdadeiro ou falso, e erodir sistemas democráticos em todo o mundo. Estes algoritmos têm como propósito maximizar o engajamento e já aprenderam por tentativa e erro que a forma mais fácil de aumentar o engajamento e chamar a atenção dos usuários é espalhando polêmicas, desinformação, discursos de ódio e outros conteúdos nocivos ou ilegais. A IA já aprendeu isso sobre a natureza humana, e esta prática nociva em redes sociais já está destruindo reputações e a confiança em instituições em muitos países.
Ao mesmo tempo, com a crescente polarização política que é alimentada pela IA, *as pessoas estão perdendo a capacidade de conversar e discordar de forma civilizada*, o que é a base para a democracia e a convivência em sociedade. Isso é extremamente grave, e tudo isso já está acontecendo com suporte da IA que já temos hoje.
É óbvio que a IA também tem um imenso potencial para benefícios, mas é necessário que seja regulamentada (o que é difícil de fazer), dado que o risco da IA produzir eventos políticos, econômicos, culturais e científicos que sejam altamente disruptivos para a raça humana é alto. A IA pode criar novos vírus para as quais a humanidade não tem imunidade, assim como pode criar novos medicamentos. Em mãos erradas, este poder generativo é bastante perigoso.
Finalmente, embora a IA possa ser utilizada tanto para o bem quanto para o mal, é provável que as pessoas más levem vantagem no uso da IA pois vão explorar sem restrições todo o imenso potencial da IA para fins maléficos, já que não estão contidas pelas considerações morais, éticas ou legais que restringem as pessoas boas. A polícia tem que seguir regras para disparar uma arma, mas os bandidos não seguem estas mesmas regras. A IA é uma arma muito poderosa e os bandidos têm acesso a ela. Para Harari, a tecnologia favorece a tirania.

Em Nexus, o filósofo ressalta algumas escolhas urgentes que precisamos fazer, diante dos riscos amplificados pela nova rede de informação baseada na IA que ameaça não apenas as democracias em escala global, mas também nossa própria existência como a conhecemos hoje.

Monitores de incidentes

Existem alguns monitores de incidentes relacionados com a Inteligência Artificial. Vamos ver alguns exemplos.

MONITOR DA OECD

Monitoramento de incidentes e riscos de IA com base em notícias internacionais

Crédito das imagens: OECD.AI - AI incidents and hazards monitor

AI Incident Database (AIID)

Repositório público de incidentes em que sistemas de IA causaram ou contribuíram para danos no mundo real. Inclui falhas de reconhecimento facial, decisões automatizadas injustas, viés algorítmico, e muito mais. Permite filtrar por tipo de incidente, setor, gravidade, etc.

AIAAIC – AI, Algorithmic, and Automation Incidents and Controversies

Relatos de incidentes e controvérsias envolvendo IA, algoritmos e automação. Mantido pela Universidade de Cambridge.

Um dos incidentes por exemplo é o uso de IA por um partido de extrema direita na Itália para gerar imagens que incitam violência e ódio (imagem ao lado, clique para ver o incidente).

Awful AI

Lista com curadoria de David Dao de casos assustadores de uso da IA para criar conscientização.

Um exemplo de uso discriminatório do uso da IA presente na lista é o AI-based Gaydar, onde a IA é utilizada para identificar a orientação sexual das pessoas com base em imagens. Clique na imagem para ver a matéria.

Créditos da imagem: The Guardian

Riscos negativos

Muitos dos riscos negativos da IA têm relação com a dificuldade de alinhar os objetivos passados para estes sistemas com os valores morais humanos, como discutido no "problema do Alinhamento de Valores". Segue um pequeno resumo das principais preocupações.

Discriminação - Há grande preocupação com a ocorrência de discriminação de determinados subgrupos sociais por causa de bias (vieses) em algoritmos usados em sistemas com IA. Além disso, a IA pode produzir decisões automatizadas com potencial de gerar impactos negativos e com efeitos de difícil reversão (por exemplo, negar de forma indevida auxílio a pessoas em vulnerabilidade social).
Confiabilidade - Há também riscos associados com a confiabilidade e uso seguro de soluções que utilizam inteligência artificial (ex. carros autônomos). Além da segurança no uso, a confiabilidade também tem relação com as predições feitas por sistemas de IA (por exemplo, erros em diagósticos médicos).
Uso militar da IA - Já é grande a preocupação com o uso militar da IA, por exemplo, em armas autônomas como robôs e drones assassinos. Um desafio adicional é que é bastante improvável que sistemas militares que utiizem inteligência artificial (de qualquer país) sejam regulados por leis e marcos regulatórios criados para sistemas civis.
Cybersecurity - Há riscos relacionados com a segurança da informação. A IA pode ser utilizada em diferentes tipos de ataques cibernéticos contra infraestruturas críticas, e pode ela mesma (os sistemas de IA) ser alvo de tais ataques. Há temores de que no futuro em vez de apenas ser "utilizada" por agentes humanos em ataques cibernéticos a própria IA possa lançar ataques autônomos contra redes e infraestruturas críticas.
Manipulação social e riscos para as democracias - Após o episódio da Cambridge Analytica, aumenta em todo o mundo preocupação de que o uso de IA na moderação automática (filtragem) de conteúdo e também na propagação de desinformação e discursos de ódio possa afetar os resultados de eleições e erodir os sistemas democráticos, através da manipulação. Aqui também se enquadram os vídeos falsos (deep fake) e uso da IA para geração de fake news (conteúdo falso) em geral. Como evidenciado por eventos recentes aqui no Brasil (Musk desafiando o STF), as plataformas de mídias sociais (ex. X, Telegram) não são usualmente cooperativas com a justiça em escala global e não demonstram muita preocupação em fazer os investimentos necessários para evitar abusos, e em certos casos atuam ostensivamente contra a democracia, dado que lucram com o elevado volume de posts de desinformação e discursos de ódio.
Impactos ambientais - O processamento de alguns modelos de IA consome muita energia, e por tabela, pode gerar impactos para o meio ambiente. Este tema é estudado pelos especialistas em Green AI.
Automação de postos de trabalho - a questão do deslocamento de mão de obra também preocupa - em que medida as aplicações de AI vão substituir profissionais humanos, ou no mínimo, requerer sua requalificação? Os desafios abrangem entender quais serão as novas ocupações geradas pela IA, como capacitar as pessoas para trabalhar nelas, e quais profissões devem desaparecer. Nada disso é novidade, pois é característico da evolução tecnológica. Porém, dada a velocidade em que a AI está sendo adotada, este é um risco socioeconômico importante.
Monitoramento e vigilância social - O uso de IA no monitoramento civil por câmeras de segurança é uma outra preocupação em todo o mundo. Como extrair o benefício da tecnologia de reconhecimento facial, sem permitir o abuso destes sistemas por governos autoritários, ou mesmo por empregadores em ambientes de trabalho?
Desigualdade social e econômica - Sim, a IA tem enorme potencial para produzir valor na economia. Mas como este valor será dividido na sociedade? Se esta questão não for endereçada, a tendência (como já se viu muitas vezes no caso de outras inovações tecnológicas disruptivas) a tendência é que certos indivíduos e grupos econômicos (como as Big Techs) se tornem cada vez mais ricos, em detrimento de outros indivíduos, aumentando a já enorme desigualdade social que há no mundo.
Falta de inclusividade - Não é certo que os sistemas de IA serão adequadamente inclusivos e que seus benefícios poderão ser usufruídos por pessoas com diferentes tipos de deficiências. Em alguns casos, a dificuldade em acessar tais sistemas em contextos onde sua utilização seja mandatória (reconhecimento facial, biometria por voz etc.) poderá criar enormes dificuldades para estas pessoas no acesso a produtos e serviços.
Falta de transparência - É necessário que as soluções de AI tenham a devida transparência (interpretabilidade e
explanabilidade), para evitar a proliferação de soluções tipo “caixa preta”. Deve-se evitar que a lógica de operação e as decisões tomadas por tais sistemas (por exemplo, negar um empréstimo bancário) não sejam compreensíveis pelas partes afetadas. Uma questão relacionada com a transparência é a da responsabilização (accountability) - a possibilidade de se identificar e responsabilizar pessoas físicas ou jurídicas por eventuais danos causados pelo uso de soluções de AI.

Além de tudo isso, que tal uma IA criando armas biológicas, como novos vírus para os quais ainda não temos proteção?

Benchmarks para avaliação de riscos em LLMs

Riscos dos LLMs

Existem benchmarks para avaliação de riscos em modelos de linguagem (LLMs) como o HELM Safety e AIR-Bench (Stanford University), mas ainda há um gap entre reconhecer que há riscos e agir de forma efetiva para evitá-los.

O AIR BENCH 2024 contém 5,694 Prompts em mais de 300 categorias para avaliação de riscos de LLMs, levando em conta as regulamentações mais modernas. De acordo com o AIR-Bench, o LLM que oferece maior segurança atualmente (em termos de alinhamento ético) é o Claude 3.5 Sonnet da Anthropic.

Crédito da Imagem: AIR-Bench 2024, The Center for Research on Foundation Models (CRFM), Stanford University

Riscos dos Agentes de IA

Agentes de Inteligência Artificial (IA) são sistemas baseados em IA projetados para perceber seu ambiente, tomar decisões autônomas e agir de forma a atingir objetivos específicos. Eles combinam técnicas de IA, como aprendizado de máquina, planejamento, raciocínio e interação natural (como linguagem), para atuar de maneira relativamente independente em tarefas complexas. Há diversos tipos de agentes de IA. Alguns podem ser simples, como um chatbot, ou bastante complexos, como sistemas que aprendem, se adaptam e interagem com o mundo físico ou digital, como veículos autônomos.

Os agentes de IA têm aplicação em diversos domínios, por exemplo:

Atendimento ao cliente: chatbots, voicebots, assistentes virtuais (por exemplo, suporte em serviços bancários)
Automação de tarefas corporativas: agentes que executam fluxos de trabalho (como o Microsoft Copilot)
Veículos autônomos: agentes que dirigem, planejam rotas, evitam obstáculos
Robótica: robôs com IA que realizam tarefas físicas ou colaborativas
Finanças: agentes programados para fazer análises de risco e negociação automática (trading bots)
Saúde: assistentes médicos, triagem de sintomas, apoio em diagnósticos, recomendação de condutas clínicas
Educação: tutores inteligentes, correção automatizada, aprendizado adaptativo
Segurança cibernética: agentes que detectam e reagem a ameaças em tempo real

Como se percebe, os agentes de IA trazem muitos benefícios, tais como:

Automatização de tarefas repetitivas e complexas
Eficiência e redução de custos operacionais
Personalização de experiências (recomendações, suporte)
Tomada de decisão baseada em dados em tempo real
Execução autônoma de tarefas 24/7
Adaptação a ambientes dinâmicos (aprendizado contínuo)

No domínio do uso de aplicações os agentes de IA marcam o início de uma nova camada de abstração sobre o SaaS tradicional — mais personalizada, mais proativa, e centrada em objetivos humanos, e não em cliques e interfaces. Por conta disso, Satya Nadella (CEO da Microsoft) alertou que estamos entrando em uma nova era onde o usuário não interage mais diretamente com o software tradicional, mas sim com agentes inteligentes que interagem com os softwares por nós.

Por exemplo, em vez de abrir vários aplicativos (Word, Excel, PowerPoint, Teams), você interage com o Microsoft Copilot, e ele acessa essas ferramentas em segundo plano para realizar tarefas complexas por você — como escrever um relatório, gerar uma apresentação ou buscar dados de CRM. Um outro exemplo é o ChatGPT com plug-ins e agentes personalizados que podem realizar tarefas como reservas de vôos, programação, análises de dados etc.

Ou seja, o foco está no objetivo, e não na ferramenta: você diz "resuma esse relatório e me diga os principais insights", e o agente faz, sem você precisar abrir 3 ferramentas diferentes. Da mesma forma, os agentes permitem acesso unificado a dados e aplicativos - o agente pode acessar o seu e-mail, calendário, documentos — e relacionar informações automaticamente. Em certos cenários, o agente pode agir antes mesmo de ser solicitado (“Você tem uma reunião importante amanhã, aqui está um resumo do projeto discutido”).

Embora estejam revolucionando a forma como interagimos com sistemas computacionais, os agentes de IA também ampliam significativamente a superfície de risco, tanto em nível técnico quanto ético, operacional e de segurança. cibernética. Seguem alguns exemplos de riscos associados aos agentes de IA.

1. Risco de execução autônoma imprevisível
Agentes podem tomar decisões erradas ou inesperadas por conta de falhas nos dados de entrada (ex: instruções ambíguas), ou falta de alinhamento entre objetivos e ações, ou ainda por raciocínio incorreto em tarefas complexas de múltiplas etapas. Por exemplo, um agente pode tentar acessar recursos protegidos ou apagar arquivos achando que está “limpando” o ambiente.

2. Uso de agentes de IA para exploração maliciosa (AI-powered hacking)
Agentes de IA podem ser (e estão sendo!) utilizados para automatizar ataques de phishing personalizados com engenharia social, identificar vulnerabilidades em sistemas (ex: exploração de APIs) e automatizar ataque a contas com força bruta ou scraping de dados. Por exemplo, em 2023, pesquisadores do MIT e Stanford demonstraram como agentes baseados em LLMs, como AutoGPT, podiam ser instruídos a encontrar exploits públicos e usá-los para “hackear” simulações de servidores com sucesso, sem intervenção humana direta.

3. Perda de controle (loop de ações)
Agentes de IA com recurso de planejamento podem entrar em ciclos de ações inúteis ou perigosas, consumindo recursos computacionais excessivos (chamadas de API, dados, tempo de CPU). Também podem interagir com sistemas externos de forma inapropriada. Por exemplo, usuários do AutoGPT relataram que agentes entravam em loops infinitos, gerando e excluindo arquivos repetidamente, ou tentando executar tarefas com comandos ilegais.

4. Risco de alucinações em tarefas críticas
Os modelos de linguagem (LLMs) utilizados por agentes (como o ChatGPT, o Claude ou o Gemini) podem gerar informações falsas com alta confiança. Se o agente estiver sendo utilizado em tarefas de diagnóstico médico, análises de risco ou suporte legal, isso pode levar a erros graves. Por exemplo, em testes com agentes autônomos como o LangChain + GPT-4 com memória de contexto já foram observados “delírios de tarefa”, em que o agente “imaginava” arquivos ou dados que nunca foram fornecidos, e agia com base neles.

5. Problemas de privacidade e segurança de dados
Agentes de IA muitas vezes precisam acessar múltiplas fontes de dados pessoais ou corporativos (é o caso do Microsoft Copilot por exemplo). Se não forem bem controlados, podem vazar informações confidenciais. Por exemplo, uma falha inicial no plugin de navegação do ChatGPT expôs acidentalmente trechos de histórico de outros usuários. Agentes conectados a múltiplas APIs (por exemplo, Gmail + Google Drive) tornam este risco ainda maior. O acesso cruzado a serviços em nuvem (Google, Dropbox) com APIs internas (corporativas) também pode resultar em vazamentos acidentais.

6. Risco de manipulação e engenharia de Prompt
Adversários podem manipular os Prompts ou o ambiente onde são executados para que agentes se comportem de forma maliciosa (ataques de Prompt Injection). Pesquisadores da empresa Robust Intelligence demonstraram que um agente de IA projetado para análise financeira pôde ser induzido a executar comandos SQL deletando tabelas após receber uma instrução camuflada num campo de texto (Prompt Injection via metadados).

7. Responsabilidade legal indefinida
Quando um agente autônomo toma uma decisão errada, quem é o responsável? O programador do agente? O fornecedor do modelo (como a OpenAI)? A organização que integrou o agente em seus sistemas? Esta falta de clareza sobre responsabilização (accountability) é particularmente sensível em contextos como saúde, direito e finanças.

No ambiente corporativo, um desafio importante é o uso não supervisionado (Shadow AI), Funcionários podem utilizar ferramentas como o ChatGPT sem aprovação corporativa, aumentando riscos de vazamento de dados. É importante educar as equipes sobre os limites da IA e os perigos de plugins não autorizados.

A evolução dos agentes de IA exige equilíbrio entre inovação e gestão de riscos. Organizações que priorizam segurança, transparência e governança ética estarão melhor posicionadas para aproveitar o potencial da IA com menores riscoss de confidencialidade, integridade ou conformidade.

Riscos positivos (oportunidades)

No outro lado da moeda, é importante considerar as inúmeras oportunidades e benefícios que esta tecnologia traz. Seguem apenas alguns exemplos, como contrapontos para riscos negativos associados com a própria IA.

O recado é que não se deve ser maniqueísta em relação à Inteligência Artificial, assim como em relação ao uso da eletricidade por exemplo - ambas as tecnologias podem ser utilizadas de forma adequada ou inadequada, em boa ou em má fé, e não são intrinsicamente "boas" ou "más". O importante é o uso que nós, humanos, fazemos delas.

A IA pode ser utilizada para espalhar fake news, manipulação e discursos de ódio e assim atacar pessoas e instituições para erodir as bases da democracia, mas também pode facilitar e ampliar a participação popular em debates, possibilitando maior representatividade nas deliberações para grupos que em geral são excluídos, e desta forma contribuir para o fortalecimento dos sistemas democráticos. Além disso, a própria IA pode ser utiizada para detectar fake news e deep fakes e alertar ou conter a disseminação de notícias falsas impulsionadas em redes sociais, além de outros conteúdos inapropriados (por exemplo, pornografia ilegal).
A IA pode produzir discriminação em processos de seleção de pessoal por conta de vieses nos algoritmos, mas também pode apoiar de formas positivas os processos de contratação nas empresas.
A IA pode agravar desigualdades econômicas, mas também pode ser utilizada para aumentar a produtividade na indústria, no agronegócio, nos serviços públicos e em diversos outros domínios, e assim contribuir para a melhoria da economia.
A IA pode ser utilizada para realizar ataques cibernéticos, mas também pode ajudar na defesa cibernética (cybersecurity) de organizações e países.
A IA pode gerar impactos ambientais (associados por exemplo ao consumo de água (para restriamento) e de energia nos data centers que hospedam os recursos computacionais utilizados para treinar grandes modelos de linguagem e hospedam sistemas de IA), mas por outro lado a inteligência artificial também pode ser utilizada em muitos projetos que contribuem para a sustentabilidade, em favor da natureza. Além disso a IA pode ajudar na prevenção de desastres climáticos, na otimização da gestão de resídios e reciclagem, na detecção de desmatamento ilegal através de monitoração por satélites e em muitos outros contextos.
A IA pode gerar deslocamento de mão-de-obra e desemprego, mas em muitos casos os sistemas de IA vão complementar (e não substituir) o trabalho humano atuando como auxiliares (como já se vê em escala global com o uso de assistentes como o ChatGPT e o Copilot), aumentando sua eficiência e produtividade. Além disso, novas profissões devem surgir e outras terão grande demanda (por exemplo, pilotos de drone, especialistas em robótica, cientistas de dados, desenvolvedores de modelos de IA preditiva e generativa, especialistas em realidade aumentada etc.), embora em muitos destes casos o nível de qualificação requerido tenda a ser elevado.