Filosofia e Inteligência Artificial
IA e Cybersecurity
-
O importante papel da inteligência artificial no ATAQUE e na DEFESA de sistemas críticos.
-
Ataques nos sistemas que usam IA.
As 3 dimensões
A relação entre IA e cibersegurança pode ser abordada em três dimensões diferentes, cada uma com suas próprias implicações estratégicas e técnicas.
-
A própria IA (modelos e sistemas de IA) pode ser alvo de ataques adversariais. Este é um problema de segurança.
-
A IA pode ser utilizada para apoiar ATAQUES cibernéticos. Este é um exemplo de uso malicioso da IA (Misuse) por humanos.
-
A IA pode ser utilizada para ajudar a DEFESA cibernética. Este é um benefício do uso da IA.
Imagem gerada pelo autor com apoio de IA.
Crédito da imagem: ETSI GR SAI 001 - Securing Artificial Intelligence (SAI); AI Threat Ontology
IA COMO ALVO
O primeiro contexto é a proteção das próprias aplicações de IA contra ataques. Há uma variedade de ataques que podem ser direcionados para as infraestruturas de IA e suas aplicações, alguns visando os dados, outros visando os algoritmos e modelos, outros ainda a infraestrutura em si e seus usuários.
Modelos de IA e sistemas que consomem estes modelos podem ser explorados ou comprometidos de diversas formas, como discutido em detalhes nesta página. Seguem alguns exemplos.
-
Adversarial examples: inputs cuidadosamente manipulados que levam o modelo a erro.
-
Prompt injection: instruções ocultas nos dados que desviam a saída de LLMs.
-
Model stealing: extração dos pesos ou da lógica de um modelo via consultas automatizadas.
Data poisoning: injeção de dados maliciosos no treinamento para enviesar a IA. -
Model inversion: inferência de dados sensíveis a partir das respostas do modelo.
-
Exfiltração de pesos (weights extraction) ou fine-tuning malicioso para criar variantes nocivas.
-
Ataques contra Agentes de IA.
-
DoS/DDoS contra sistemas de IA.
As consequências podem ser a perda de integridade, confidencialidade e/ou disponibilidade do modelo. Assim, este é o sentido que normalmente é associado ao Princípio da Privacidade e Segurança, que visa assegurar que as aplicações de IA sejam seguras por design, respeitando os requisitos de privacidade e proteção de dados.
IA NO ATAQUE
O segundo, também muito importante, é o uso malicioso de IA para realizar ataques de diferentes tipos (em pessoas, organizações, ou mesmo em nações inteiras).
Da mesma forma que ajuda a defender, a IA pode:
-
Aprimorar engenharia social: criação automática de phishing altamente personalizado (deepfake de voz, texto convincente, vídeos falsos).
-
Automatizar exploração: identificação e uso de vulnerabilidades em larga escala.
-
Gerar código malicioso: malware adaptativo que se modifica para evitar detecção.
-
Apoiar ataques de força bruta inteligentes: priorização de credenciais mais prováveis usando padrões de uso.
-
Enganar (bypass) filtros: geração de textos ou arquivos que evitem detecção por antivírus e filtros de spam.
Neste contexto, a IA reduz a barreira técnica para que agentes humanos maliciosos executem ataques cibernéticos. Os riscos de ataques visando a segurança da informação e infraestruturas críticas (plantas de energia, telecomunicações, sistemas de controle de tráfego aéreo etc.) são reais e preocupam até mesmo as maiores potências do mundo.
IA NA DEFESA
O terceiro contexto é o uso de IA para proteção e defesa (de corporações, países etc.), ou seja, IA como uma ferramenta adicional e poderosa para a identificação de padrões de ataques cibernéticos e outras medidas similares.
Resumidamente, a IA pode ser usada para:
-
Detecção e resposta a ameaças: análise de grandes volumes de logs e tráfego de rede para identificar anomalias, malware e comportamentos suspeitos em tempo real (SIEMs com machine learning, como o Azure Sentinel da Microsoft e outros).
-
Automação de resposta: A IA pode fazer o isolamento automático de máquinas comprometidas, bloqueio de endereços IP maliciosos ou aplicação dinâmica de políticas.
-
Predição de ataques: modelos que reconhecem padrões que precedem um ataque, antecipando movimentos de atacantes.
-
Detecção de vulnerabilidades zero day e segurança de código e aplicações: A IA já está sendo utilizada para análise automatizada de vulnerabilidades em pipelines DevSecOps.
-
Filtragem e sanitização de entradas: proteção contra Prompt Injection e manipulação de LLMs. Neste caso, a própria IA é utilizada para defender outros sistemas de IA de ataques adversariais. Modelos auxiliares podem ser usados como camada defensiva contra manipulação de LLMs, atuando como Firewall semântico — filtrando, reescrevendo ou classificando entradas (Prompts) antes que cheguem ao modelo principal.
Um benefício importante é a velocidade e a escala, que são muito maiores do que a detecção manual permite.
Referências selecionadas: Ferramentas para desenvolvedores
MITRE ATLAS™
MITRE ATLAS™ (Adversarial Threat Landscape for Artificial-Intelligence Systems), is a knowledge base of adversary tactics, techniques, and case studies for machine learning (ML) systems
MITRE ATLAS Code
Microsoft Counterfit
Microsoft Counterfit GitHub Code
Counterfit GitHub repo - a CLI that provides a generic automation layer for assessing the security of ML models
IBM
Kaspersky
Adversarial Robustness Toolbox (ART) v1.11
Adversarial Robustness Toolbox (ART) is a Python library for Machine Learning Security. ART is hosted by the Linux Foundation AI & Data Foundation (LF AI & Data). ART provides tools that enable developers and researchers to defend and evaluate Machine Learning models and applications against the adversarial threats of Evasion, Poisoning, Extraction, and Inference.
TextAttack
TextAttack is a Python framework for adversarial attacks, data augmentation, and model training in NLP. Documentation is available.
Controles do CIS para Cybersecurity
White Paper: Segurança Cibernética com os Controles do CIS (Center for Internet Security) versão 8
Márcio Galvão
Este artigo discute alguns dos complexos desafios enfrentados pelos profissionais responsáveis pela segurança cibernética tanto no âmbito corporativo privado quanto no setor público, e faz uma apresentação resumida dos Controles Críticos de Segurança (Critical Security Controls) propostos pelo CIS (The Center for Internet Security). O CIS é uma organização sem fins lucrativos cuja missão é identificar, desenvolver, validar e promover boas práticas em cibersegurança, além de desenvolver soluções que ajudem tanto na prevenção quanto na resposta rápida aos incidentes que eventualmente ocorram. Os Controles Críticos de Segurança do CIS são um grupo de ações prioritárias de cibersegurança com recomendações para proteção contra os ataques cibernéticos mais comuns da atualidade. Não são controles específicos para proteger sistemas de IA, mas se não estiverem implementados certamente será mais fácil executar ataques adversariais e outros contra tais sistemas. É o básico.
Veja também