Márcio Galvão - Research
Cybersecurity
-
O importante papel da inteligência artificial no ATAQUE e na DEFESA de sistemas críticos.
-
Ataques nos sistemas que usam IA.
Além da privacidade, a proteção dos dados (e modelos) utilizados nas soluções de IA contra alterações ou acessos indevidos também é um desafio importante. A segurança da informação e privacidade devem ser levadas em conta em todo o ciclo de vida das soluções de IA – projeto, preparação de dados, treinamento do modelo, testes e implementação, e a infraestrutura que hospeda a solução também precisa ser protegida.
Ao se falar em "cybersecurity e IA", há três contextos diferentes, o que pode causar alguma confusão. Em favor da clareza, vamos diferenciá-los.
IA NA DEFESA
-
O primeiro contexto é o uso de IA para proteção e defesa (de corporações, países etc.), ou seja, IA como uma ferramenta adicional e poderosa para a identificação de padrões de ataques cibernéticos e outras medidas similares.
IA NO ATAQUE
-
O segundo, também muito importante, é o uso malicioso de IA para realizar ataques de diferentes tipos (em pessoas, organizações, ou mesmo em nações inteiras). Os riscos de se utilizar AI para ataques visando a segurança da informação e infraestruturas críticas (plantas de energia, telecomunicações, sistemas de controle de tráfego aéreo etc.) são reais e preocupam até mesmo as maiores potências do mundo. Um relatório da NSCAI (National Security Commission on Artificial Intelligence) mostra grande preocupação com a segurança nacional e traz uma mensagem desconfortável para os americanos: “Os Estados Unidos não estão preparados para se defender ou competir (com outras potências como a China) no contexto da AI”.
IA COMO ALVO
-
O terceiro contexto é a proteção das próprias aplicações de IA contra ataques. Há uma variedade de ataques que podem ser direcionados para as infraestruturas de IA e suas aplicações, alguns visando os dados, outros visando os algoritmos e modelos, outros ainda a infraestrutura em si e seus usuários. Este é o sentido normalmente associado ao Princípio da Privacidade e Segurança, que visa assegurar que as aplicações de IA sejam seguras por design, respeitando os requisitos de privacidade e proteção de dados por exemplo.
Crédito da imagem: ETSI GR SAI 001 - Securing Artificial Intelligence (SAI); AI Threat Ontology
Referências selecionadas: Ferramentas para desenvolvedores
MITRE ATLAS™
MITRE ATLAS™ (Adversarial Threat Landscape for Artificial-Intelligence Systems), is a knowledge base of adversary tactics, techniques, and case studies for machine learning (ML) systems
MITRE ATLAS Code
Microsoft Counterfit
Microsoft Counterfit GitHub Code
Counterfit GitHub repo - a CLI that provides a generic automation layer for assessing the security of ML models
IBM
Kaspersky
Adversarial Robustness Toolbox (ART) v1.11
Adversarial Robustness Toolbox (ART) is a Python library for Machine Learning Security. ART is hosted by the Linux Foundation AI & Data Foundation (LF AI & Data). ART provides tools that enable developers and researchers to defend and evaluate Machine Learning models and applications against the adversarial threats of Evasion, Poisoning, Extraction, and Inference.
TextAttack
TextAttack is a Python framework for adversarial attacks, data augmentation, and model training in NLP. Documentation is available.
Veja também