Sistemas de IA com Risco Inaceitável 

Sistemas de IA com risco inaceitável são considerados uma ameaça para pessoas e são proibidos na UE. Estes sistemas estão definidos no Artigo 5˚, Práticas de IA proibidas, e incluem por exemplo:

​

• Sistemas capazes de fazer manipulação cognitiva ou comportamental de pessoas ou grupos vulneráveis específicos, por exemplo, brinquedos ativados por voz que possam encorajar comportamentos perigosos em ceianças.

• Sistemas de IA que explorem vulnerabilidades de pessoas específicas ou grupos, devidas à sua idade, incapacidade ou situação socioeconómica específica, visando distorcer seu comportamento de modo que possa causar danos.

• Sistemas de IA que façam classificação social (social scoring) de pessoas com base em seu comportamento, status socioeconômico ou características pessoais, de modo que tal clasificação conduza a tratamento prejudicial ou desfavorável de certas pessoas ou grupos de pessoas.

• Sistemas de IA que façam perfis de risco para infração penal, ou a avaliação de riscos de pessoas a fim de prever o risco de uma pessoa cometer uma infração penal com base exclusivamente na definição de perfis pessoais ou na avaliação dos traços de personalidade de uma pessoa. Por exemplo, sistemas de IA para suporte de policiamento preditivo quando baseado apenas no perfil de uma pessoa em função de suas características. 

• Sistemas de IA que criam ou expandam bases de dados de reconhecimento facial através da recolha aleatória de imagens faciais a partir da Internet ou de imagens de televisão em circuito fechado (CCTV).

• Sistemas de IA capazes de reconhecer emoções no ambiente de trabalho e em instituições de ensino, exceto por razões médicas ou de segurança. 

• Sistemas de IA que façam categorização biométrica que classifiquem individualmente as pessoas com base nos seus dados biométricos para deduzir ou inferir a sua raça, opiniões políticas, filiação sindical, convicções religiosas ou filosóficas, vida sexual ou orientação sexual (observar que há casos legais que suportam o uso de biometria).

• Sistemas de IA que façam reconhecimento facial em massa, ou istemas de identificação biométrica à distância em «tempo real» em espaços públicos, a menos e na medida em que essa utilização seja estritamente necessária para finalidades específicas previstas em lei.

​
Sistemas de IA com Risco Elevado

Enquanto os sistemas de IA de Risco Inaceitável são simplesmente banidos da UE, os sistemas de Risco Elevado são permitidos, mas devem estar em conformidade com uma série de requisitos. A primeira questão que se coloca é de como classificar um Sistema de IA como sendo de Risco Elevado. Observar que esta classificação deve ser feita pelos próprios fornecedores de sistemas de IA. Basicamente, um Sistema de IA deve ser considerado de Risco Elevado se afetar negativamente a saúde, segurança ou direitos humanos fundamentais, o que inclui vários sistemas que se enquadram nas leis já existentes de segurança de produtos na União Europeia, e também uma variedade de sistemas que se enquadram em domínios específicos (descritos no Anexo III do Ato da IA).

 

Os domínios ou categorias que podem conter sistemas de IA de Risco Elevado - que devem obrigatoriamente ter sua conformidade com o Ato da IA e outras leis aplicáveis - são:

​

• DOMÍNIO 1 – Dados Biométricos (quando permitidos, isto é, excluindo sistemas de Risco Inaceitável)

• DOMÍNIO 2 – Infraestruturas críticas

• DOMÍNIO 3 – Educação e formação profissional

• DOMÍNIO 4 – Emprego, gestão de trabalhadores e acesso ao emprego por conta própria

• DOMÍNIO 5 – Acesso a serviços públicos ou privados essenciais

• DOMÍNIO 6 – Aplicação da lei

• DOMÍNIO 7 – Gestão da migração, do asilo e do controle das fronteiras

• DOMÍNIO 8 – Administração da justiça e processos democráticos
   

​Observar que o fato de um sistema de IA se enquadrar nestes domínios ou categorias não significa que deve ser necessariamente considerado de Risco Elevado – a avaliação do contexto em cada caso é importante. Por exemplo, sistemas de avaliação de crédito (Domínio 5) podem ou não ser classificados de Risco Elevado. Da mesma forma, um sistema de IA que tenha por finalidade apenas prestar apoio puramente administrativo e auxiliar no âmbito da justiça (Domínio 8), como por exemplo, um sistema para anonimização de decisões judiciais, não deve ser considerado de Risco Elevado. 

​

Registro em Banco de Dados

Os sistemas de IA classificados como de Risco Elevado pelos critérios do Ato da IA da União Europeia devem ser registrados em um banco de dados específico antes de entrarem em operação. Este banco de dados será gerido pela Comissão Europeia e servirá como um repositório centralizado para garantir que tais sistemas sejam monitorados e regulamentados de maneira adequada. A responsabilidade de registrar os sistemas de IA de Risco Elevado recai sobre os provedores desses sistemas, que devem garantir que as informações necessárias estejam disponíveis e atualizadas nesse banco de dados. 

​​

Gestão de Riscos de sistemas de IA com Risco Elevado

Um ponto importante é que a classificação de sistemas de IA como sendo de Risco Elevado deve ser feita antes que estes entrem no mercado. Uma vez classificado como sendo de Risco Elevado o sistema de IA deverá atender diversos requisitos obrigatórios durante todo o seu ciclo de vida.

 

Deve haver um processo contínuo de avaliação dos sistemas de Risco Elevado, através de um processo estruturado de Gestão de Riscos que permita a identificação, avaliação e atenuação dos riscos que possam afetar a saúde, a segurança e/ou direitos fundamentais das pessoas.  E não é qualquer sistema de gestão - diz o Ato da IA que "O sistema de gestão de riscos deverá adotar as medidas de gestão dos riscos mais adequadas à luz do estado da arte no domínio da IA. Ao identificar as medidas de gestão dos riscos mais adequadas, o prestador deverá documentar e explicar as escolhas feitas e, se for caso disso, envolver peritos e partes interessadas externas". 

 

Além da Gestão de Riscos, há diversos requisitos para os quais os sistemas de IA de Risco Elevdo devem demonstrar conformidade:

• Gestão de riscos – Deve existir um sistema de Gestão de Riscos para IA capaz de identificar e mitigar continuamente os riscos durante todo o ciclo de vida do sistema de IA. 

• Governança de Dados: Devem ser implementadas práticas para governança e gestão de qualidade de dados, para assegurar a qualidade, integridade, relevância e representatividade dos dados utilizados nos sistema de IA. 

• Documentação técnica e manutenção de registros (logs automáticos) para demonstrar conformidade e facilitar auditorias

• Transparência

• Supervisão humana

• Confiabilidade (solidez, exatidão)

• Cybersegurança

​​

Relatório FRIA

De acordo com o Ato da IA, antes de implantar um sistema de IA de Alto Risco, especialmente no contexto de serviços públicos, as entidades responsáveis devem realizar uma Avaliação de Impacto sobre os Direitos Fundamentais (Fundamental Rights Impact Assessment - FRIA). Esta avaliação abrange a geração de um conjunto de Relatórios para avaliação do impacto potencial do sistema de IA sobre os direitos fundamentais das pessoas, incluindo privacidade, não discriminação, liberdade de expressão e outros. Esses relatórios são cruciais para garantir que a implantação de sistemas de IA de Risco Elevado em serviços públicos não infrinja os direitos fundamentais dos indivíduos e que haja responsabilidade e transparência ao longo de todo o processo.

​

Sistemas de IA com Risco Limitado

Sistemas de IA de propósito geral, como os assistentes para IA Generativa como o ChatGPT que servem para tarefas genéricas, não serão classificados por padrão como sendo de Risco Elevado, mas podem ser de Risco Elevado, e terão que cumprir vários requisitos relacionados com a Transparência. Por exemplo, para evitar o risco de DeepFakes tais sistemas deverão notificar os usuários de que certos conteúdos (como áudios, imagens e vídeos) foram gerados por IA e ter proteções adequadas para impedir que o sistema gere como saída conteúdos ilegais. Tais sistmas deverão apresentar instruções de uso claras, e os usuários devem ser informados de que estão interagindo com um sistema de IA (um bot, por exemplo).  Além disso, qualquer incidente mais sério com algum destes sistemas deverá ser obrigatoriamente reportado para a Comissão Européia através de canais apropriados, 

​

Sistemas de IA com Risco Mínimo

Além dos sistemas de IA de Risco Inaceitável (proibidos na UE) e os sistemas classificados como de Risco Elevado, há naturalmente uma enorme quantidade de sistemas de Risco Mínimo, que apresentam um risco muito baixo para a saúde, segurança ou os direitos fundamentais das pessoas. Esses sistemas estariam isentos de regulamentação rigorosa. Seguem alguns exemplos.

• Filtros de Spam de E-mail: Sistemas que detectam e desviam automaticamente e-mails de spam ou phishing para uma pasta separada, protegendo os usuários de receberem comunicações indesejadas.

• Assistentes Virtuais Pessoais: Ferramentas como Alexa, Siri, ou Google Assistant, que respondem a comandos de voz para realizar tarefas simples, como configurar alarmes ou tocar música.

• Sistemas de Recomendação de Conteúdo: Algoritmos usados por plataformas de streaming ou e-commerce para sugerir músicas, filmes, ou produtos com base no histórico de preferências do usuário.

• Tradução Automática: Ferramentas que utilizam IA para traduzir textos entre diferentes idiomas, como o Google Tradutor, que têm impacto limitado sobre os direitos fundamentais.

• Processamento de Texto e Verificação Ortográfica: Sistemas de IA que auxiliam na redação de documentos, sugerindo correções gramaticais ou alternativas de palavras.

• Aplicativos de Previsão Meteorológica: Sistemas que utilizam IA para prever condições climáticas com base em dados históricos e em tempo real, sem impacto direto sobre a segurança ou os direitos das pessoas.

• Videogames: Jogos de computador com IA que não ofereçam riscos aos direitos fundamentais e segurança.

• Esses exemplos mostram aplicações de IA que apresentam um risco muito baixo e, portanto, estariam isentas de regulamentação sob o IA Act. Porém, devem estar em conformidade com outras leis em vigor (por exemplo, a GDPR). 
   

Princípios para uma IA Ética e Responsável​

O Ato da IA recomenda que embora não sejam requisitos legais, os 7 princípios para uma IA ética e responsável listados nas Diretrizes de Ética de 2019 para IA Confiável (2019 Ethics Guidelines for Trustworthy AI) devem ser observados.
 

Os sete princípios incluem:

1. Agência e supervisão humana;

2. Robustez técnica e segurança;

3. Privacidade e governança de dados;

4. Transparência;

5. Diversidade, não discriminação e equidade;

6. Bem-estar social e ambiental;

7. Prestação de contas.

 

Sem prejuízo dos requisitos legalmente vinculativos pelo Ato da IA e de qualquer outra legislação aplicável, essas Diretrizes contribuem para o design de uma Inteligência Artificial coerente, confiável e centrada no ser humano, em linha com os valores sobre os quais a União Europeia foi fundada. ​

​

Penalidades

As penalidades por descumprimento de requisitos do Ato da IA (definidas nos Artigo 71 e 72a) são pesadas, e em casos mais graves (por exemplo, colocar em produção sistemas de IA de Risco Inaceitável, proibidos na União Europeia) podem alcançar milhões de Euros. Além do impacto financeiro e do dano à reputação, poderá haver impactos importantes nos negócios da organização em caso de não conformidade.