Márcio Galvão - Research
Princípios
Princípios e diretrizes para uma IA ética e responsável.
São muitas as preocupações que devem ser consideradas pelas comunidades que produzem e consomem soluções de IA:
-
Questões envolvendo a confiabilidade e uso seguro das soluções.
-
Questões relativas à privacidade, proteção de dados pessoais e segurança da informação.
-
Preocupações com a inclusividade (garantia de acesso de todos à solução e seus benefícios, sem discriminações injustificáveis).
-
Garantias de que a solução – ainda que seja adequadamente inclusiva - opere com justiça e igualdade, sem discriminações contra subgrupos ou pessoas.
-
A necessidade de que as soluções de IA tenham transparência, evitando soluções opacas tipo “caixa preta” cuja lógica de operação não seja compreensível pelas partes afetadas.
-
A necessidade de responsabilização (accountability) de pessoas físicas ou jurídicas, públicas ou privadas por danos causados que sejam correlacionáveis ao uso de determinada solução de IA.
Para lidar com estas preocupações, é conveniente a proposição de princípios para o uso ético e confiável das soluções de IA. Não há ainda consenso global sobre quais seriam tais princípios, de modo que por conveniência vamos nos alinhar com a principiologia sugerida pela Microsoft, apenas como uma referência - sem que tal escolha signifique que "estes são os únicos ou os melhores princípios a adotar" (há muitas outras organizações como o Google e a IBM e também instituições como o IEEE, a OECD e a UNESCO que sugerem princípios para a utilização ética e responsável da IA).
Princípio 1 - Confiabilidade
A confiabilidade e a segurança são pressupostos fundamentais para a inteligência artificial. Obviamente a expectativa é que estas aplicações devem ser robustas e confiáveis, dado que, por exemplo, se forem vulneráveis a ataques de hackers as consequências podem ser severas (para pessoas ou mesmo nações). Um desafio óbvio para a confiabilidade é o fato de que as soluções de IA são passíveis de falhas, que em certos sistemas (carros autônomos, diagnósticos médicos, armas autônomas etc.) podem ter impacto considerável.
Por exemplo, em 2018 a IBM teve problemas quando utilizou sua aplicação Watson para fazer recomendações médicas baseadas em algoritmos de inteligência artificial para pacientes com câncer. Os médicos entenderam que o algoritmo ainda não estava "treinado o suficiente" e interromperam o projeto, pois algumas das recomendações feitas pelo sistema podiam ser fatais para os pacientes (Crédito da Imagem: Nextgov).
Também em 2018, o The New York Times reportou que um automóvel autônomo da Uber atropelou e matou uma pedestre nos Estados Unidos. Havia uma motorista, mas o veículo estava dirigindo a si próprio no momento do atropelamento. Eventos como este alimentam a desconfiança e a discussão sobre a confiabilidade dos modelos que estão por trás destas soluções. Este incidente também deu início a um debate ético sobre quem seria o responsável pelas mortes causadas por veículos autônomos (com ou sem motorista). Esta discussão nos alerta para a falta de marcos regulatórios adequados - o sistema jurídico ainda não está adequadamente preparado para lidar com os desafios que resultarão do uso mais intenso da inteligência artificial (Crédito da Imagem: azcentral).
O mesmo ocorre com potenciais defeitos ou comportamentos não previstos oriundos de erros honestos acidentais de modelagem e bugs no software por trás das aplicações de IA. Além dos erros não intencionais, a confiabilidade de aplicações de IA também pode ser afetada por ataques de hackers e outros grupos (por exemplo, colaboradores insatisfeitos).
Princípio 2 - Privacidade e segurança
Outras preocupações no uso ético da IA dizem respeito à privacidade. A China já foi acusada de uso de câmeras de segurança e algoritmos de reconhecimento facial para identificar e oprimir pessoas de um grupos étnico específico (os Uyghurs, em maioria muçulmanos). Crédito da Imagem: xpression of Concern: Facial feature discovery for ethnicity recognition
A vigilância em massa e uso de imagens de rostos de pessoas coletadas sem autorização pode ser interpretado em países Europeus como uma violação à General Data Protection Regulation (GDPR), ou violação à Lei 13.709/2018 (LGPD - Lei Geral de Proteção de Dados Pessoais) no caso do Brasil.
Por exemplo, em ação civil pública ajuizada pelo IDEC (Instituto Brasileiro de Defesa do Consumidor) e a Defensoria Pública em 2021 a empresa concessionária da linha 4 do metrô de São Paulo foi condenada a pagar indenização de R$ 100 mil por danos morais coletivos por estar utilizando câmeras nas estações que registravam as imagens dos rostos dos usuários sem consentimento. Nos EUA, o Congresso também está regulamentando a questão do reconhecimento facial. Em certos Estados americanos a vigilância indiscriminada em massa por autoridades públicas é considerada uma violação das liberdades civis.
Além da privacidade, a proteção dos dados e modelos de IA contra alterações, acessos indevidos, negação de serviços e outros ataques cibernéticos também é um desafio importante. A segurança da informação e a privacidade devem ser levadas em conta em todo o ciclo de vida das soluções de IA – projeto, preparação de dados, treinamento do modelo, testes e implementação, dado que estas soluções podem ser alvo de ataques adversariais e outras ameaças. É importante que os dados utilizados para o treinamento e testes (avaliação) de modelos de AI sejam protegidos contra acessos indevidos. Informações pessoais também devem ser protegidas (com criptografia, anonimização ou mesmo privacidade diferencial,
Princípio 3 - Inclusividade
Pode-se também esperar que as aplicações de IA tratem a inclusividade de forma apropriada. Isto significa que estas aplicações devem ser acessíveis e produzir benefícios para todos os membros da sociedade, sem deixar de fora grupos de pessoas por conta de seu gênero, orientação sexual, idade, origem, cultura, capacidades físicas e mentais ou outros fatores que possam dificultar o acesso à solução. A ideia é que desenvolvedores sigam princípios de design inclusivo para que as aplicações de IA possam ser mais facilmente utilizadas por deficientes, pessoas de idade, minorias etc.
Princípio 4 - Não discriminação
Além de serem inclusivas, as aplicações de IA precisam ser justas com todos os que foram incluídos. Ou seja, devem tratar todas as pessoas igualmente, sem preconceitos que possam privilegiar (ou prejudicar) algum grupo concedendo vantagem (ou desvantagem) injusta sobre os demais. Por exemplo, seria uma violação grave deste princípio se uma aplicação de IA que apóia a análise de pedidos de crédito em um banco “desqualificasse” alguns solicitantes apenas em função de sua orientação sexual ou religião, ou sua filiação partidária.
As falhas ao atender o pressuposto da justiça ou igualdade trazem muitos desafios éticos. Vem à mente o algoritmo desenvolvido pela Amazon para ajudar o RH na contratação de novos colaboradores, que era "discriminatório contra mulheres“. Foi descoberto que eram rejeitados currículos perfeitamente aceitáveis (apenas de mulheres), com base em certas características (por exemplo, hobbies das pretendentes). É grande portanto a preocupação com a discriminação por inteligência artificial em processos seletivos.
Um outro exemplo onde o tratamento discriminatório de determinados grupos sociais pode trazer impactos importantes é no policiamento preditivo. O uso de algoritmos com vieses (bias) já foi detectado em aplicações desta natureza.
No exemplo da figura, Brisha Borden (que é negra) foi considerada por um destes algoritmos como tendo "alto risco (8) de voltar a cometer um crime", mas nunca reincidiu, enquanto Vernon Prater (que é branco) foi considerado como tendo baixo risco (3) de voltar a cometer crimes, mas reincidiu e foi preso novamente). Uma análise da Propublica sugeriu que algoritmos utilizados para previsão de "futuros criminosos" são discriminatórios contra negros. Crédito de Imagem: Machine Bias - ProPublica
O princípio da Justiça e Igualdade pode orientar a criação de diretrizes e boas práticas e mesmo requisitos legais para combater a discriminação algorítmica de modo geral. Por exemplo, para reduzir o risco de preconceitos em uma aplicação de IA, seu fornecedor pode ser incentivado a tornar disponível uma API (Application Programming Interface) ou outra funcionalidade técnica que permita a realização de testes independentes (pela comunidade fora da organização desenvolvedora) visando identificar diferenças importantes de performance entre subpopulações distintas. O fornecedor também pode ser incentivado (pela lei ou pelo mercado) a disponibilizar um canal para o registro de reclamações ou relatos de preconceitos, violações de privacidade ou outros problemas que afetem os consumidores durante a utilização do serviço.
Princípio 5 - Transparência
A transparência também é requisito fundamental para nortear o desenvolvimento de aplicações de IA. Tais aplicações podem, por exemplo, ser utilizadas para informar decisões por parte de um banco sobre quais pessoas devem receber empréstimos com juros menores (e quais não devem). Isso traz impactos práticos na vida das pessoas, e portanto é justificável que elas queiram compreender quais foram os critérios utilizados, ou como estas decisões foram tomadas.
Naturalmente será mais difícil para as pessoas confiarem em algoritmos se eles funcionarem como “caixas pretas” que fazem recomendações que elas não conseguem compreender como foram feitas, ou que parecem contrariar o senso comum. Vale ressaltar que em muitos cenários os profissionais de diversos domínios terão que confiar nos algoritmos acima de suas próprias intuições, como o piloto de avião que precisa poder confiar no piloto automático.
O requisito da transparência é diretamente relacionado com a interpretabilidade e a explanabilidade dos modelos. O problema é que os algoritmos utilizados nas aplicações de IA em muitos casos são desenvolvidos visando-se a performance functional. Isso leva à adoção de funções matemáticas que são otimizadas para fornecer a melhor resposta possível para a questão formulada (por exemplo, reconhecer objetos em imagens ou classificar textos), o que é obtido através de um ajuste fino de parâmetros, em um processo que na maior parte dos casos não fornece explicações sobre como tais aproximações e otimizações foram feitas, apesar de existirem diversas técnicas e ferramentas que os desenvolvedores podem empregar para conferir maior interpretabilidade em seus modelos de machine learning, como o SHAP (SHapley Additive exPlanations). Alguns avanços têm sido obtidos recentemente, mas este artigo da Antrophic dá uma noção da complexidade da tarefa de "compreender o que acontece no interior de um grande modelo de linguagem".
Este é um aspecto crítico para que cientistas de dados, desenvolvedores, analistas, auditores, gestores de compliance e executivos que têm responsabilidade sobre as soluções de AI possam entender o racional por trás do modelo (abrir a “caixa preta”), e atestar sua conformidade (compliance) com critérios e requisitos definidos internamente em políticas corporativas, e externamente em padrões da indústria ou regulamentações legais.
Princípio 6 - Responsabilização
Finalmente, há também a questão da responsabilização (Accountability). Há o desafio de tornar claro quem será o responsável por danos importantes causados por aplicações de IA contra pessoas ou grupos, mas isso não é tão simples quanto pode parecer. Aqui, talvez a experiência com a LGPD possa ajudar. Lá foi criada formalmente a figura do “Encarregado de dados pessoais” como um ponto focal que deve ser indicado pela organização e tem responsabilidades bem definidas.
Enfim, esta é mais uma questão complexa, mas que precisa fazer parte do “pacote de princípios” recomendados para nortear o desenvolvimento de aplicações de IA. O que se espera é que os gestores, projetistas e desenvolvedores destas aplicações não atuem com “carta branca” para construírem seus modelos sem se preocupar com as consequências.
Referências sugeridas: Princípios para uma IA Ética e Responsável
Veja também