O requisito da transparência é diretamente relacionado com a interpretabilidade e a explanabilidade dos modelos. Em muitos artigos estes dois termos são utilizados como sinônimos, mas tecnicamente os conceitos são diferentes:

 

• A interpretabilidade (Interpretability) tem relação com a facilidade de se estabelecer uma relação de causa e efeito nas predições, ou seja, a capacidade de predizer o que vai acontecer em função dos dados e parâmetros fornecidos como entradas (inputs). Maior interpretabilidade requer o entendimento do funcionamento dos mecanismos internos e da lógica do modelo, ou ao menos das partes do modelo que são relevantes para as predições. Como veremos, isso pode ser fácil de fazer para determinados algoritmos e pode ser bastante difícil em modelos mais complexos.

• ​A explanabilidade (Explainability) prioriza a explicação dos resultados ou decisões do modelo para pessoas comuns (não especialistas).  Resumidamente, se o modelo em si é uma função muito complexa (uma rede neural), tenta-se aproximar esta função por outra mais simples (usar um outro modelo para tentar "explicar" as decisões do complexo, ou ao menos indicar quais features (variáveis) foram mais relevantes na tomada de decisões). Há diversas técnicas e ferramentas que os desenvolvedores podem empregar para conferir maior explanabilidade em seus modelos de Machine Learning, como LIME, SHAP e PFI, e esta página traz algumas referências.

​

Alguns tipos de algoritmos utilizados para treinar modelos em Machine Learning são bem interpretáveis. De modo geral, este é o caso das técnicas de Regressão Linear, Regressão Logística e Árvore de Decisão por exemplo. Porém, mesmo no caso mais trivial da Regressão Linear (onde a boa interpretabilidade decorre da linearidade do modelo), a interpretabilidade pode ser reduzida com o aumento do número de features (maior dimensionalidade). Da mesma forma, Árvores de Decisão pequenas são em geral interpretáveis, pois sua lógica pode ser seguida do início ao final. Além destes exemplos, há outros métodos que são considerados interpretáveis, como K-Nearest Neighbour (KNN) e Case-based Reasoning (CBR).

​

Por outro lado, há outros algoritmos e técnicas que são bastante opacos ("caixas pretas") e cuja interpretabilidade é muito baixa. Por exemplo:

• Redes neurais (tanto recorrentes quanto convolucionais, ou com arquitetura Transformer, utilizada no treinamento de LLMs). 

• Métodos de ensemble (como a técnica de Random Forest, que combina os resultados de diversos modelos).

• Modelos treinados com algoritmos do tipo Support Vector Machines (SVM), um tipo de classificador que utiliza uma função especial de mapeamento para construir um divisor entre dois conjuntos de features em um espaço multidimensional. 

 

No caso destes algoritmos mais opacos, o que ocorre é que eles são desenvolvidos visando-se a performance functional. Isso leva à adoção de funções matemáticas que são otimizadas para fornecer a melhor resposta possível para a questão formulada (por exemplo, reconhecer objetos em imagens ou classificar textos), o que é obtido através de um ajuste fino de parâmetros, em um processo que na maior parte dos casos não fornece explicações sobre como tais aproximações e otimizações foram feitas.  Assim, em certos casos (como em aplicações de Deep Learning que utilizam redes neurais complexas) poderá haver um trade-off maior entre a interpretabilidade e a performance. Aqui também não há lanche grátis - a maior interpretabilidade pode cobrar um preço em desempenho, como ilustrado na figura seguinte.