Interpretabilidade mecanicista é um subcampo da pesquisa em interpretabilidade de IA que busca fazer a engenharia reversa do funcionamento interno de modelos de Machine Learning — especialmente redes neurais complexas — em componentes compreensíveis por humanos. 

Ela tenta responder perguntas como:

• "O que exatamente esse modelo está fazendo por dentro?"

• "Quais componentes internos (neurônios, cabeças de atenção, camadas) são responsáveis por certos resultados ou comportamentos?"

• "Podemos expressar as operações do modelo como um tipo de algoritmo ou fluxo de informações?"

 

As práticas envolvidas incluem:

• Análise de circuitos: Rastrear como os recursos de entrada fluem pela rede neural.

• Decomposição de neurônios: Entender o que neurônios individuais ou grupos de neurônios calculam.

• Localização de características: Mapear conceitos (como “negação”, “sentimento”, “reconhecimento de número”) para partes específicas da rede neural.

• Descoberta de mecanismos: Identificar estruturas computacionais reutilizáveis — como mecanismos que copiam, comparam ou processam sintaxe.

 

Isso é interessante, mas será viável?

​

Há quem pense que sim.

Grandes investimentos têm sido feitos ($) nesta área (milhões de dólares nos últimos dez anos), até agora sem grandes retornos, apesar de alguns resultados interessantes terem sido obtidos, como a técnica de Feature Visualizations para explicar modelos de classificação de imagens, e Saliency maps, um método que tenta identificar quais partes específicas de uma entrada (input) são mais relevantes ("salientes") para a tomada de decisão do modelo, que parecia mais promissor do que provavelmente é, conforme discutido neste artigo. 

​

​Um resultado importante foi produzido pela Anthropic com o projeto Transformer Circuits, Resumidamente, uma pesquisa divulgada sobre experiências com o modelo Claude 3.0 Sonnet informa que pela primeira vez, os cientistas conseguiram criar um mapa conceitual dos "estados internos" de um modelo de linguagem, visualizando features que representavam entidades como cidades, pessoas, elementos atômicos da tabela periódica e até mesmo síntaxe de programação (chamadas de função). Foi como "mapear a mente de um LLM" pela primeira vez - um importante avanço na pesquisa de interpretabilidade. O estudo completo pode ser visualizado aqui.

​

A OpenAI também tem um projeto interessante chamado Neuron Explainer. Um outro esforço da OpenAI para testar a escalabilidade dos métodos de interpretabilidade foi o uso da técnica de Análise de Circuitos (Circuit Analysis) para analisar os circuitos neurais do modelo de linguagem Chinchilla (70 bilhões de parâmetros).

​

Há outros grupos acadêmicos que tentam decodificar modelos, em certos casos usando modelos de linguagem para "explicar" o que fazem os neurônios nas redes neurais em outros modelos de linguagem (ou seja, usar a IA em busca a interpretabilidade da IA). 

​

Há quem pense que não. 

Os modelos mais avançados atualmente (modelos de fronteira) têm centenas de bilhões de parâmetros — ordens de magnitude maiores que modelos “de brinquedo” onde a interpretabilidade completa já foi alcançada. O conhecimento e os comportamentos nesses modelos não estão localizados em um único neurônio ou componente da rede neural, mas são espalhados por toda a rede, e muitos comportamentos e capacidades são emergentes - surgem de interações complexas entre muitos componentes, dificultando o mapeamento exato entre causa e efeito.

​

Sistemas complexos não podem ser facilmente reduzidos a mecanismos simples. À medida que os sistemas se tornam maiores e mais complexos, os cientistas passam a focar em propriedades de nível mais alto — como padrões emergentes, comportamentos coletivos ou descrições estatísticas — em vez de tentar uma análise direta na menor escala das interações fundamentais. Meteorologistas, por exemplo, não tentam prever o tempo rastreando cada molécula individual na atmosfera. Da mesma forma, seria inviável compreender sistemas biológicos começando a partir de partículas subatômicas e subindo a partir daí. E poucos psicólogos tentam explicar o comportamento de uma pessoa quantificando a contribuição de cada neurônio para seus pensamentos. A complexidade torna as IAs mais poderosas, mas menos transparentes. Os sistemas de IA mais poderosos exibem propriedades emergentes que aparecem espontaneamente a partir de um certo nível de complexidade, apesar de não estarem presentes em um número menor de componentes idênticos. Em outras palavras, o todo é mais do que a soma das partes. Os modelos de IA atuais também são sistemas complexos — e isso não é por acaso. Como descobriram os pioneiros do aprendizado profundo, sistemas mais complexos são mais poderosos. Mas também são mais opacos.

Dan Hendrycks e Laura Hiscott (The Misguided Quest for Mechanistic AI Interpretability) 

​

​Para estes pesquisadores, tentar explicar de forma resumida (que um humano possa compreender) a cadeia completa de raciocínio (Chain-of-Thought) de modelos de linguagem como o GPT-4 cujos pesos (da rede neural) já estão na escala dos terabytes é um problema intratável. 

 

Mais precisamente, as técnicas de interpretabilidade mecanicista são viáveis para sistemas mais simples, e podem ajudar a rastrear o raciocínio de um modelo e ajudar a explicar seu comportamento, mas são limitadas para explicar (a partir de seu funcionamento interno) o comportamento de modelos maiores e mais complexos como o GPT-4.  Para estes modelos mais avançados, a abordagem mecanística deve dar lugar, talvez, a uma abordagem de representação. ​​​