Filosofia e Inteligência Artificial
Machine Learning
-
Pesquisas e artigos sobre IA Generativa (redes neurais, arquitetura Transformer)
-
Tutoriais de modelos de Machine Learning para modelos de IA Preditiva (regressão linear, classificação múltipla e clustering) no Azure Machine Learning Studio.
IA Generativa - Treinamento de LLMs com redes neurais Transformer
Essa série de 4 artigos trata do treinamento dos grandes modelos de linguagem (LLMs) que suportam assistentes de IA generativa como o ChatGPT (OpenAI), o Claude (Anthropic) ou o Gemini (Google). O texto é destinado a consultores, executivos, desenvolvedores, pesquisadores e outros interessados em como estes assistentes de IA funcionam.
Este é o primeiro de uma série de 4 artigos em que eu explico como funcionam os grandes modelos de linguagem (LLMs).
Neste primeiro texto, discuto alguns fundamentos: o que são tokens, como funcionam os vetores de embeddings, a diferença entre logits e probabilidades, o papel da função softmax e como o parâmetro de Temperatura influencia nas respostas dos LLMs.
Nos próximos artigos, vou avançar para o treinamento dos modelos, redes neurais e a arquitetura Transformer, com ênfase no mecanismo de Atenção e no bloco decoder.
Se você quer entender o que realmente acontece “por dentro” desses sistemas fascinantes, acompanhe a série.
Boa leitura!
Este é o segundo artigo da série sobre como os LLMs são treinados.
Depois de explorar tokenização e embeddings, este artigo trata do que realmente transforma um modelo em um assistente útil: pré-treinamento, fine-tuning supervisionado e RLHF (Reinforcement Learning from Human Feedback).
Veremos que os LLMs modernos não surgem de um único treinamento, mas de um pipeline de várias etapas, cada uma com objetivos distintos, desde o aprendizado estatístico de padrões da linguagem natural até o alinhamento com preferências humanas.
No próximo artigo, vou dar um passo atrás e mostrar como as redes neurais funcionam — o mecanismo que torna tudo isso possível.
Boa leitura!
Este é o terceiro artigo da série sobre como os LLMs são treinados, com uma visão introdutória das redes neurais.
O artigo parte do neurônio artificial e da ideia de aprendizado como ajuste de pesos, passa pelas redes recorrentes (RNNs) e suas limitações (especialmente o problema dos “gradientes que desaparecem” e o processamento sequencial), até chegar nos mecanismos de atenção e a arquitetura Transformer.
No próximo artigo, vou detalhar o Transformer, e mostrar como o mecanismo de Atenção funciona, incluindo como os LLMs conseguem “relacionar” palavras dentro de uma sequência. Se você quer entender de fato como o ChatGPT e outros assistentes baseados em LLMs funcionam, leia este e também o próximo artigo da série.
Boa leitura!
Este é o quarto e último artigo da série sobre como os LLMs são treinados.
Neste texto, o foco é a arquitetura Transformer e o mecanismo de atenção, que permite que o modelo “relacione” palavras dentro de uma sequência. A arquitetura é apresentada passo a passo até a geração de texto, explicando como um LLM gera as respostas para os Prompts dos usuários, um token de cada vez.
Também mostro como a arquitetura original (encoder + decoder), pensada para tarefas de tradução, evolui para a configuração decoder-only, usada em sistemas de IA generativa avançados como ChatGPT, Claude e Gemini.
Boa leitura!
Explanabilidade de modelos de Machine Learning com SHAP (SHapley Additive exPlanations)
Este artigo explica com uma abordagem introdutória a ferramenta SHAP (SHapley Additive exPlanations) como apoio para a explanabilidade das predições geradas por modelos de Machine Learning. O modelo prevê que João tem diabetes, mas Maria não. Qual é a explicação? O modelo prevê que uma casa com certos atributos deve custar R$ 400.000,00. Como chegou a este valor? O SHAP é uma forma de resolver o complexo problema da explanabilidade. A base teórica é fundamentada na Teoria dos Jogos, e a ideia é explicar como as features utilizadas no treinamento contribuem para uma determinada predição ou saída pelo modelo. Além de uma explicação de como o SHAP funciona, o texto traz exemplos de gráficos gerados pela ferramenta, e é complementado por um código em Python (Notebook) mostrando o uso do SHAP em um exemplo prático (modelo de classificação para previsão de diabetes utilizando o algoritmo KNN (k-Nearest Neighbors).
IA Preditiva - Tutoriais de Machine Learning
Regressão Linear
Artigo (PDF): Criação de um Modelo de Regressão Linear no Azure Machine Learning Studio
Márcio Galvão
Exemplo introdutório de criação de um modelo de regressão linear no Azure Machine Learning Studio. Atenção! Foi utilizada a versão antiga (Classic) do Machine Learning Studio, já descontinuada, mas o mesmo tutorial está disponível na versão atualizada do Editor.
Conteúdo compartilhado apenas para fins acadêmicos - não pode ser comercializado.
Fonte: Tutorial: Designer - train a no-code regression model . Copyright (c) Microsoft Corporation.
Apresentação: Márcio Galvão
Duração: 60 minutos
Classificação Múltipla
Tutorial: Classificação Múltipla no Azure Machine Learning Studio
Tutorial mostrando a criação, testes e deploy de um modelo de classificação múltipla de imagens baseado em regressão logística, criado em Python no Jupyter Notebook. O tutorial inclui a criação dos recursos computacionais (clusters de VMs e Azure Container Instance para execução de imagem Docker do web service com o modelo). É mostrado também como integrar um Jupyter Notebook com o Visual Studio Code.
Conteúdo divulgado apenas para fins acadêmicos - não pode ser comercializado.
Fonte: Azure MachineLearningNotebooks/tutorials. Copyright (c) Microsoft Corporation.
Apresentação: Márcio Galvão
Parte 1 de 3 - Introdução
Duração: 15 minutos
Parte 2 de 3
Duração: 28 minutos
Parte 3 de 3
Duração: 18 minutos
Clustering com K-Means
'Clustering' é uma técnica não supervisionada de Machine Learning que utiliza diferentes métodos para agrupar automaticamente itens em categorias (ou clusters) com base em suas semelhanças. Este tutorial cria um modelo de clustering que utiliza o algoritmo K-means. O modelo é capaz de atribuir dados com medidas anatômicas de Pinguins em 3 clusters representando 3 espécies diferentes. Após ter sido criado, treinado, testado e avaliado o modelo é publicado como um webservice no Azure, podendo ser consumido através de uma API REST.
Conteúdo compartilhado apenas para fins acadêmicos - não pode ser comercializado.
Fonte: Microsoft Learn - Explore clustering with Azure Machine Learning Designer. Copyright (c) Microsoft Corporation.
Apresentação: Márcio Galvão
Parte 1 de 8 - Introdução e Caso de Uso
Duração: 21 minutos
Parte 2 de 8 - Criar Workspace no Microsoft Azure
Duração: 6 minutos
Parte 3 de 8 - Providenciar recurso de computação
Duração: 9 minutos
Parte 4a de 8- Importar Dataset para treinar modelo
Duração: 10 minutos
Parte 4b de 8 - Criar Design Pipeline
Duração: 12 minutos
Parte 4c de 8 - Transformar Dados
Duração: 11 minutos
Parte 4d de 8 - Configurar Pipeline de Treinamento
Duração: 10 minutos
Parte 5 de 8 - Treinar o modelo
Duração: 15 minutos
Parte 6 de 8 - Avaliar performance do modelo
Duração: 7 minutos
Parte 7 de 8 - Criar um cluster para inferências
Duração: 15 minutos
Parte 8 de 8 - Fazer o deploy do modelo na web
Duração: 15 minutos
AutoML (Automated Machine Learning)
Tutorial: AutoML (Automated Machine Learning) no Azure Machine Learning Studio
Tutorial utilizando o Azure Machine Learning Studio da Microsoft sobre o recurso de Automated ML que permite a seleção, treinamento, testes e implementação de modelos otimizados de Machine Learning (classificação, regressão ou previsão de séries temporais) sem necessidade de programação.
Conteúdo compartilhado apenas para fins acadêmicos - não pode ser comercializado.
Apresentação: Márcio Galvão
Parte 1 de 3
Duração: 12 minutos
Parte 2 de 3
Duração: 29 minutos
Parte 3 de 3
Duração: 17 minutos
Text Analytics
Tutorial: API do Text Analytics
Apresentação resumida e tutorial de demonstração das APIs do Text Analytics, um dos serviços cognitivos do Microsoft Azure que utiliza algoritmos de AI para análise de documentos (textos) para detecção automática do idioma (Language Detection), extração de frases (palavras) chave em um texto (Key Phrase Extraction), identificação de entidades (Named Entity Recognition) e análise de sentimentos (Sentiment Analysis).
Conteúdo compartilhado apenas para fins acadêmicos - não pode ser comercializado.
Apresentação: Márcio Galvão
Duração: 14 minutos
Computer Vision
Tutorial: APIs de Visão Computacional (Computer Vision)
Conceitos e demos sobre as APIs de Computer Vision, parte dos serviços cognitivos do Microsoft Azure, cujas principais funções são: Classificação de imagens (Image Classification), detecção de objetos em imagens (Object Detection), reconhecimento ótico de caracteres em imagens (Optical Character Recognition - OCR), segmentação semântica (Semantic Segmentation), análise de imagens (Image Analysis) e detecção facial (Face Detection and Recognition).
Conteúdo compartilhado apenas para fins acadêmicos - não pode ser comercializado.
Apresentação: Márcio Galvão
Parte 1 de 5 - Criar Resource no Azure
Duração: 6 minutos
Parte 2 de 5 - Analyse, Describe e OCR
Duração: 7 minutos
Parte 3 de 5 - Object Detection
Duração: 15 minutos
Parte 4 de 5 - Spatial Analysis
Duração: 5 minutos
Parte 5 de 5 - Documentação
Duração: 3 minutos
QnA Maker (atual Question Answering)
Tutorial: QnA Maker (a.k.a. Question Answering) e Bot que responde perguntas sobre a LGPG
Tutorial introdutorio ao QnA Maker, serviço cognitivo do Microsoft Azure (que foi substituído pela Microsoft pelo novo serviço Question Answering). Quais são os requisitos para utilizar o serviço (recursos no Azure), exemplo de criação de um knowledge base com perguntas e respostas sobre a LGPD (Lei Geral de Proteção de Dados), planos de acesso aos serviços (tiers), criação de um bot capaz de responder perguntas sobre a LGPD, criação de um canal para interface com o bot via Telegram (sophIA), testes e demonstração do bot em ação, documentação do QnA Maker.
Conteúdo compartilhado apenas para fins acadêmicos - não pode ser comercializado.
Apresentação: Márcio Galvão
Duração: 30 minutos
LUIS (atual CLU (Conversational Language Understanding))
Artigo introdutório sobre o serviço LUIS (Language Understanding Intelligent Service) da Microsoft, que foi substituído pela Microsoft pelo serviço Conversational Language Understanding (CLU).
Artigo (PDF): Passo-a-passo do Tutorial do LUIS
Márcio Galvão
Tutorial introdutório sobre o serviço cognitivo LUIS (Language Understanding Intelligent Service) do Microsoft Azure. Conteúdo compartilhado apenas para fins acadêmicos - não pode ser comercializado.
Apresentação: Márcio Galvão
Parte 1 de 2
Duração: 38 minutos
Parte 2 de 2
Duração: 48 minutos