Tópico de hoje é algo que quase todo mundo já ouviu falar, mas quase ninguém consegue explicar de forma simples. RAG, geração aumentada por recuperação. Você já viu essa sigla em todo lugar. Anúncios da Microsoft, palestras sobre posts em blogs. Mas o que ela realmente significa? Mais importante, por que você deveria se importar? O que você tem é o seguinte. Modelos de linguagem grandes, como o GPT-4Ausos, eles podem escrever ensaios, resumir documentos e até gerar códigos, mas vem com dois grandes problemas. Primeiro, o conhecimento deles é congelado. Pergunte ao chat GPT sobre algo que aconteceu ontem e ele não faz ideia. Segundo, esses modelos nunca viram os dados internos da sua empresa, suas políticas, detalhes de produtos ou e-mails de clientes. Portanto, quando você faz uma pergunta sobre o seu negócio é um LLM, ele está apenas adivindo. É aí que entra a geração aumentada por recuperação ou RAG. Não é um novo modelo, não é um GPT maior ou melhor. É uma abordagem completamente diferente? Em vez de pedir ao LLM que tire respostas de sua memória de treinamento, RAG primeiro busca a informação correta nos seus próprios dados e entrega essa informação ao modelo junto com a pergunta. O modelo então usa esse contexto para lhe dar respostas fundamentadas em conteúdo real e atualizado, não em suposições. Sem o RAG, sua IA trabalha com uma memória de meses ou anos atrás. Com o RAG, ela trabalha com seus documentos reais e atuais. Essa é a diferença entre uma IA que parece confiante, mas pode estar errada e uma que mostra exatamente de onde obteve a resposta. Veja o que vamos cobrir hoje. Primeiro, veremos os dois problemas que tornam o RAG necessário. Depois, vamos detalhar o que o RAG realmente é, recuperação, aumentação e geração. Em seguida, passaremos pelos principais serviços do Azure, Azure AI Search, Azure OpenAI e Azure AI Foundry. E terminaremos com um exemplo real para que você veja como as peças se encaixam. Vou começar com o problema em si. Uma vez que você o entende, a solução se torna óbvia. Dois problemas que os LLMs têm. O que há de errado com os modelos de linguagem grande? Duas coisas, na verdade. O primeiro conhecimento deles é congelado. Pense nisso. Quando o GPT-4U foi treinado, ele aprendeu a partir de um retrato da internet que agora tem meses ou anos. Então ele não sabe sobre novos produtos, regulamentações recentes, notícias de ontem. Pergunte sobre uma mudança de política da semana passada. Ele não tem como saber. Essa informação simplesmente não está nos dados de treinamento dele. Segundo. Os LLMs nunca viram seus dados privados, seus documentos internos, e-mails de clientes ou bancos de dados proprietários. O modelo não tem acesso algum a nada disso. Então quando um funcionário pergunta sobre seus processos de negócios específicos, o modelo não consegue responder. Ele não sabe o que você sabe. Algumas pessoas acham que o ajuste fino resolve isso. Você pega o modelo base e o treina um pouco mais com seus próprios dados. Mas o ajuste fino tem seus próprios problemas. É caro. Você paga pelo tempo de GPU e pelo esforço de engenharia. Ele não resolve as atualizações. Depois que você faz o ajuste fino, o modelo ainda permanece congelado naquele momento. E ele não consegue lidar com dados que mudam frequentemente, como níveis de estoque ou preço. O ajuste fino é como ensinar um livro didático para alguém de cor. Útil, mas a pessoa ainda não consegue consultar o jornal de hoje. A solução real é mais simples. Dê ao modelo acesso ao seu conhecimento, no momento em que ele precisa responder, em vez de tentar enfiar tudo na memória dele. Não o faça memorizar tudo. Deixe-o pesquisar as coisas em tempo real, nos seus dados reais. É isso que o RAG faz. Ideia simples, mas que muda tudo. O que o RAG realmente é. Então aqui está o RAG em uma frase. Em vez de pedir ao modelo que extraia uma resposta de seus dados de treinamento, primeiro buscamos a informação relevante e depois a fornecemos ao modelo junto com a pergunta. Essa é a ideia central. Três passos simples. Recuperar, aumentar e gerar. Deixe-me dar uma analogia. Pense em um bibliotecário. Você entra em uma biblioteca e faz uma pergunta. Você não esperaria que o bibliotecário tivesse memorizado todos os livros? Isso seria ridículo. Em vez disso, você pede que ele encontre o livro certo, abre na página correta e lê a resposta para você. O bibliotecário não memoriza nada. Ele recupera primeiro e lê depois. E é exatamente isso que o RAG faz. Recuperação primeiro, geração depois. Então veja como funciona na prática. O usuário faz uma pergunta. O sistema então pesquisa em uma base de conhecimento. Seus documentos, seus dados, suas informações privadas. E ele encontra enviado ao modelo de linguagem grande e o modelo gera uma resposta com base nesse contexto. E aqui está a parte que importa. O LLM nunca vê seus dados brutos. Ele só vê o que o sistema de recuperação entrega a ele. Sem vantagem. Na verdade, é um recurso de segurança. Seus documentos confidenciais permanecem no seu próprio analista. No momento da consulta, o modelo recebe apenas os trechos relevantes necessários para responder aquela pergunta específica. Sem treinamento com seus dados, sem memorização, sem vazamento. Seus dados ficam onde devem estar. Portanto, o RAG resolve os dois problemas que discutimos lá. Dados e atualizar. Não é um problema. Sua base de conhecimento permanece atualizada. Dados privados. O modelo só vê o que você escolhe recuperar. É como dar ao bibliotecário acesso ao seu arquivo, mas permitindo apenas que ele retire a pasta que você precisa exatamente quando você precisa. Embedings vetoriais e busca semântica. Agora você pode estar se perguntando como essa busca realmente funciona. Não se trata de combinar a palavra-chave ou usar um Ctrl mais F em seus documentos. É algo muito mais inteligente. Chama-se busca semântica. E era executada com embedings vetoriais. Deixa eu explicar o que é um embedding. Um embedding vetorial é uma longa lista de números que captura o significado de um texto como coordenadas em um mapa. Cada documento recebe sua própria coordenada nesse mapa de significados. Quando você faz uma pergunta, o sistema transforma sua pergunta em coordenadas também e encontra os documentos mais próximos a ela. O ponto-chave é que é o termo semântico. Não se trata de encontrar palavras exatas, mas de compreender conceitos. Se você busca por hotéis econômicos, o sistema pode encontrar documentos sobre acomodações acessíveis, mesmo que essas palavras exatas nunca apareçam. Por quê? E o significado é próximo. Os embeddings pré-econômico e acessível ficam bem próximos um do outro nesse mapa. Um modelo pequeno e especial, como o Text Embedding 3 Large do Azure, Crises Embeddings. Não é um modelo de linguagem gigante, por isso é uma ferramenta focada que faz apenas uma tarefa. Transformar texto nesse número de coordenada. É isso que torna o RAG tão poderoso. Seus documentos são convertidos em embeddings uma única vez durante a indexação. Então, quando uma consulta chega, o sistema encontra o conteúdo mais relevante em milissegundos, mesmo que as palavras exatas do usuário não apareçam em nenhum lugar dos documentos. Ele entende a intenção, não apenas as palavras-chave que você digita. Azure AI Search, o mecanismo de recuperação. Então, agora você entende o conselho. Recuperar primeiro e depois gerar. Mas onde toda essa recuperação realmente acontece? É aí que entra o Azure AI Search. O Azure AI Search é o serviço que armazena, indexa e recupera seu conteúdo. Pense nele como o sistema de arquivos da sua aplicação RAG. Lida com duas tarefas principais e vamos analisá-las. Primeiro, a indexação. Isso significa preparar seus dados para serem pesquisados. Segundo a busca, isso significa encontrar o conteúdo correto quando alguém faz uma pergunta. Vamos passar pelo processo de indexação primeiro. Você começa apontando o Azure AI Search para sua fonte de dados, que pode ser um container de armazenamento de blobs cheio de PDFs, um banco de dados SQL com registros de clientes ou qualquer outra fonte. O serviço lê esses documentos, divide-os em partes menores chamadas chunks, cria embeddings vetoriais para cada parte usando aquele modelo de embedding que mencionamos antes e armazena tudo em um índice de busca. Pense no índice com um catálogo gigante, altamente organizado. Cada conteúdo recebe um ID único, um fragmento de texto e um conjunto de coordenadas nesse mapa de significado. Agora o processo de busca. Quando um usuário faz uma pergunta, o AI Search converte essa pergunta em um vetor usando o mesmo modelo de embedding e em seguida escaneia o índice para encontrar os fragmentos cujas coordenadas estão mais próximas das coordenadas da pergunta. Ele retorna as principais correspondências, geralmente as 5 a 10 mais relevantes, e faz tudo isso em milissegundos. Você tem algumas opções sólidas, hein? A busca vetorial pura encontra conteúdo pelo significado, então conceitos semelhantes aparece mesmo que as palavras exatas não conhecem. A busca por palavra-chave funciona como um mecanismo de busca tradicional encontrando correspondências exatas de base. Ou você pode usar a busca híbrida, que combina ambas as abordagens, e essa costuma ser a melhor escolha. Existe também algo chamado reranking semântico que pega esses resultados iniciais e os reordena com base no quão bem eles realmente respondem à pergunta. que é uma segunda passagem que captura coisas que a primeira pode ter deixado passando. Uma coisa que você deve saber, o Azure AI Search pode se tornar caro. O nível básico começa em torno de US$ 75 por mês e aumenta a partir daí. Se você está apenas experimentando, use o nível gratuito ou certifique-se de excluir seus recursos quando terminar. Para uso e produção, no entanto, o custo geralmente vale a pena. Você está adquirindo velocidade e confiabilidade em escala. Azure Open AI mais AI Foundry, geração e orquestração. Então agora seus dados estão indexados e prontos para recuperação, mas o LLM ainda precisa entender sua pergunta e gerar uma resposta sólida. É aí que entram o Azure Open AI e o Azure AI Foundry. O Azure Open AI fornece o modelo de linguagem real, GPT-4O, GPT-4.1 ou qualquer modelo que você escolher. Este é o mecanismo de geração. Ele recebe um prompt que inclui tanto a pergunta original do usuário quanto o contexto que o Azure AI Search recuperou. O modelo lê esse contexto e produz uma resposta com base no que encontra. Agora, você não pode simplesmente jogar tudo lá e esperar pelo melhor. Você precisa de um prompt de sistema, um conjunto de instruções que você dá ao modelo antecipadamente sobre como se comportar. Você diz a ele para usar apenas o contexto fornecido, citar suas fontes e, o mais importante, dizer, eu não sei, caso a informação relevante não esteja nos documentos recuperados. É isso que mantém o modelo honesto. Sem um bom prompt de sistema, o modelo pode recorrer aos seus dados de treinamento ou, pior, inventar algo. Como você realmente conecta todas as suas peças? É aí que entra o Azure AI Foundry. É o portal onde você cria um projeto, implanta seus modelos, conecta suas fontes de dados e testa seu AI. Pense nele como centro de controle para toda a sua configuração de hack. Dentro do Foundry, você pode adicionar seu índice do Azure AI Search como uma fonte de conhecimento ao seu agente sem escrever código personalizado para a configuração barata. Você apenas cria uma conexão, seleciona seu índice e o agente pode começar a consultá-lo automaticamente. O portal cuida da orquestração. Quando um usuário faz uma pergunta, o agente sabe chamar o AI Search, obter os trechos relevantes e passá-los ao LLM junto com a pergunta original. Aqui está um exemplo concreto. Em um tutorial que encontrei, alguém criou um agente de recomendação de filmes usando um conjunto de dados da Netflix. Eles carregaram um arquivo CSV com títulos, descrições e informações de elenco para o Azure Blob Storage e depois usaram o Azure AI Search para indexar esses dados. No Azure AI Foundry, criaram um agente com GPT-4O e conectaram o índice do AI Search. Quando um usuário perguntou gosto de suspense, me deu algumas recomendações. O agente pesquisou no índice e encontrou filmes de suspense daquele conjunto de dados específicos e retornou recomendações. E aqui está o ponto principal, ele só recomendou filmes que estavam realmente naquele conjunto de dados. Ele não inventou nada, mostreu de seus dados de treinamento e trabalhou exclusivamente com o conteúdo fornecido. Esse é o poder do RAG. RAG clássico versus RAG agente. Agora, vamos falar sobre como configurar isso. Existem dois padrões principais, o RAG clássico e o RAG agente. Qual você escolher depende do que você está construindo. O RAG clássico é a abordagem direta. Uma consulta entra, uma pesquisa é executada e uma resposta sai. Simples, rápido, previsível. Pense nisso como ir até a recepção de um prédio comercial e pedir um arquivo específico. O recepcionista o pega, te entrega e pronto. O RAG clássico funciona muito bem para perguntas e respostas factuais sobre um único tópico, como qual é a política da empresa sobre trabalho remoto ou mostre-me as etapas de som de problemas para este código de IA. É confiável, barato e fácil de corrigir quando algo dá errado, porque o fluxo é linear. O RAG agente fica diferente. O agente de IA decide como recuperar informações. Ele pode fazer várias sub-perguntas, pesquisar diferentes índices e terá sobre resultados e sintetizar várias fontes antes de responder. É como ter um gerente de edifício que coordena com diferentes departamentos para reunir todas as peças. Eles não pegam apenas um arquivo. Eles conversam com o RH, verificam registros, cruzam políticas e então retornam com uma resposta completa. A Microsoft realizou seus próprios testes e descobriu que o RAG agente oferece cerca de 40% de melhoria na relevância das respostas para perguntas complexas. Isso é significativo, mas consome de 3 a 10 vezes mais tokens e adiciona latência. Para perguntas simples, esse trabalho extra é desperdiçado. O RAG clássico lida muito bem com elas. Então, quando usar cada um? O clássico para consultas rotineiras e de alto volume, onde velocidade e custo importam mais. O agente compra perguntas de várias etapas ambíguas ou multidisciplinares onde a precisão vale o custo computacional extra. Sessão de conexão, exemplo de ponta a ponta. Vamos ver como todas essas peças se encaixam com o exemplo real. Imagine que você está criando um agente de suporte ao cliente para uma agência de viagem chamada Marigold Travels. Você tem folhetos de viagem, avaliações de hotéis, documentos de políticas espalhados por toda a sua organização. Você quer que os clientes façam perguntas e recebam respostas precisas baseadas no seu conteúdo real, não em suposições genéricas. Passo 1. Armazene todo esse conteúdo no Azure Blob Storage. Folhetos em uma pasta, avaliações em outra, políticas em uma terceira, apenas arquivos em um container. Passo 2. Use o Azure AI Search para indexar esses dados executando o assistente de importação de dados, apontando para o seu Blob Storage e deixando o processo rodar. O serviço lê cada documento, divide os em partes, cria vetores de embedding e constrói um índice pesquisável. É, todo o processo leva apenas alguns minutos. Passo 3. Vá até o Azure AI Foundry e crie um agente. Implante o GPT-4O como seu modelo. Escreva um prompt de sistema instruindo-o a usar apenas o contexto fornecido e a citar suas fontes, então conecte seu índice do Azure AI Search como fonte de conhecimento. Alguns cliques e está pronto. Agora um cliente pergunta qual é o hotel mais bem avaliado em Dubai por menos de US$ 300? O agente recebe essa pergunta e envia para o Azure AI Search. O Azure AI Search converte a pergunta em um vetor e encontra as partes mais relevantes de suas avaliações e folhetos. Essas partes são passadas para o GPT-4A junto com a pergunta original. O modelo Asley identifica a melhor correspondência e gera uma resposta com citações que apontam para seus documentos de origem. O ponto é, o LNM nunca memorizou esses dados. Ele nunca foi treinado com suas avaliações de hotel. Ele trabalha com seu conteúdo específico sempre. Adicione novas avaliações amanhã e as respostas serão atualizadas automaticamente. Remova um folheto desatualizado e ele deixará de aparecer. O modelo não precisa ser treinado novamente. Ele só precisa da camada de recuperação correta. Então como você realmente começa a criar um RAG no Azure? Vamos dividir em três etapas. Primeiro, conheça seus dados. Antes mesmo de escolher um serviço, descubra onde seu conteúdo está, como ele é organizado e quem deve ter acesso. O sucesso ou fracasso do RAG depende da qualidade de seus dados. Em seguida, mantém a Simpsons. Não complique demais a configuração. Use o assistente de importação de dados no Azure AI Search para indexar apenas um conjunto de documentos. Teste com consultas básicas. Certifique-se de que sua recuperação funcione perfeitamente antes de adicionar o LNM. A maioria das falhas no RAG não são problemas de mudança. São problemas de recuperação. Último passo, adicione o LNM. Assim que sua pesquisa retornar os resultados corretos, você adiciona a camada de geração. É nesse momento que você conecta o Azure Open AI e escreve seu prompt de sistema. O ponto é, RAG não é algo que você compra, é um padrão que você constrói. O Azure te dá as peças, armazenamento, pesquisa, modelos e a cola para conectá-los. Você só precisa montar tudo da maneira certa. Se isso te ajudou a entender o panorama geral, inscreva-se para mais explicações simples. Deixe um comentário com seu caso de uso de RAG. Adoraria saber o que você está construindo.