Olá a todos e bem-vindos a mais um episódio do Microsoft Knowledge Nuggets aqui na M305FM. FM, eu sou o seu apresentador Mico. O tópico de hoje é algo que quase todo mundo já ouviu falar, mas poucas pessoas realmente entendem. Banco de dados vetoriais. Você provavelmente ouviu esse termo em artigos sobre a ou ouviu em conversas sobre Copilot, Chat e PT. Mas o que exatamente é um banco de dados vetorial? Será apenas um banco de dados comum com um nome mais sofisticado? Ou é algo completamente diferente? Imagine pesquisar em um site de e-commerce por jaqueta vermelha e obter resultados mostrando casaco carmezinho e vestuário borbol. Como o computador sabe que são a mesma coisa? Não é pouca respondência para a chave, já. Carmezinho é vermelho, casaco não é jaqueta. No entanto, de alguma forma, o mecanismo de busca entende que estão relacionados e isso é a busca vetorial, hein? Ao final deste episódio, você entenderá o que são os bancos de dados vetoriais, porque eles impulsionam a busca por IA e o Copilot como se encaixam na nuvem da Microsoft. Vou manter tudo de forma simples. Sem matemática, sem jargões, apenas blocos de construção, claro. O que é de fato um vetor? Vamos começar com a pergunta fundamental. O que exatamente é um vetor? Quando a maioria das pessoas ouve a palavra vetor, elas imaginam uma seta da aula de Física, Direção e Magnitude. A computação é muito mais simples. O vetor é, na verdade, apenas uma lista de números. Uma matriz unidimensional que representa algo, um formato com o qual o computador pode trabalhar. Aqui está a maneira prática de visorizar. Se eu lhe dissesse para me encontrar no terceiro andar, alabeia sala 12, esses são três números descrevendo uma localização específica. Isso é um vetor tridimensional dizendo exatamente onde algo está em um edifício. Agora imagine que eu adicione mais detalhes. Cor da porta, tamanho da sala, preço por metro quadrado. Cada novo detalhe se torna outra dimensão. Portanto, quanto mais dimensões você acumula, mais informações você pode capturar sobre aquela coisa. Um carro pode ser descrito por velocidade, quilometragem, preço, peso e classificação de segurança. Isso é um vetor de cinco dimensões. Um produto pode ser descrito por centenas de características, o que resulta em um vetor de alta dimensão. Aqui está o ponto principal. Os vetores nos permitem transformar coisas em números que os computadores podem comprar. Palavras, imagens, sons, documentos, qualquer coisa pode se tornar uma lista de números. Uma vez que tudo é número, você pode começar a medir com os semelhantes duas coisas realmente são. Duas salas no mesmo andar com cores de portas semelhantes acabam ficando próximas no espaço vetorial. Dois produtos com características semelhantes também se agrupam. Essa ideia simples é o que torna possível a busca moderna por IA. De vetores a embeddings. Nem todos os vetores são iguais. Existe um tipo especial chamado embedding. É aí que reside o verdadeiro poder. Então o que exatamente é um embedding? Um embedding é um vetor que representa significado. Um modelo de aprendizado de máquina como o Text Embedding 3 Small Dazer OpenAI lê o texto e o coloca em um espaço de alta dimensão. O modelo aprendeu com bilhões de exemplos, por isso ele entende como as palavras se relacionam. Rei e rainha acabam ficando próximos porque compartilham contextos semelhantes. Rei e café acabam ficando distantes porque não compartilham. Aqui isso significa em termos simples. Quando você pesquisa por jaqueta vermelha, o sistema encontra casaco carmesim. O modelo de embedding reconhece que vermelho e carmesim têm significados próximos de jaqueta e casaco também. Os embeddings para essas duas frases tornam-se vizinhos no espaço vetorial. O computador não está mais combinando letras, ele está com unificados. Agora, deixa eu me dar um exemplo clássico. Pegue o vetor para rei, subtraia o vetor para homem e adicione o vetor para mulher. O resultado é muito próximo do vetor para rainha. Rei menos homem mais mulher é igual a rainha. Isso pode parecer mágica, mas é assim que o modelo incorpora relacionamentos em números. Ele aprendeu que rei e rainha compartilham um relacionamento semelhante ao de homem e mulher e esse relacionamento é codificado nas coordenadas. Portanto, modelos de embedding pegam seus dados brutos, sejam texto, imagens ou áudio, e os convertem em uma lista de números que representam seu significado. Esses números tornam-se coordenadas em um espaço de alta dimensão. Então, quando você pesquisa, sua consulta é convertida no mesmo tipo de coordenadas. Tudo o que você faz é medir a distância entre elas. É central? Por que os bancos de dados tradicionais não são suficientes? Sim, Beren são tão poderosos porque não podemos apenas usar um banco de dados comum. Vamos responder a isso. Banco de dados SQL tradicionais são criados para correspondência ação. Você escreve onde cor é igual ao vermelho, e ele encontra cada linha onde a coluna de cor é literalmente igual ao vermelho. Isso funciona muito bem para dados estruturados como nomes de clientes, datas de pedidos ou preços de produtos, mas falha completamente quando você precisa de significados vários. Tente escrever uma consulta SQL que encontre casaco carmesim quando seus dados dizem apenas jaqueta bordô. Você não consegue porque o SQL não entende conceitos. Bancos de dados tradicionais armazenam dados em linhas e colônia. Eles são otimizados para junções, agregações e buscas exatas. Eles não sabem que carro e automóvel são a mesma coisa. Eles não sabem que animado e empolgado são emoções semelhantes. Eles apenas combinam em string. E se os dados não forem estruturados, como PDFs, imagens, gravações de áudio ou documentos longos, bancos de dados tradicionais podem armazená-los como um blob, mas não conseguem pesquisar seu conteúdo. Você precisaria de uma busca de texto completo, que ainda depende de correspondência de palavra-chave. Se o usuário digita relatório de orçamento, mas o documento diz resumo financeiro, a busca para a palavra-chave perde tudo. Pense desta forma. Um banco de dados comum é como um arquivo de aço. Você precisa saber o nome exato do arquivo para encontrar o que procura. Um banco de dados vetorial é como um bibliotecário que entende o que você quer dizer. Você pode dizer, preciso daquele documento sobre os gastos do último trimestre. E o bibliotecário sabe exatamente qual pasta pegar, mesmo que ela esteja rotulada como resumo financeiro do terceiro tri. O bibliotecário entende a intenção, não apenas rótulo. É por isso que bancos de dados vetoriais existem. Eles armazenam em bearings aqueles vetores que capturam o significado e os indexam de forma que a busca por similaridade seja rápida. Eles não substituem bancos de dados tradicionais. Eles adicionam uma camada de compreensão. E essa camada muda tudo. Eles adicionam uma camada de compreensão. E essa camada muda tudo. Como os bancos de dados vetoriais funcionam. Então, como tudo isso funciona nos bastidores? Vamos percorrer as duas fases principais, ingestão e consulta. A ingestão é a fase de configuração. Você pega seus dados brutos, descrições de produtos, tickets de suporte, documentos internos, o que tiver, e passa cada item por um modelo de embedding. Esse modelo transforma o texto em um vetor, que é basicamente uma lista de números que captura o significado. Então, se armazena esse vetor no banco de dados junto com o metadados do texto original, um carimbo de data barra hora, talvez uma categoria ou uma URL. Agora, aqui está a parte da agenda. Se você tivesse um milhão de documentos, verificar cada vetor um por um levaria uma eternidade. É por isso que bancos de dados vetoriais usam algo chamado indexação. Pense na indexação como criar um mapa do espaço vetorial em vez de bater em cada porta. Dois métodos comuns são IVF e HNSD. IVF significa invertido. Ele funciona agrupando vetores similares em clusters. Ao pesquisar, em vez de escanear todos os milhões de vetores, você verifica apenas os clusters mais promissores. É como procurar um livro em uma biblioteca. Você vai direto para a seção certa em vez de escanear cada prateleiro. HNSW significa Hierarchical Navigable Small World. A ideia é bem elegante. Ele constrói um mapa multicamada de seus vetores. Camada superior contém alguns vetores representativos que dão uma noção geral de onde as coisas estão. Cada camada abaixo te torna mais detalhada. Ao pesquisar, você começa no topo, encontra a vizinhança geral. E depois desce camada por camada até encontrar a correspondência exata até em correspondência. É como usar um mapa da cidade primeiro, depois um mapa do bairro e, finalmente, um mapa da rua. Cada um te deixa mais perto. O resultado é que você pode pesquisar milhões de vetores em milissegundos. É isso que impulsiona os recursos de E em tempo real. Quando você digita uma pergunta em um copiloto e obteve uma resposta em segundos, em algum lugar um banco de dados vetorial acabou de executar uma busca de similaridade em milhares ou milhões de documentos. A fase de consulta funciona da mesma maneira, mas ao contrário. Você digita a sua pergunta. Essa pergunta é convertida em um vetor usando exatamente o mesmo modelo de embedding. Então, o banco de dados encontra os vizinhos mais próximos do seu vetor de consulta usando ele. Ele retorna os resultados mais similares classificados por distância. Quanto mais próximos os vetores, mais relevante é o resultado. O ecossistema Microsoft, onde os vetores residem. Onde tudo isso reside no mundo Microsoft? A resposta curta parte. A Microsoft está adicionando recursos vetoriais às plataformas de dados que você já usa, em vez de te direcionar para um banco de dados especializado separado. Vamos recorrer aos principais. O Azure AI Search é o armazenamento vetorial mais comum para a área empresarial. Isso significa geração aumentada por recuperação retrieval. Ele suporta a busca híbrida, o que significa que combina a correspondência tradicional de palavras-chave com a similaridade vetorial. Por que isso é importante? Porque algumas buscas funcionam melhor com palavras-chave, códigos de produto exatos, nomes, datas, enquanto outras precisam de compreensão semântica. A busca híbrida oferece ambos. O Azure AI Search também inclui vetorização integrada, para que você possa configurar um pipeline que divide automaticamente documentos, gera embeddings e os indexa sem escrever código personalizado. Cosmos DB agora possui busca vetorial nativa com indexação de scan. Diz que NN significa vizinho aproximado mais próximo baseado em disco, e foi criado para latência abaixo de 20 milissegundos, mesmo em escala massiva. Isso é ótimo para dados operacionais que já residem no Cosmos DB. Digamos que você esteja criando um aplicativo de e-commerce com o Cosmos DB com o back-end. Agora você pode adicionar busca vetorial diretamente ao seu catálogo de produtos, sem mover dados para um serviço separado. Um cliente procura por sapatos de verão leve. Se seu aplicativo encontra produtos com descrições similares dentro do seu banco de dados existente, o Azure SQL Server 2025 e o Azure SQL Database também entraram na festa. Eles agora incluem um tipo de dado vetorial nativo e funções como busca vetorial. Isso significa que você pode armazenar embeddings junto com seus dados relacionais, registros de clientes com representações vetoriais de suas preferências, itens de inventário com descrições vetoriais, tickets de suporte com embeddings vetoriais de seu conteúdo. Você não precisa um banco de dados vetorial separado. Suas habilidades SQL existentes ainda se aplica. Basta adicionar uma coluna vetorial, criar um índice e começar a consultar por similaridade. Veja como o Copilot usa isso por baixo do capô. Quando você pergunta, mostre-me o relatório de vendas do Q3 do ano passado, Copilot não busca pela frase exata relatório de vendas do Q3. Ele converte sua pergunta em um vetor, pesquisa em documentos indexados, e-mails, arquivos do SharePoint, documentos do OneDrive, chats do Teams, e encontre o documento cujo embedding está mais próximo da sua consulta. Ele pode encontrar um arquivo chamado Resumo Financeiro do Terceiro Trimestre de 2024, porque o significado corresponde, embora as palavras exatas não... Isso é a busca vetorial em ação. Ponto-chave aqui é a estratégia da Microsoft. Em vez de dizer, compre um banco de dados vetorial especializado, eles estão adicionando recursos vetoriais às ferramentas que você já usa. Azure AI Search, Cosmos DB, SQL Server, todos eles falam vetores agora. Você não precisa aprender um sistema novo. Você só precisa entender o conceito, e a Microsoft cuida do trabalho pesado. Casos de uso reais em IA. Então, onde você realmente vê bancos de dados vetoriais funcionando hoje? Veja como isso acontece no mundo real. RAG é o mais importante. Isso significa geração aumentada por recuperação, Retrieve Augmented Generation, e é como a maioria das IA escopra agora. Quando você faz uma pergunta a um chatbot, não tenta adivinhar com base nos dados de IA. Em vez disso, ele pesquisa em um banco de dados vetorial por documentos relevantes, pega as correspondências mais próximas, e as entrega ao modelo de linguagem como contexto. O modelo, então, constrói uma resposta a partir desses documentos reais. Isso significa respostas precisas sobre as políticas, produtos ou dados do seu propósito. Sem banco de dados vetoriais, a IA estaria adivinhando com base no conhecimento geral da internet. Com eles, é listar informações diretamente dos seus arquivos reais. Mecanismos de recomendação são outro grande caso de uso. Netflix, Amazon, YouTube, todos funcionam da mesma maneira. Eles transformam usuários em vetores com base no comportamento, no que você assiste, compra ou clica. E transformam itens em vetores com base em descrições, avaliações e recursos. Depois, apenas encontra nos vizinhos mais próximos. Se o seu vetor estiver próximo ao vetor de um filme, ele se recomenda esse filme. Isso é busca por similaridade em larga escala, rodando centenas de vezes por segundo para cada usuário. A busca semântica é o terceiro grande caso de uso. Esta é uma busca pelo significado, não por palavras. Um agente de suporte digita o cliente não consegue logar após redefinir a senha e encontra um artigo chamado Solução de Problemas de Falhas de Autenticação Após Atualizações de Credência. As palavras não coincidem, mas o significado diz. É isso que a busca vetorial permite. Para uma equipe que lida com centenas de tickets por dia, isso reduz drasticamente o tempo de resolução. Depois, a detecção de anômbria. Menos óbvia, mas poderosa. Você faz o embedding de comportamentos normais, padrões típicos de transações, métricas de sistemas usuais, ações padrões do usuário. Armazene esses vetores e, em seguida, sinalize qualquer coisa que caia longe do cluster principal. Uma transação que não se parece em nada com o normal, isso é fraud. Uma métrica de servidor muito fora da faixa comum, isso é um incidente a caminho. Banco de dados vetoriais torna isso rápido o suficiente para rodar em tempo real. No mundo da Microsoft, isso aparece em toda parte. Power Apps usa busca vetorial para sugestões de IA ao criar formulários. O Dynamics 365 a utiliza para buscas inteligentes em registros de clientes. Transcrições de reuniões do time são transformadas em vetores para que você possa pesquisar o que decidimos sobre orçamento e encontrar o momento exato em uma gravação. O Copilot para a Microsoft 365 é essencialmente um sistema RAG gigante, rodando sobre seus dados pessoais e da empresa, tudo impulsionado por busca vetorial. Mantendo tudo sincronizado, ETL vetorial. Agora, aqui está o desafio prático. Dados mudam, documentos são atualizados, novos produtos são adicionados, políticas antigas são arquivadas. Toda vez que seus dados de origem mudam, seus vetores também precisam mudar. É aí que o ETL vetorial entra. ETL significa extrair, transformar e carregar. Para banco de dados vetoriais, o processo funciona assim. Primeiro, você extrai documentos novos ou alterados da sua fonte, talvez um container de Blob Storage, uma biblioteca do SharePoint ou um banco de dados SQL. Depois, você os transforma dividindo o texto em partes gerenciáveis e processando cada parte pelo seu modelo de embedding. Finalmente, você carrega os vetores resultantes no seu armazenamento vetorial junto com metadados como a URL da fonte original, um timestamp, e a versão do modelo usada. A melhor prática aqui é processo de forma incremental. Não reprocesse todo o seu corpo de toda vez que algo mudar. Processe apenas os documentos que realmente foram alterados. Monitore qual versão do modelo gerou cada embedding, atualize seu modelo, e os vetores antigos se tornarão inconsistentes com os novos. Fique atento aos seus custos. APIs de embedding cobram por token, então processar milhões de documentos aumenta rápido os custos. No Azure, um fluxo de trabalho típico é direto. Coloque seus documentos no Blob Store. Então, configure um indexador do Azure AI Search com um conjunto de habilidades integrado que lida com a fragmentação e o embedding automaticamente. A Microsoft fornece habilidade de divisão de texto para fragmentação e habilidade de modelo de embedding do Azure OpenAI para geração vetorial. O indexador roda em uma programação, captura novos arquivos, processos, e insere ou atualiza os vetores no índice. Nenhum código de pipeline personalizado necessita. Aqui está um erro comum, ignorar metadados. Todo vetor precisa de sua referência de origem, do nome e versão do modelo de embedding e de um timestamp de criação. Sem isso, você não consegue rastrear de onde um resultado veio, não consegue reprocessar quando modelos mudam e terá dificuldades em auditorias de conformidade. Trate seus vetores como qualquer outro dado de negócio ou rastreie sua linhagem. Super espaço. Então, plano para experimentar isso você mesmo? É simples. Abra o portal do Azure e crie um recurso do Azure AI Search. Em seguida, abrite a pesquisa vetorial em um índice de sistema. Carregue alguns documentos, escolha um modelo de embedding e execute uma consulta de similaridade. Você verá tudo funcionando em menos de uma aula. Para desenvolvedores, peguem um SDK do Python, façam o embedding de alguns documentos usando o Azure Open AI, armazenem no vetor de busca do Cosmos DB e escrevam uma consulta que encontre a correspondência mais próxima. A Microsoft fornece exemplos de códigos claros e documentação para orientar você. Você não precisa se tornar um cientista de dados para usar banco de dados vetorial. As ferramentas da Microsoft cuidam da geração de embeddings, da indexação e da lógica de consumo. Sua única tarefa é entender o conceito e apontar as ferramentas para os seus próprios dados. E vai um desafio. Pense o problema de busca com o qual você lida hoje. Talvez seja encontrar documentos internos, pesquisar em um catálogo de produtos ou responder a perguntas de clientes a partir de uma base de conhecimento, é que a busca vetorial tem um desempenho melhor do que a correspondência com o Python. Escolha um pequeno conjunto de dados, mesmo que sejam sem documentos, e faça um teste. Você sentirá a diferença imediatamente. Então agora se entende o que são realmente os bancos de dados vetoriais. Eles não são uma tecnologia de A misteriosa, são apenas uma forma de armazenar e pesquisar o significado dos seus dados em vez das palavras exatas. Eles impulsionam a busca inteligente e os recursos de A dentro do Microsoft 365, Azure e Copilot. Toda vez que você faz uma pergunta e obtém uma resposta relevante, em algum lugar um banco de dados vetorial encontrou a correspondência mais próxima à consulta. Seus fatos estruturados, nomes de clientes, valores de pedidos e contagem de estoque, esses ainda residem em bancos de dados tradicionais. Os bancos de dados vetoriais adicionam a camada de compreensão. Eles permitem que sua aplicação pesquise por significado, por intenção e por contexto. Esse é o panorama geral. Inscreva-se para mais explicações simples sobre a tecnologia da Microsoft. Na próxima vez, veremos como os pipelines de RAG realmente funcionam e como você pode construir um em uma tarde. Obrigado por assistir.