Hallo allemaal en welkom bij een nieuwe aflevering van Microsoft Knowledge Nuggets hier op M365FM. Ik ben jullie host Mirko Peters. Het onderwerp van vandaag is er een waar bijna iedereen van gehoord heeft, maar weinig een echt begrijpen. Vector databases. Je hebt die term waarschijnlijk voorbij zien komen in artikelen over AI of gehoord in gesprekken over Copilot en ChatGPT. Maar wat is een vector database nu eigenlijk? Is het gewoon een normale database met een chiquer naam? Of is het iets compleet anders? Stel je voor dat je op een webshop zoekt naar rode jas en resultaten krijgt met carmozijnrode mantel en bordeauxrode bovenkleding. Hoe weet de computer dat dat hetzelfde is? Het matcht geen trefwoorden. Carmozijn is geen rode mantel is geen jas. Toch begrijpt de zoekmachine op de een of andere manier dat ze verwant zijn en dat is vector zoeken in actie. Aan het eind van deze aflevering begrijp je wat vector databases echt zijn, waarom ze AI zoekopdrachten en Copilot aandrijven en hoe ze in de cloud van Microsoft passen. We houden het in begrijpelijke taal. Geen wiskunde, geen jargon, alleen duidelijke bouwstenen. Wat is eigenlijk een vector? Laten we beginnen bij de kernvraag. Wat is nu precies een vector? Als de meeste mensen het woord vector horen, denken ze aan een pijl uit de natuurkundeles, richting een grootte. In de informatica is het veel eenvoudiger. Een vector is eigenlijk gewoon een lijst met getallen. Een eendimensionale array die iets vertegenwoordigt in een formaat waar de computer mee kan werken. Hier is een praktische manier om het voor je te zien. Als ik zou zeggen dat je me moet ontmoeten op de derde verdieping in vleugel B, kamer 12, dan zijn dat drie getallen die een specifieke locatie beschrijven. Dat is een driedimensionale vector die je precies vertelt waar iets zich in een gebouw bevindt. Stel je nu voor dat ik meer details toevoeg. Kleur van de deur, grootte van de kamer, prijs per vierkante meter. Elk nieuw detail wordt een nieuwe dimensie. Dus hoe meer dimensies je opbouwt, hoe meer informatie je over dat ding kunt vastleggen. Een auto zou beschreven kunnen worden door snelheid, kilometerstand, prijs, gewicht en veiligheidsclassificatie. Dat is een vijfdimensionale vector. Een product kan beschreven worden door honderden kenmerken, wat je een hoogdimensionale vector geeft. Dit is het punt. Met factoren kunnen we dingen omzetten in getallen die computers kunnen vergelijken. Woorden, afbeeldingen, geluiden, documenten, alles kan een lijst met getallen worden. Zodra alles getallen zijn, kun je gaan meten hoe vergelijkbaar twee dingen echt zijn. Twee kamers op dezelfde verdieping met vergelijkbare deurkleuren komen dicht bij elkaar in de vectorruimte te staan. En twee producten met vergelijkbare kenmerken groeperen zich ook samen. Dat eenvoudige idee is wat moderne AI-zoekopdrachten mogelijk maakt. Van factoren tot embeddings, niet alle factoren zijn hetzelfde. Er is een speciaal soort genaamd een embedding, en daar schuilt de echte kracht in. Dus, wat is een embedding precies? Een embedding is een vector die betekenis vertegenwoordigt. Een machine learning model zoals Azure Open AI's Text Embedding 3 smal leest tekst en plaatst deze in een hoogdimensionale ruimte. Het model heeft geleerd van miljarden voorbeelden, waardoor het begrijpt hoe woorden met elkaar samenhangen. Koning en koningin komen dicht bij elkaar te staan omdat ze een vergelijkbare context delen. Koning en koffie komen ver uit elkaar te staan omdat ze dat niet doen. Dit is wat dat in eenvoudige bewoordingen betekent. Wanneer je zoekt op rode jas, vindt het systeem carmozijnrode mantel. Het embeddingmodel herkent dat rood en carmozijnrood dicht bij elkaar liggen qua betekenis, en dat jas en mantel dat ook zijn. De embeddings voor die twee zinsneden worden buren in de vectorruimte. De computer matcht niet langer letters. Hij matcht betekenis. Laat me je nu een klassiek voorbeeld geven. Neem de vector voor koning, trek de vector voor man ervan af en tel de vector voor vrouw erbij op. Het resultaat ligt heel dicht bij de vector voor koningin. Koning min man plus vrouw is gelijk aan koningin. Dat klinkt misschien als magie, maar het is eigenlijk hoe het model relaties vastlegt in getallen. Het heeft geleerd dat koning en koningin een vergelijkbare relatie delen als man en vrouw, en die relatie is gecodeerd in de coördinaten. Dus, embeddingmodellen nemen je ruwe data, of het nu tekst, afbeeldingen of audio is, en zetten die om in een lijst getallen die de betekenis vertegenwoordigen. Die getallen worden coördinaten in een hoogdimensionale ruimte. Wanneer je vervolgens zoekt, wordt je zoekopdracht omgezet in hetzelfde soort coördinaten. Het enige wat je doet, is de afstand tussen die coördinaten meten. Dat is het kernidee. Waarom traditionele databases tekortschieten? Als embeddings zo krachtig zijn, waarom kunnen we dan niet gewoon een standaard database gebruiken? Laten we dat beantwoorden. Traditionele SQL databases zijn gebouwd voor exacte overeenkomsten. Je schrijft waar kleur gelijk is aan rood, en het vindt elke rij waar de kolom kleur letterlijk rood bevat. Dat werkt prima voor gestructureerde data zoals klantnamen, orderdatums of productprijzen, maar het faalt volledig als je vage betekenissen nodig hebt. Probeer maar eens een SQL query te schrijven die carmozijnrode mantel vindt als je data alleen bordeauxrode jas bevat. Dat kan niet, want SQL begrijpt geen concepten. Traditionele databases slaan gegevens op in rijen en kolommen. Ze zijn geoptimaliseerd voor joins, aggregaties en exacte zoekopdrachten. Ze weten niet dat auto en wagen hetzelfde zijn. Ze weten niet dat enthousiast en opgewonden vergelijkbare emoties zijn. Ze vergelijken alleen maar tekstreeksen. En als je data ongestructureerd is, zoals pdf's, afbeeldingen, audioopnames of lange documenten, kunnen traditionele databases dit wel als blop opslaan, maar ze kunnen de inhoud niet echt doorzoeken. Je hebt fulltekstse arg nodig, maar dat is nog steeds afhankelijk van trefwoorden. Als de gebruiker budgetrapport typt, maar het document spreekt van financieel overzicht, dan mist trefwoordzoekopdracht het volledig. Bekijk het eens zo. Een gewone database is als een archiefkast. Je moet de exacte bestandsnaam weten om te vinden wat je zoekt. Een vector database is als een bibliothecaris die begrijpt wat je bedoelt. Je kunt zeggen, ik heb dat document over de uitgaven van het vorige kwartaal nodig. En de bibliothecaris weet precies welke map hij moet pakken, ook al staat er, financieel overzicht Q3, op. De bibliothecaris begrijpt de intentie, niet alleen de labels. Daarom bestaan er vector databases. Ze slaan embeddings op, die betekenis vangende factoren, en indexeren ze voor snelle gelijkeniszoekopdrachten. Ze vervangen traditionele databases niet. Ze voegen een laag van begrip toe, en die laag verandert alles. Hoe vector databases werken. Dus, hoe werkt dit allemaal achter de schermen? Laten we de twee belangrijkste fasen doorlopen, opname en query. Opname is de voorbereidingsfase. Je neemt je ruwe data, productbeschrijvingen, support tickets, interne documenten, wat je ook hebt, en haalt elk stuk door een embeddingmodel. Dat model zet tekst om in een vector, wat in feite een lijst met getallen is die de betekenis vastlegt. Vervolgens sla je die vector op in de database met metadata, de oorspronkelijke tekst, een tijdstempel, misschien een categorie of een bron URL. En hier komt het slimme gedeelte. Als je een miljoen documenten had, zou het eeuwig duren om elke vector één voor één te controleren. Daarom gebruiken vector databases iets dat indexering heet. Zie indexering als het maken van een kaart van de vectorruimte in plaats van bij elke deur aan te kloppen. Twee veelgebruikte methoden zijn IVF en HNSW. IVF staat voor Unverted File Index. Het werkt door vergelijkbare factoren in clusters te groeperen. Wanneer je zoekt, controleer je alleen de meest veelbelovende clusters in plaats van alle miljoen factoren te scannen. Het is als het zoeken naar een boek in een bibliotheek. Je gaat direct naar de juiste sectie in plaats van elke plank te scannen. HNSW staat voor Hierarchical Navigable Small World. Het idee is behoorlijk elegant. Het bouwt een meerlaagse kaart van je factoren. De bovenste laag bevat enkele representatieve factoren die een globaal beeld geven van waar dingen zich bevinden. Elke laag daaronder wordt gedetailleerder. Bij het zoeken begin je bovenaan, vind je de algemene omgeving en graaf je laag voor laag door tot je de exacte match vindt. Het is alsof je eerst een stadsplattegrond gebruikt, dan een wijkaart en daarna een stratenplan. Elke stap brengt je dichterbij. Het resultaat is dat je miljoenen factoren in milliseconden kunt doorzoeken. Dat is wat Realtime AI-functies mogelijk maakt. Wanneer je een vraag typt in een kopiloot en binnen seconden antwoord krijgt, heeft een vector database ergens een gelijkeniszoekopdracht uitgevoerd in duizenden of miljoenen documenten. De queryfase werkt in omgekeerde richting hetzelfde. Je typt je vraag. Die vraag wordt omgezet in een vector met exact hetzelfde embeddingmodel. Vervolgens vindt de database de dichtstbijzijnde buren van je queryfactor met behulp van de index. Het geeft de meest vergelijkbare resultaten terug, gerangschikt op afstand. Hoe dichter de factoren bij elkaar liggen, hoe relevanter het resultaat. Het Microsoft-ecosysteem waar factoren wonen. Dus, waar bevindt dit alles zich in de wereld van Microsoft? Het korte antwoord is, overal. Microsoft voegt factormogelijkheden toe aan de data-platforms die je al gebruikt, in plaats van je naar een aparte gespecialiseerde database te dwingen. Laten we de belangrijkste doornemen. Azure ISARG is de meest gebruikte vectoropslag voor zakelijke rag. Dat staat voor Retrieval Augmented Generation. Het ondersteunt hybride zoeken, wat betekent dat de traditionele trefwoordmatching combineert met vectorgelijkenis. Waarom is dat belangrijk? Omdat sommige zoekopdrachten het beste werken met trefwoorden, exacte productcodes, namen of datums, terwijl andere semantisch begrip vereisen. Hybride zoeken biedt beide. Azure ISARG bevat ook geïntegreerde vectorisatie, zodat je een pipeline kunt opzetten die documenten automatisch opbeeld, embeddings genereert en indexeert zonder aangepaste code te schrijven. Cosmos DB heeft nu native vector zoekopdrachten met disk-an-indexering. Disk-an staat voor Disk Based Approximate Nearest Neighbor en is gebouwd voor een latentie van minder dan 20 milliseconden, zelfs op enorme schaal. Dat is geweldig voor operationele gegevens die al in Cosmos DB staan. Stel dat je een e-commerce app bouwt met Cosmos DB als backend. Je kunt nu direct vector zoeken toevoegen aan je productcatalogus zonder gegevens naar een aparte service te verplaatsen. Een klant zoekt naar lichtgewicht zomerschoenen en je app vindt producten met vergelijkbare beschrijvingen, allemaal binnen je bestaande database. Azure SQL Server 2025 en Azure SQL Database doen nu ook mee. Ze bevatten nu een native vector data type en functies zoals vector zoeken. Dat betekent dat je embeddings direct naast je relationele gegevens kunt opslaan. Klant records met vector representaties van hun voorkeuren, voorraad items met vector beschrijvingen, support tickets met vector embeddings van hun inhoud. Je hebt geen aparte vector database nodig. Je bestaande SQL vaardigheden zijn nog steeds van toepassing. Voeg gewoon een vector kolom toe, maak een index en begin met zoeken op basis van gelijkenis. Hier zie je hoe Copilot dit achter de schermen gebruikt. Wanneer je vraagt, laat me het Q3 verkooprapport van vorig jaar zien, zoekt Copilot niet naar de exacte zin Q3 verkooprapport. Het zet je vraag om in een vector, doorzoekt index documenten, e-mails, SharePoint bestanden, OneDrive documenten en Teams chats en vindt het document waarvan de embedding het dichtst bij je zoekopdracht ligt. Het kan een bestand vinden met de naam Financieel Overzicht Q3 2024 omdat de betekenis overeenkomt, ook al zijn de exacte woorden dat niet. Dat is vector zoeken in de praktijk. Het belangrijkste inzicht hier is de strategie van Microsoft. In plaats van te zeggen, koop een gespecialiseerde vector database, voegen ze vector mogelijkheden toe aan de tools die je al gebruikt. Azure Ice Arch, Cosmos DB, SQL Server, ze ondersteunen allemaal vectoren. Je hoeft geen nieuw systeem te leren. Je hoeft alleen het concept te begrijpen en Microsoft doet het zware werk. Praktische toepassingen in AI. Dus, waar zie je vector databases vandaag de dag eigenlijk aan het werk? Dit is hoe het in de wereld werkt. RAG is de belangrijkste. Dat staat voor Retrieval Augmented Generation en zo werken de meeste bedrijfs-AIs nu. Wanneer je een chatbot een vraag stelt, raad deze niet op basis van trainingsdata. In plaats daarvan doorzoekt het een vector database naar relevante documenten, pakt de beste matches en geeft deze als context aan het taalmodel. Het model bouwt vervolgens een antwoord op basis van die daadwerkelijke documenten. Dat betekent nauwkeurige antwoorden over het beleid, de producten of de gegevens van je eigen bedrijf. Zonder vector databases zouden AI gokken op basis van algemene internetkennis. Met deze databases haalt het informatie rechtstreeks uit je eigen bestanden. Aanbevelingsengines zijn een andere enorme toepassing. Netflix, Amazon, YouTube, ze werken allemaal op dezelfde manier. Ze veranderen gebruikers in factoren op basis van gedrag, wat je kijkt, koopt of aanklikt. En ze veranderen items in factoren op basis van beschrijvingen, recensies en kenmerken. Daarna zoeken ze simpelweg naar de dichtstbijzijnde buren. Als jouw vector dichtbij die van een film ligt, raden ze die film aan. Dat is gelijkenis zoeken op enorme schaal, honderden keren per seconde uitgevoerd voor elke individuele gebruiker. Semantisch zoeken is de derde grote toepassing. Dit is zoeken op betekenis, niet op trefwoorden. Een supportmedewerker typt klant kan niet inloggen na wachtwoord reset. En vindt een artikel genaamd problemen oplossen bij authenticatiefouten na bijwerken van inloggegevens. De woorden komen niet overeen, maar de betekenis wel. Dat is wat vectorzoeken mogelijk maakt. Voor een team dat honderden tickets per dag afhandelt, verkort dit de oplostijd aanzienlijk. Dan is er nog anomaliedetectie. Minder voor de hand liggend, maar krachtig. Je zet normaal gedrag, typische transactiepatronen, gebruikelijke systeemstatistieken en standaardgebruikersacties om in embeddings. Sla die vectoren op en markeer vervolgens alles wat ver buiten het cluster valt. Een transactie die er totaal niet normaal uitziet, dat is fraude. Een servermetriek ver buiten het normale bereik, dat is een incident in de maak. Vector databases maken dit snel genoeg om in realtime te kunnen draaien. In de wereld van Microsoft kom je dit overal tegen. Power Apps gebruikt vectorzoekopdrachten voor AI-suggesties bij het bouwen van formulieren. Dynamics 365 gebruikt het voor intelligent zoeken in klantgegevens. Transcripten van Teams vergaderingen worden omgezet in vectoren, zodat je kunt zoeken wat hebben we besloten over het budget. En het exacte moment in een opname kunt vinden. Copilot voor Microsoft 365 is in feite een gigantisch rachtsysteem dat op je persoonlijke en bedrijfsgegevens draait, volledig aangedreven door vectorzoekopdrachten. Alles synchroon houden, vector ETL. Nu, dit is de praktische uitdaging. Gegevens veranderen, documenten worden bijgewerkt, nieuwe producten worden toegevoegd, oude beleidsregels worden gearchiveerd. Telkens wanneer je brongegevens veranderen, moeten je vectoren ook veranderen. Dat is waar vector ETL om de hoek komt kijken. ETL staat voor extract, transform, load, extraheren, transformeren, laden. Voor vector databases verloopt het proces als volgt. Eerst extraheer je nieuwe of gewijzigde documenten uit je bron, bijvoorbeeld een blobopslagcontainer, een SharePoint bibliotheek of een SQL database. Vervolgens transformeer je ze door de tekst op te splitsen in hanteerbare stukken en elk stuk door je embedding model te halen. Tot slot laat je de resulterende factoren in je vector store, samen met metadata zoals de oorspronkelijke bron URL, een tijdstempel en de gebruikte modelversie. De best practice hier is, verwerk incrementeel. Ga niet je hele corpus opnieuw embedden telkens als er iets verandert. Verwerk alleen de documenten die daadwerkelijk zijn gewijzigd. Hou bij welke modelversie elke embedding heeft gegenereerd. Als je je model upgradet, worden de oude factoren inconsistent met de nieuwe. En hou je kosten in de gaten. Embedding APIs rekenen per token, dus miljoenen documenten verwerken loopt snel in de papieren. In Azure is een typische workflow eenvoudig. Plaats je documenten in blobopslag. Stel vervolgens een Azure Isearch indexer in met een geïntegreerde skillset die chunking en embedding automatisch afhandelt. Microsoft biedt de TextSplit, Skill for Chunking en de Azure Open AI Embedding model Skill for Vector Generatie. De indexer draait volgens een schema, pikt nieuwe bestanden op, verwerkt ze en abzert de factoren in de index. Geen aangepaste pipeline code nodig. Hier is een veelgemaakte fout, metadata negeren. Elke factor heeft zijn bronreferentie, de naam en versie van het embedding model en een aanmaaktijdstempel nodig. Zonder dat kun je niet achterhalen waar een resultaat vandaan kwam, kun je niet opnieuw embedden als modellen veranderen en krijg je problemen bij compliance audits. Behandel je factoren zoals alle andere bedrijfsgegevens, hou de herkomst ervan bij. Je volgende stappen. Dus, ben je klaar om dit zelf te proberen? Begin simpel. Open de Azure Portal en maak een Azure ICARG resource aan. Schakel vervolgens Vector zoekopdrachten in op een bestaande index. Upload een paar documenten, kies een embedding model en voer een gelijkeniszoekopdracht uit. Je zult zien dat het binnen een uur werkt. Voor ontwikkelaars, pak de Python SDK, embed een handvol documenten met Azure Open AI, sla ze op in Cosmos DB's Vector's ARG en schrijf een query die de beste match vindt. Microsoft biedt duidelijke code voorbeelden en documentatie om je hierbij te helpen. Je hoeft geen data scientist te worden om Vector databases te gebruiken. De tools van Microsoft regelen het genereren van embeddings, de indexering en de query logica. Jouw enige taak is om het concept te begrijpen en de tools te koppelen aan je eigen data. Hier is een uitdaging. Denk aan het zoekprobleem waar je vandaag de dag mee te maken hebt. Misschien is het het vinden van interne documenten, het doorzoeken van een productcatalogus of het beantwoorden van klantvragen uit een kennisbank. Zou Vector's ARG beter kunnen presteren dan trefwoord overeenkomsten? Kies een kleine dataset, zelfs 100 documenten en probeer het eens. Je zult het verschil direct merken. Dus, nu begrijp je wat Vector databases eigenlijk zijn. Het is geen mysterieuze AI-technologie, het is gewoon een manier om de betekenis van je data op te slaan en te doorzoeken in plaats van alleen de exacte woorden. Ze drijven de slimme zoek- en AI-functies aan in Microsoft 365, Azure en Copilot. Elke keer als je een vraag stelt en een relevant antwoord krijgt, heeft ergens een Vector database de beste match bij je query gevonden. Je gestructureerde feiten, klantnamen, orderbedragen, voorraadtellingen, die staan nog steeds in traditionele databases. Vector databases voegen daar een laag van begrip aan toe. Ze laten je applicatie zoeken op betekenis, op intentie, op context. Dat is het grote geheel. Abonneer je voor meer begrijpelijke uitleg over Microsoft technologie. De volgende keer kijken we naar hoe Ragh Pipelines daadwerkelijk werken en hoe je er in een middag aan kunt bouwen. Bedankt voor het luisteren.