Unser heutiges Thema hat fast jeder schon einmal gehört, aber kaum jemand kann es einfach erklären. At AG, Retrieval Augmented Generation. Sie haben das Akronym überall gesehen. Microsoft-Ankündigungen, KI-Konferenzen, Blog-Beiträge, aber was bedeutet es eigentlich? Und noch wichtiger, warum sollte es Sie interessieren? Es ist so. Große Sprachmodelle wie GPT-4O sind leistungsfähig. Sie können Essays schreiben, Dokumente zusammenfassen und sogar Code generieren, aber Sie haben zwei große Probleme. Ah. Erstens ist Ihr Wissen zeitlich eingefroren. Fragen Sie ChatGPT nach etwas, das gestern passiert ist und es hat keine Ahnung. Fragen. Zweitens haben diese Modelle nie die internen Daten Ihres Unternehmens gesehen. Ihre Richtlinien, Produktdetails, Kunden-E-Mails. Wenn Sie also ein LLM etwas über Ihr Unternehmen fragen, rät es nur. Genau hier kommt Retrieval Augmented Generation ins Spiel. Ja, AG ist kein neues Modell, kein größer oder besseres GPT. Es ist ein grundlegender anderer Ansatz. Anstatt das LLM zu bitten, Antworten aus seinem Trainingsgedächtnis zu ziehen, sucht er AG zuerst die richtigen Informationen aus ihren Daten und gibt sie zusammen mit der Frage an das Modell weiter. Das Modell nutzt diesen Kontext dann, um Ihnen Antworten zu geben, die auf echten, aktuellen Inhalten basieren, ohne zu raten. Ohne RAG arbeitet Ihre KI mit einem Gedächtnis, das Monate oder Jahre alt ist. Mit RAG arbeitet sie mit ihren tatsächlichen Dokumenten von heute. Das ist der Unterschied zwischen einer KI, die überzeugt klingt, aber falsch liegen könnte und einer, die Ihnen genau zeigt, woher sie die Antwort hat. Das werden wir heute behandeln. Zuerst betrachten wir die zwei Probleme, die RAG notwendig machen. Dann schlüsseln wir auf, was RAG eigentlich ist, das Retrieval, die Augmentierung, die Generierung, die Generierung. Als nächstes gehen wir die wichtigsten Azure-Dienste durch. Azure AI Search, Azure Open AI und Azure AI Foundry. Zum Abschluss zeigen wir ein echtes Beispiel, damit Sie sehen, wie die Teile zusammenpassen. Beginnen wir mit dem Problem selbst. Wenn man das erst einmal sieht, wird die Lösung offensichtlich. Die zwei Probleme, die LAMs haben. Was ist also das Problem mit großen Sparmen? Einigstwürdigen. Erstens, Ihr Wissen ist eingefroren. Denken Sie darüber nach. Als GPT4O trainiert wurde, lernte es von einem Internet-Snapshot, der inzwischen Monate oder Jahre alt ist. Daher kennt es keine neuen Produkte, aktuellen Vorschriften oder die Nachrichten von gestern. Fragen Sie es nach einer richtigen Änderung von letzter Woche, es kann das unmöglich wissen. Diese Informationen sind schlichtweg nicht in Trainingsdaten enthalten. Zweitens, haben LLMs nie ihre privaten Daten, ihre internen Dokumente, Kunden-E-Mails oder proprietären Datenbanken gesehen? Das Modell hat keinerlei Zugriff darauf. Wenn ein Mitarbeiter also nach ihren spezifischen Geschäftsprozessen fragt, kann das Modell nicht antworten. Es weiß nicht, was Sie wissen. Manche Leute glauben, Feintuning würde dies lösen. Man nimmt das Basismodell und trainiert es etwas weiter mit den eigenen Daten. Aber Feintuning hat seine eigenen Probleme. Es ist teuer. Sie bezahlen für GPU-Zeit und den technischen Aufwand. Es löst das Problem für ein Zettere. Sobald das Feintuning abgeschlossen ist, bleibt das Modell auf diesem Teilstand eingefahren. Und es kann nicht mit Daten umgehen, die sich häufig ändern, wie Lagerbestände oder Preise. Feintuning ist, als würde man jemandem ein Lehrbuch auswendig lernen lassen. Nützlich, aber die Person kann trotzdem nicht in der heutigen Zeitung nachschlagen. Die echte Lösung ist einfacher. Geben Sie dem Modell Zugriff auf Ihr Wissen, genau in dem Moment, in dem es antworten muss, anstatt alles in dessen Gedächtnis zu stopfen. Lassen Sie es nicht alles auswendig lernen. Lassen Sie es in Echtzeit in Ihren tatsächlichen Daten nachschlagen. Genau das mal RAG. Eine einfache Idee, die doch alles verändert. Was RAG eigentlich? Also hier ist RAG in einem Satz zusammengefasst. Anstatt das Modell zu bitten, eine Antwort aus seinen Trainingsdaten zu ziehen, finden wir zuerst die relevanten Informationen und geben diese zusammen mit der Frage an das Modell weiter. Das ist der Kern der Idee. Drei einfache Schritte. Abrufen, anreichern und generieren. Lassen Sie mich ein Beispiel zur Veranschaulichung. Denken Sie an einen Bibliotheker. Sie gehen in eine Bibliothek und stellen eine Frage. Sie würden nicht erwarten, dass der Bibliotheker jedes Buch auswendig gelernt hat. Das wäre lächerlich. Stattdessen bitten Sie ihn, das richtige Buch zu finden, die richtige Seite aufzuschlagen und Ihnen die Antwort vorzulesen. Der Bibliotheker muss sich nichts einprägen. Er ruft zuerst ab und liest dann vor. Und genau das tut RAG. Zuerst das Abrufen, dann das Generieren. So funktioniert es also in der Praxis. Ein Benutzer stellt eine Frage. Das System durchsucht daraufhin eine Wissensdatenbank, ihre Dokumente, ihre Daten, ihre privaten Informationen. Was auch immer gefunden wird, wird in das große Sprachmodell eingespeist und das Modell generiert basierend auf diesem Kontext eine Antwort. Und hier ist der entscheidende Teil. Das LM sieht niemals ihre Rohdaten. Es sieht nur das, was Ihnen das Abrufsystem zur Verfügung stellt. Das ist kein Nachteil. Im Gegenteil, es ist ein Sicherheitsmerkmal. Ihre sensiblen Dokumente verbleiben in Ihrem eigenen Speichel. Zum Zeitpunkt der Abfrage erhält das Modell nur die relevanten Schnipsel, die es zur Beantwortung benötigt. Kein Training mit Ihren Daten, kein Auswendiglernen, keine Lacks. Ihre Daten bleiben dort, wo Sie hingehören. RAG löst also beide Probleme, die wir vorhin besprochen haben. Veraltete Daten. Kein Problem mehr. Ihre Wissensbasis bleibt aktuell. Private Daten. Das Modell sieht nur das, was Sie abrufen möchten. Es ist, als würden Sie einem Bibliotheker Zugriff auf Ihren Aktenschrank geben, ihn aber nur genau den einen Ordner herausnehmen lassen, den Sie gerade brauchen. Vektoreinbettungen und semantische Suche. Vielleicht fragen Sie sich jetzt, wie diese Suche eigentlich funktioniert. Es geht nicht darum, Schlüsselwörter abzugleichen und eine Stärk-plus-F-Suche über Ihre Dokumente laufen zu lassen. Es wird das viel intelligenter. Es nennt sich semantische Suche und basiert auf Vektoreinbettungen. Lassen Sie mich erklären, was eine Einbettung ist. Eine Vektoreinbettung ist eine lange Liste von Zahlen, die die Bedeutung eines Textes wie Koordinaten auf einer Landkarte erfassen. Jedes Dokument erhält seine eigene Koordinate auf dieser Bedeutungskarte. Wenn Sie eine Frage stellen, wandelt das System diese ebenfalls in Koordinaten um und findet dann die Dokumente, die am nächsten liegen. Der Schlüssel liegt hier im Wort semantisch. Es geht nicht darum, exakte Wörter zu finden, sondern Konzepte zu verstehen. Wenn Sie nach Budgethotels suchen, kann das System Dokumente über erschwingliche Unterkünfte finden, selbst wenn diese exakten Wörter nie vorkommen. Warum? Weil die Bedeutung nah beieinander liegen. Die Einbettungen für Budget und Erschwinglich liegen auf dieser Karte direkt nebeneinander. Ein spezielles kleines Modell wie Azure's Text Embedding 3 Large erstellt diese Einbettungen. Es ist kein riesiges Sprachmodell, sondern ein fokussiertes Werkzeug für eine einzige Aufgabe. Text in diese Koordinatenzahlen umwandeln. Das macht RAG so leistungsfähig. Ihre Dokumente werden während der Indizierung einmalig in Einbettungen umgewandelt. Wenn dann eine Anfrage eingeht, findet das System in Millisekunden die relevantesten Inhalte, selbst wenn die exakten Worte des Benutzers nirgendwo in den Dokumenten stehen. Es versteht die Absicht nicht nur die getippten Schlüsselwörter. Azure AI Search, die Suchmaschine. Sie verstehen nun also das Konzept. Erst abrufen, dann generieren. Aber wo findet dieser ganze Abruf eigentlich statt? Hier kommt Azure AI Search ins Spiel. Azure AI Search ist der Dienst, der Ihre Inhalte speichert, indiziert und abruft. Betrachten Sie es als das Ablagesystem für Ihre AG-Anwendung. Es übernimmt zwei Hauptaufgaben, die winnen und durchgehen. Erstens Indizierung. Das bedeutet, Ihre Daten für die Suche vorzubereiten. Zweitens Suchen. Das ist das tatsächliche Finden der richtigen Inhalte, wenn jemand eine Frage stellt. Gehen wir zuerst den Indizierungsprozess durch. Sie beginnen damit, Azure AI Search auf Ihre Datenquelle zu verweisen. Sei es ein Blob Storage Container voller PDFs, eine SQL-Datenbank mit Kundendatensätzen oder viele andere Quellen. Der Dienst liest diese Dokumente, zerlegt sie in kleinere Stücke, sogenannte Chunks, erstellt für jeden Chunk Vektor Einbettungen mit dem zuvor erwähnten Einbettungsmodell und speichert alles in einem Suchindex und speichert alles in einem Suchindex. Stellen Sie sich den Index wie einen riesigen, bestens organisierten Katalog vor. Jeder Inhalt erhält eine eindeutige ID, einen Textabschnitt und eine Reihe von Koordinaten auf dieser Bedeutungskarte. Nun zum Suchprozess. Wenn ein Nutzer eine Frage stellt, wandelt AI Search diese mittels desselben Embedding-Modells in einen Vektor um und scannt dann den Index nach Abschnitten, deren Koordinaten denen der Frage am nächsten liegen. Es liefert die besten Treffer zurück, meist die fünf bis zehn relevantesten und das alles in Millisekunden. Hier haben Sie einige starke Optionen. Die reine Vektorsuche findet Inhalte nach Bedeutung, sodass ähnliche Konzepte erscheinen, auch wenn die exakten Wörter nicht übereinstimmen. Die Stichwortsuche funktioniert wie eine traditionelle Suchmaschine und findet exakte Worte übereinstimmungen. Oder Sie nutzen die hybride Suche, die beide Ansätze kombiniert. Das ist meist die beste Wahl. Es gibt auch das sogenannte semantische Reranking, das die ersten Ergebnisse nimmt und Sie danach sortiert, wie gut Sie die Frage tatsächlich beantworten. Es ist wie ein zweiter Durchgang der Dinge auffängt, die der erste möglicherweise übersehen hat. Eine Sache sollten Sie wissen. Azure AI Search kann teuer werden. Der Basistarif beginnt bei etwa 75 Dollar pro Monat und steigt von dort an. Wenn Sie nur experimentieren, nutzen Sie den kostenlosen Tarif oder stellen Sie sicher, dass Sie Ihre Ressourcen löschen, wenn Sie fertig sind. Für den produktiven Einsatz zahlen sich die Kosten jedoch meist aus. Sie kaufen Geschwindigkeit und Zuverlässigkeit in großem Maßstab. Azure Open AI plus AI Foundry, Generierung und Orchestrierung. Ihre Daten sind nun also indiziert und bereit für den Abruf, aber das LLM muss Ihre Frage noch verstehen und eine fundierte Antwort generieren. Hier kommen Azure Open AI und Azure AI Foundry ins Spiel. Azure Open AI stellt das eigentliche Sprachmodell bereit, sei es GPT-4O, GPT-4.1 oder ein Modell Ihrer Wahl. Dies ist die Generierungsengine. Sie erhält einen Prompt, der sowohl die ursprüngliche Frage des Nutzers als auch den von Azure AI Search abgerufenen Kontext enthält. Das Modell liest diesen Kontext durch und erstellt auf dieser Basis eine Antwort. Nun können Sie nicht einfach alles hineinwerfen und auf das Beste hoffen. Sie benötigen einen Systemprompt, eine Reihe von Anweisungen, die Sie dem Modell vorab geben, wie es sich verhalten soll. Sie weisen es an, nur den bereitgestellten Kontext zu verwenden, seine Quellen zu zitieren und vor allem zu sagen, ich weiß es nicht, ich weiß es nicht, falls die relevante Information nicht in den abgerufenen Dokumenten enthalten ist. Das hält das Modell ehrlich? Ohne einen guten Systempompt könnte das Modell auf seine Trainingsdaten zurückgreifen oder, noch schlimmer, etwas erfinden. Wie verknüpft man also all diese Teile miteinander? Genau hier kommt Azure AI Foundry ins Spiel. Es ist das Portal, in dem Sie ein Projekt erstellen, Ihre Modelle bereitstellen, Datenquellen verbinden, testen, testen. Betrachten Sie es als Kontrollzentrum für Ihre gesamte RAG-Einrichtung. In Foundry können Sie Ihren Azure AI Search Index als Wissensquelle zu Ihrem Agenten hinzufügen, ohne eigenen Code für die Grundeinrichtung schreiben zu müssen. Sie erstellen einfach eine Verbindung, wählen Ihren Index aus und der Agent kann diesen automatisch abfragen. Das Portal übernimmt die Orchestrierung. Wenn ein Benutzer eine Frage stellt, weiß der Agent, dass er AI Search aufrufen, die relevanten Abschnitte abrufen und diese zusammen mit der ursprünglichen Frage an das LLM weitergeben muss. Es ist ein konkretes Beispiel. In einem Tutorial, auf das ich gestoßen bin, hat jemand einen Filmempfehlungsagenten mit einem Netflix-Datensatz erstellt. Sie luden eine CSV-Datei mit Filmtiteln, Beschreibungen und Besetzungsinformationen in Azure Blob Storage hoch und nutzten dann Azure AI Search, um diese Daten zu indizieren. In Azure AI Foundry erstellten Sie einen Agenten mit GPT-4O und verbanden ihn mit dem AI Search Index. Als ein Benutzer fragte, ich mag Thriller, gib mir ein paar Empfehlungen, durchsuchte der Agent den Index, fand Thriller aus diesem spezifischen Datensatz und gab Empfehlungen zurück. Und hier ist der entscheidende Punkt, er empfahl nur Filme, die tatsächlich in diesem Datensatz anhalten. Er hat nichts erfunden, nicht auf seine Trainingsdaten zurückgegriffen und arbeitete ausschließlich mit den bereitgestellten Inhalten. Es ist Stärke von ARG. Klassisches versus Agent-basiertes ARG. Sprechen wir nun über die Einrichtung. Es gibt zwei Hauptmuster, klassisches RAG und agenten-basiertes ARG. Welches Sie wählen, hängt davon ab, was Sie aufbauen. Klassisches RAG ist der direkte Ansatz. Eine Anfrage geht ein, eine Suche wird ausgeführt und eine Antwort kommt heraus. Einfach schnell vorhersehbar. Stellen Sie es sich so vor, als würden Sie an die Rezeption eines Bürogebäudes gehen und nach einer bestimmten Datei fragen. Der Empfangsmitarbeiter nimmt Sie, gibt sie ihn fertig. Klassisches RAG eignet sich hervorragend für sachliche Fragen und Antworten zu einem einzigen Thema wie Was ist die Unternehmensrichtlinie für Remote-Arbeit? Oder zeige mir die Schritte zur Fehlerbehebung für diesen Fehlercode. Es ist zuverlässig, kostengünstig und einfach zu korrigieren, wenn etwas schief geht, da der Ablauflinie ist. Agentenbasiertes ARG sein. Der KI-Agent entscheidet selbst, wie Informationen abgerufen werden. Er kann mehrere Unterfragen stellen, verschiedene Indizes durchsuchen, Ergebnisse iterieren und Informationen über verschiedene Quellen hinweg zusammenfüllen, bevor er antwortet. Es ist, als hätte man einen Gebäudemanager, der sich mit verschiedenen Abteilungen koordiniert, um alle Puzzleteile zusammenzutragen. Er greift nicht einfach nur in die Datei. Er spricht mit der Personalabteilung, Prüfunterlagen, vergleicht Richtlinien und kommt dann mit einer vollständigen Antwort zurück. Microsoft hat eigene Tests durchgeführt und festgestellt, dass agentenbasiertes ARG die Relevanz der Antworten bei komplexen Fragen um etwa 14 verbessert. Das ist beachtlich, verbraucht aber drei bis zehnmal mehr Token und erhöht die Latenz. Bei einfachen Fragen ist dieser zusätzliche Aufwand verschwendet. Klassisches ARG bewältigt diese problemlos. Wann verwende man also was? Klassisch für Routineanfragen mit hohem Volumen, bei denen Geschwindigkeit und Kosten am wichtigsten sind. Agentenbasiert für mehrstufige, mehrdeutige oder bereichsübergreifende Fragen, bei denen Genauigkeit den zusätzlichen Rechenaufwand wert ist. Verbindungsabschnitt durchgehendes Beispiel. Schauen wir uns an, wie all diese Teile mit einem echten Beispiel zusammenpassen. Stellen Sie sich vor, Sie entwickeln einen Kundensupport-Agenten für ein Reisebüro namens Marigold Travels. Sie haben Reisebroschüren, Hotelbewertungen und Richtlinien Dokumente, die in Ihrem Unternehmen verstreut sind, die in Ihrem verstreut sind. Sie möchten, dass Kunden Fragen stellen und genaue Antworten erhalten, die auf Ihren tatsächlichen Inhalten basieren, nicht auf allgemeinen Vermutungen. Schritt 1. Speichern Sie all diese Inhalte im Azure Blog Storage. Broschüren in einem Ordner, Bewertungen in einem anderen, Richtlinien in einem dritten Einfachdateien in einem Container. Schritt 2. Verwenden Sie die Azure KI-Suche, um diese Daten zu indexieren, indem Sie den Datenimport-Assistenten ausführen, ihn auf Ihren Blog Storage verweisen und ihn arbeiten lassen. Der Dienst liest jedes Dokument, unterteilt es in Stücke, erstellt Vector-Embeddings und baut einen durchsuchbaren Index auf. Der gesamte Vorgang dauert nur wenige Minuten. Schritt 3. Gehen Sie in Azure AI Foundry und erstellen Sie einen Agenten. Stellen Sie GPT-4O als Ihr Modell bereit, schreiben Sie einen System-Prompt, der es anweist, nur den bereitgestellten Kontext zu verwenden und seine Quellen zu zitieren und verbinden Sie dann Ihren Azure KI-Suchindex als Wissensquelle. Ein paar Klicks und fertig. Nun fragt ein Kunde, was ist das am besten bewertete Hotel in Dubai unter 300 Dollar? Der Agent nimmt diese Frage und sendet sie an die Azure KI-Suche. Die Azure KI-Suche wandelt Sie in einen Vektor um und findet die relevantesten Abschnitte aus Ihren Bewertungen und Broschüren. Diese Abschnitte werden zusammen mit der ursprünglichen Frage an GPT-4O weitergeleitet. Das Modell liest Sie durch, identifiziert das beste Ergebnis und generiert eine Antwort mit Zitaten, die auf Ihre Quelldokumente verweisen. Das Wichtige dabei ist, das LLM hat diese Daten nie auswendig gelernt. Es wurde nie mit Ihren Hotelbewertungen trainiert. Es arbeitet jedes Mal mit Ihren spezifischen Inhalten. Fügen Sie morgen neue Bewertungen hinzu, werden die Antworten automatisch aktualisiert. Entfernen Sie eine veraltete Broschüre, taucht Sie nicht mehr auf. Das Modell muss nicht neu trainiert werden. Es benötigt nur die richtige Abrufebene. Wie fangen Sie also eigentlich an, RAG auf Azure zu bauen? Lassen Sie uns das in drei Schritten unterteilen. Zuallererst kennen Sie Ihre Daten. Bevor Sie sich für einen Dienst entscheiden, klären Sie, wo Ihre Inhalte liegen, wie Sie organisiert sind und wer Zugriff darauf haben sollte. RAG steht und fällt mit der Qualität Ihrer Daten. Als nächstes ist es einfach. Komplizieren Sie das Setup nicht unnötig. Nutzen Sie den Datenimportassistenten in Azure AI Search, um nur Einsatzdokumente zu indizieren. Testen Sie mit grundlegenden Abwarten. Stellen Sie sicher, dass Ihre Suche perfekt funktioniert, bevor Sie das LLM hinzufügen. Die meisten RAG-Fehler sind keine Modellprobleme. Es sind Suchprobleme. Letzter Schritt, fügen Sie das LLM hinzu. Sobald Ihre Suche die richtigen Ergebnisse liefert, fügen Sie die Generierung hinzu. Dann verbinden Sie Azure Open AI und schreiben Ihren System-Prompt. Die Sache ist die, RAG ist nichts, das man einfach kauft. Es ist ein Muster, das man aufbaut. Azure liefert Ihnen die Bausteine. Speicher, Suche, Modelle und den Kleber, um alles zu verbinden. Sie müssen nur alles auf die richtige Weise zusammenfügen. Wenn Ihnen dieser Überblick geholfen hat, abonnieren Sie den Kanal für weitere einfache Erklärungen. Schreiben Sie Ihren RAG-Anleitungsfall in den Kommentar. Ich würde gerne wissen, woran Sie gerade arbeiten.