Was genau ändert sich also, wenn ein Unternehmen von einem KI-Chatbot zu Dutzende von KI-Tools übergeht? Anfangs wirkt es einfach. Ein Team fügt ein Chatbot für den Kundensupport hinzu. Ein anderes Nutzt-KI zur Durchsuchung von Firmendokumenten und Besprechungsnotizen werden automatisch erstellt. Ein Workflow kann eine E-Mail lesen, eine Anfrage extrahieren und sie an das richtige System senden. Schon bald hat das Unternehmen mehrere Modelle, Agenten, die Aktionen ausführen können und Tools, die auf Geschäftsdaten zugreifen. Jedes Team verbindet sich oft direkt mit einem anderen KI-Anbieter, nutzt eigene Schlüssel, Limits und Sicherheitsregeln. Die Kosten werden schwer nachvollziehbar. Ein Schlüssel kann an die falsche Stelle gelangen. Und wenn ein Agent ein Tool aufruft, hat vielleicht niemand einen klaren Überblick darüber, was er zu tun versucht. Hier kommt das Microsoft AI Gateway ins Spiel. Am Ende dieser Folge werden Sie verstehen, was es ist, wie die Bausteine zusammenpassen und ab wann es für Ihr Unternehmen sinnvoll ist. Stellen Sie es sich wie ein Bürogebäude mit vielen Seiteneingängen vor. Sie könnten jede Tür offen lassen und hoffen, dass sie richtig genutzt werden. Oder Sie führen alle durch einen verwalteten Eingang. Eine Eingangstür für Gänge. Das Microsoft AI Gateway ist eine Reihe von Azure API Management Funktionen, die Ihrem KI-Verkehr einen zentralen Kontrollpunkt geben. Lassen Sie uns das einfach und verständlich aufschlüsse. Stellen Sie sich die KI-Infrastruktur Ihres Unternehmens als modernes Bürogebäude vor. Die KI-Modelle sind Räume, in denen das Denken stattfindet. Ihre Agenten sind Mitarbeiter, die sich durch das Gebäude bewegen und entscheiden, welche genehmigte Aufgabe als nächstes ansteht. Tools sind Servicetüren, die zu Bereichen wie HR, Finanzen, Kundendaten und internen Dateien führen. Das AI Gateway ist die Rezeption und der Sicherheitsdienst am Haupteingang. Es prüft, wer hereinkommt, wendet die Regeln an und protokolliert, wohin Anfragen gehen, bevor Sie den Rest des Gebäudes erreichen. Eine Anfrage folgt einem einfachen Pfad. Eine App, ein Co-Pilot oder ein Agent sendet eine Anfrage an das Gateway. Das Gateway prüft die für diesen Aufrufer geltenden Regeln und leitet Sie dann an das genehmigte Modell, Tool, den Agenten oder die Business API weiter. Und wenn eine Antwort zurückkommt, durchläuft sie erneut das Gateway, bevor sie den Benutzer erreicht. Diese eine Pfad gibt dem Unternehmen die Möglichkeit, Zugrifflimits, Sicherheitsprüfungen und Protokollierung zentral zu verwalten, ohne diese Kontrollen in diese Kontrollen in jede App einzeln einzubauen. Dies trennt zudem zwei Aufgaben, die oft vermischt werden. Anwendungsteams können sich auf die Erfahrung konzentrieren, die die Menschen tatsächlich nutzen. Sie entwickeln den Support-Assistenten, die Dokumentensuche oder den zeitsparenden Workflow. Währenddessen verwaltet das Plattform-Team im Hintergrund die gemeinsamen Regeln. Es entscheidet, welche Dienste zugelassen sind, welche Identitäten sie nutzen dürfen, wie viel Traffic ein Projekt senden kann und was protokolliert wird. Sie möchten nicht, dass jedes Team für jeden Chatbot einen neuen Sicherheitsplan erfinden muss. Microsoft AI Gateway kann vor verschiedenen Arten von KI-Traffic geschaltet werden. Es kann Aufrufe an KI-Modelle sowie Tool-Aufrufe über das Model-Context-Protokoll-MCP verwalten. Es verwaltet zudem den Agent-to-Agent-Traffic A2A und die geschäftlichen APIs, die Ihr Unternehmen bereits nutzt, etwa für die Auftragsprüfung, HR-Richtlinien oder Support-Tickets. Dieser letzte Punkt ist wichtig, da die meisten Unternehmen ihre bestehenden Systeme für die KI-Nutzung nicht verwerfen müssen. Sie benötigen lediglich einen sicheren Weg für die KI-Interaktion mit diesen Systemen und ein Gateway-Lift dabei, diese Verbindung zu kontrollieren. Microsoft AI Gateway ist jedoch kein Modell. Es schreibt selbst keine Antworten. Es ist auch kein Agent-Builder. Sie nutzen es also nicht, um einen HR-Assistenten zu entwerfen oder einem Finanzagenten Aufgaben beizubringen. Und es ersetzt dann nicht Microsoft Foundry, wo Teams KI-Projekte erstellen, testen und verwalten können. Stattdessen fungiert es als Schnittstelle. Foundry unterstützt Sie bei der Arbeit mit KI-Modellen und Agenten, während das Azure API Management AI Gateway den Traffic steuert, den diese Modelle. Agenten und Tools erzeugen, den diese Modelle. Sie kennen Azure API Management vielleicht bereits als Lösung zur Verwaltung herkömmlicher APIs. Eine API ist einfach eine Methode, mit der eine Software bei einer anderen etwas anfragen kann. AI Gateway erweitert dieses Konzept für KI-Anwendungen. Denn KI-Anfragen werfen neue Fragen auf. Wer hat welches Modell verwenden? Wie viele Token wurden verbraucht? Darf dieser Agent dieses Tool aufrufen? Sollte dieser Prompt das Modell überhaupt erreichen? Das Gateway in der Mitte dient als zentraler Ort, um diese Fragen zu beantworten. Der erste Engpass entsteht, wenn jede Anwendung beginnt, Ihren eigenen Modellendpunkt zu wählen. Ein Endpunkt, viele Modelle. Wenn Ihre Anwendung direkt eine Verbindung zu einem einzelnen Modellendpunkt herstellt, ist diese Wahl fest im Code verankert. Oft ist der Code an einen Anbieter, eine spezifische Bereitstellung, eine Azure-Region und feste Limits gebunden. Das funktioniert gut, solange das Projekt klein ist, aber stellen Sie sich vor, Ihr Support-System läuft auf einem Modell in einer Region. Monate später erreicht das Modell seine Kapazitätsgrenze, ein besseres Modell ist günstiger verfügbar oder Ihr Unternehmen muss in eine andere Region umziehen. Ohne eine gemeinsame Ebene muss jedes App-Team seinen Code ändern, erneut testen und ein Update ausrollen. Das führt zu langsame, umständlichen Prozessen. Microsoft AI Gateway bietet Ihren Anwendungen ein stabiles Eingangsportal. Anfragen werden dorthin gesendet und die Modellwahl kann im Hintergrund geändert werden, ohne die App zu beeinflussen. Stellen Sie sich wie eine zentrale Unternehmensrufnummer. Kunden wählen eine Nummer, selbst wenn das Gespräch an ein anderes Team oder Büro weitergeleitet wird. Sie müssen nie wissen, wie die Anfrage intern bearbeitet wird. Mit dem AI Gateway ruft Ihre App einen zugelassenen Endpunkt auf und das Gateway leitet die Anfrage intern an das passende Modell weiter. Microsoft verfolgt zudem einen neueren Ansatz, die Unified Model API. Einfach ausgedrückt erlaubt sie eine Anwendung, Anfragen im OpenAI-Stil zu stellen, während das Gateway diese im Hintergrund mit verschiedenen Modellanbietern verbindet. Ihre App sendet also eine vertraute Art von Anfrage und das Gateway übernimmt die Details des Anbieters Anbieters. Je nach Einrichtung kann die Anfrage an eine Azure OpenAI-Bereitstellung ein Modell in Microsoft Foundry Anthropic, Google Gemini oder Amazon Bedrock gehen. Die Weiterleitung folgt von Ihnen festgelegten Regeln und nicht festprogrammierten Optionen innerhalb der Anwendung. Das gibt dem Plattform-Team Spielraum für Änderungen, ohne die Nutzer der App zu stören. Nehmen wir an, Ihr Unternehmen betreibt einen KI-Assistenten für den Kundsupport. Die meisten Fragen sind einfach. Was ist meine Bestellung? Wie setze ich mein Passwort zurück? Diese können schnell von einem kleineren, günstigeren Modell beantwortet werden, ohne unnötige Kosten zu verursachen. Dann stellt ein Kunde eine lange, ungewöhnliche Frage, die logisches Denken oder Produktwissen erfordert. Das Gateway leitet diese Art von Anfrage an ein leistungsfähigeres Modell. Die Support-App sendet Anfragen weiterhin auf die gleiche Weise, sodass Ihr Team nicht wissen muss, welches Modell die Frage beantwortet hat und Entwickler keine separaten Verbindungen für jede Option einrichten müssen. Was ist mit der Kapazität? KI-Modell-Endpunkte haben Grenzen. Sie können nur eine bestimmte Menge an Datenverkehr in einem Zeitraum bewältigen. Wenn jede Anfrage auf eine einzige Bereitstellung trifft, kann eine Stoßzeit die gesamte Anwendung verlangsamen oder blockieren. Ein Gateway kann den Datenverkehr auf mehrere genehmigte Bereitstellungen verteilen, Anfragen bei Auslastung in eine andere Region leiten oder Backup-Routen nutzen, falls ein Endpunkt ausfällt. Das bedeutet nicht, dass Anfragen zufällig verteilt werden. Wir liegen weiter in Ihre Linie fest. Zum Beispiel erhält der Kundenverkehr Priorität auf Ihrem Hauptmodell, während interne Tests einen anderen Pfad nutzen oder eine Region lokale Nutzer bedient, während eine andere als Backup dient. Der Punkt ist einfach. Ihre Anwendungen verbinden sich mit einem kontrollierten Portal und im Hintergrund kann die Plattform-Modelle Regionen oder Anbieter mit minimaler Unterbrechung anpassen. Das ist wichtig, weil sich die KI schnell entwickelt. Ein Modell, das heute funktioniert, ist nächsten Monat möglicherweise nicht mehr die beste Wahl. Wenn jede App direkt mit Ihrem Anbieter spricht, wird der Modellwechsel für jedes Team zum Projekt. Mit dem Gateway liegt die Entscheidung für das Modell an der zentralen Stelle. Eine kurze Anmerkung zur vereinheitlichten Modell-API. Microsoft führt sie als öffentliche Vorschauversion. Vorschaufunktionen können sich ändern und sind möglicherweise noch nicht für jeden Produktionseinsatz bereit. Dennoch hängt das übergeordnete Muster nicht von dieser einen Funktion ab. Denn Ihr API-Management kann bereits vor Modellendpunkten sitzen, Routing-Regeln anwenden und Ihnen helfen, mehrere Backhands zu verwalten. Die vereinheitlichte Modell-API zielt darauf ab, diese anbieterübergreifende Erfahrung für Anwendungen zu erleichtern. Die Wahl des richtigen Modells ist nur die halbe Miete, denn ein Modell kann eine Frage beantworten. Aber ein Agent kann entscheiden, eine Aktion auszuführen, die in echte Unternehmenssysteme eingreift. Die Steuerung von Agenten und Tools. Ein Agent bringt KI über das bloße Beantworten von Fragen hinaus. Es ist Software, der eine Aufgabe betrachten, aus genehmigten Optionen wählen und ein Tool oder einen Dienst aufrufen kann, um die Arbeit zu erledigen. Ein Personal Agent könnte eine Urlaubsrichtlinie nachschlagen, ein Support Agent eine Bestellung prüfen und ein Finanzagent eine Zahlungsanforderung vorbereiten. Diese Fähigkeit ist nützlich, verändert aber auch das Risikoprofil. Eine falsche Antwort eines Modells verwirrt jemanden, aber ein Agent, der das falsche Tool verwendet, kann Daten offenlegen, einen Datensatz ändern oder einen Prozess auslösen, den er niemals berühren soll. Deshalb brauchen Tools ihre eigene Regel. Sie werden den Begriff MCP oder Model Context Protocol hören. Dellen sie es sich als eine Art Standardanschluss vor, der einem Agenten eine bekannte Methode bietet, um ein Unternehmenstool wie ein Dokumentensuchdienst oder eine API zur Bestellsuche zu finden und zu nutzen. Anstatt für jeden Agenten und jedes System eine eigene Verbindung aufzubauen, bietet MCP den Teams ein gemeinsames Muster. Dann gibt es noch A2A, Agent2Agent, eine Standardmethode für einen Agenten, einander zu kontaktieren. Zum Beispiel fragt ein Support Agent einen Versandagent nach Lieferdetails, anstatt zu versuchen, das Versandsystem selbst zu verstehen. Auf dem Papier klingt das sauber. Aber eine Agentenkette wird kompliziert, wenn jede Verbindung unterschiedliche Zugriffsregeln, versteckte Anmeldinformationen und bekannte Tools hat. Stellen Sie sich einen Finanzagenten vor, der Fragen zu Rechnungen beantwortet. Er sollte nur ein genehmigtes Rechnungssuch-Tool verwenden, aber jemand gibt ihm umfassenden Zugriff auf das Finanzsystem, weil es schneller geht, als ein begrenztes Tool zu definieren. Ein Benutzer sendet eine harmlos aussehende Eingabeaufforderung, aber versteckte Anweisungen in einem angehängten Dokument drängen den Agenten, sondern nicht den Eingang. Wenn der Agent zu viel Zugriff hat, könnte er unnötige Daten anfordern oder einen Arbeitsablauf starten, der eine menschliche Genehmigung erfordern sollte. Der Agent ist nicht böswillig. Er hatte nur zu viel Freiheit bei der Verarbeitung nicht vertrauenswürdiger Eingang. Das Microsoft AI Gateway ermöglicht es Ihnen, Kontrollmechanismen vor MCP-Servern und Business APIs zu schalten. Statt eines direkten Pfades von einer KI-Anwendung zu einer Datenbank, stellen Sie ein kleines, kontrolliertes Tool für eine spezifische Aufgabe bereit. Ein Agent fragt zum Beispiel, überprüfe den Status dieser Bestellung. Das Tool gibt nur den Status zurück, nicht jede Bestellung oder den vollständigen Kundendatensatz. Es ist eine begrenzte Aufgabe und das Gateway prüft, wer fragt, bevor es den Aufruf zulässt. Identität steht im Mittelpunkt dieses Setups. Mit Microsoft Entrer-ID melden sich Apps über verwaltete Identitäten an, anstatt Anbieterschlüssel zu teilen. Eine verwaltete Identität weist sich aus, ohne dass ein Entwickler ein Geheimnis in den Code kopieren muss. Jeder Agent sollte seine eigene Identität haben. So können Sie sehen, welcher Agent ein Tool aufgerufen hat, den Zugriff für einen Agenten widerrufen, ohne andere zu beeinträchtigen und unterschiedliche Regeln anwenden. Ein HR-Agent sollte nicht die Berechtigung eines Finanzagenten erben, nur weil beide KI nutzen. Dies folgt dem Zero Trust Prinzip. Prüfen Sie jede Anfrage, gewähren Sie nur den für die aktuelle Aufgabe benötigten Zugriff und gehen Sie davon aus, dass jeder Prompt oder jede Tool Antwort unsicher sei. In der Praxis erhält der Agent die Berechtigung für ein spezifisches Tun und bestimmte Aktionen. Er kann einen Urlaubstand lesen, aber nicht die Gehaltsabrechnungsdatei herunterladen. Er kann einen Entwurf für ein Support-Ticket erstellen, aber keinen Fall schließen. Das Gateway erwendet außerdem Sicherheitsüberprüfungen auf Prompts und den Tool-Datenverkehr. Wenn eine Anfrage schädliche Inhalte oder Daten enthält, die das System nicht verlassen sollten, stoppt eine Richtlinie diese, bevor sie das Backend erreicht. Kein Filter fängt alles ab, aber die Überprüfung des Datenverkehrs an einem gemeinsamen Punkt ist viel sicherer als darauf zu hoffen, dass jeder Agententwickler denselben Schutz hinzufügt. Sie benötigen außerdem einen Katalog zugelassener Tools. Das API Center fungiert als privater Katalog für APIs und MCP-Dienste, damit Teams das richtige Tool finden, ohne alte Dokumente zu durchsuchen oder unverifizierte Webadressen zu kopieren. Das hilft dabei, die Frage, welches Tool kann man der Agent verwenden, in eine kontrollierte Geschäftsentscheidung zu verwandeln. Sicherheitskontrollen schützen den Pfad, werfen aber auch eine neue Frage auf. Welche Teams nutzen diesen Pfad und wie hoch ist deren KI-Nutzung? Tokenkosten, Limits und Transparenz. KI-Kosten funktionieren anders als eine normale Software-Lizenz. Das Messgerät läuft auf Tokenbasis. Was ist ein Token? Es ist ein kleines Textstück. Ein kurzes Wort möglicherweise ein Token. Ein längeres Wort verbraucht mehr. Das Modell zählt alles, was Sie einsenden. Ihre Frage, die hinzugefügten Anweisungen, alle angehängten Dokumente und die Antwort, die es zurückgibt. Eine einfache Frage verbraucht also sehr wenig. Aber ein Agent, der ein langes Richtliniendokument liest, Folgefragen stellt, ein Tool aufruft und dann eine detaillierte Antwort erstellt, kann weitaus mehr verbrauchen, als Sie erwarten. Das haben Sie wahrscheinlich schon einmal beim Meeting-Transkript gesehen. Sie sehen ein paar Seiten mit Notizen. Das KI-System verarbeitet außerdem seine Systemanweisungen, das Transkript, abgerufene Unternehmensdaten, Tool-Ergebnisse und die endgültige Antwort. Jeder Teil trägt zur Nutzung bei. Deshalb kann ein einziger ausgelasteter Agent ein gemeinsam genutztes Modell mit überraschend schnell erschaffen. Stellen Sie sich ein Team vor, das an einem Freitagnachmittag einen neuen Marketing-Assistenten testet. Jemand gibt ihm eine große Menge an Kampagnen-Dateien und fordert es auf, diese in einer Schleife zu vergleichen, umzuschreiben und zusammenzufassen. Währenddessen ist der Kunden Support auf dieselbe Modellkapazität angewiesen, um Menschen zu helfen. Wenn die Test-Workload das geteilte Kontingent verbraucht, kann der Support-Assistent langsamer werden oder ausfallen, wenn Kunden ihn brauchen. Das Problem ist nicht nur, dass das Unternehmen Geld ausgegeben hat. Die falsche Workload hat die Kapazität der Workload entzogen, die am wichtigsten war. Das Azure API Management KI Gateway kann Limits anwenden, bevor dies geschieht. Sie können Anforderungslimits, Token-Limits und Kontingente für eine App, ein Team, ein Projekt oder ein Nutzer festlegen. Ein Kontingent kann ein kurzes Zeitfenster, Token pro Minute oder einen längeren Zeitraum wie ein tägliches oder monatliches Budget abdecken. Das gibt jeder Workload mit klare Grenzen. Der Marketing-Assistent kann ein Budget erhalten, das seinem Zweck entspricht. Der Kundensupport kann eine eigene Zuteilung und eine höhere Priorität erhalten. Wenn der Marketing-Assistent sein Limit erreicht, kann das Gateway seine nächsten Anfragen ablehnen oder verlangsamen. Da Kundensupport läuft weiter, da ein einzelnes Testprojekt nicht alles verfügbare aufbrauchen kann, dies verändert auch die Diskussion über die monatlichen Kosten. Ohne eine gemeinsame Übersicht erhält ein Finanzteam möglicherweise eine große KI-Rechnung und fragt, wer hat das alles verbraucht? Die Antwort ist schwer zu finden, wenn Teams sich direkt mit gemeinsamen Schlüsseln mit verschiedenen Diensten verbinden. Ein Gateway kann den Aufrufer, das Modell, die Token-Nutzung, den Antwortstatus und die mit einer Anfrage verknüpften Tool-Aufrufe aufzeichnen. Das liefert Ihnen einen klaren Nachweis. Sie können sehen, ob die Ausgaben von einem HR-Assistenten einer Entwickler-Testumgebung, einem kundenorientierten Chatbot oder einem Agenten stammten, der nach einem Fehler immer wieder neu versucht hat. Sie können auch ungewöhnliche Muster erkennen, wie zum Beispiel eine Anwendung, die viel größere Prompts als normal sind. Wenn Ihr Team mit Microsoft Foundry beginnt, kann das Gateway auch mit dieser Arbeit verbunden werden. Foundry-Projekte können Token-Limits auf Projektebene nutzen, während das Gateway die Verkehrsregeln drumherum anwendet. Das gibt KI-Entwicklern einen einfachen Startpunkt, während das Plattform-Team weiterhin einen gemeinsamen Ort zur Verwaltung von Limits und Überwachung hat. Es gibt auch eine nützliche Funktion namens semantisches Caching. Angenommen, ein Mitarbeiter fragt, wo finde ich die leise Richtlinie? Ein paar Sekunden später fragt ein anderer, wo ist unsere Richtlinie für Geschäftsreisen? Die Worte unterscheiden sich zwar, aber die Bedeutung kann so ähnlich sein, dass das Gateway eine passende frühere Antwort wiederverwenden kann, anstatt das Modell erneut aufzurufen. Dies kann Kosten senken und die Antwortzeit beschleunigen. Dies eignet sich nur für Fragen, bei denen eine Wiederverwendung sinnvoll ist. Man würde eine Anfrage zum aktuellen Urlaubsstand oder zum Bestellstatus nicht zwischenspeichern, da sich diese Antworten ändern können. Auch Routing kann helfen, Kosten zu sparen. Ein Unternehmen kann geeignete Aufgaben an ein kostengünstigeres Modell senden, bereits reservierte Kapazitäten nutzen, bevor es für zusätzliche Nutzung zahlt und bei Erreichen eines Limits auf einem Backup-Pfad ausweichen. Denn nachher setzt ein Gateway nicht die Notwendigkeit von Verantwortlichkeit. Teams benötigen Budgets. Jemand muss die Antworten der Modelle überprüfen. Jemand muss entscheiden, ob ein Agent überhaupt existieren sollte. Das Gateway liefert Ihnen das Messinstrument, die Leitplanken und die Protokollierung des Datenverkehrs. Es trifft keine geschäftlichen Entscheidungen für Sie. Sobald Sie den Datenverkehr sehen und steuern können, lässt sich das gesamte System anhand eines alltäglichen Beispiels leichter nachvollziehen. Einfache Anfragereise. Stellen Sie sich eine HR-Assistentin in einem Unternehmen vor. Ein Mitarbeiter fragt, wie viele Tage Elternzeit kann ich nehmen und können Sie die Anfrage für mich starten? Das Ziel ist einfach. Dem Mitarbeiter eine schnelle, hilfreiche Antwort geben und dann beim nächsten genehmigten Schritt helfen. Der HR-Assistent darf jedoch keine Gehaltsdaten herausgeben, nicht alle Personalakten öffnen oder einen Schlüssel des Modellanbieters in seinem Code mitführen. Die Anfrage beginnt, sobald sich der Mitarbeiter anmeldet. Bevor der Assistent etwas an ein Modell oder ein Tool sendet, prüft das Gateway, wer der Mitarbeiter ist, ob er den HR-Assistenten nutzen darf und welche Limits für diese App gelten. Der Mitarbeiter sieht nur ein einfaches Chatfenster, während diese Prüfungen im Hintergrund ablaufen. Als nächstes benötigt der Assistent Antwort. Eine grundlegende Richtlinienfrage kann an den vom Unternehmen genehmigten Modellendpunkt gesendet werden. Wenn dieser Endpunkt ausgelastet ist oder ein festgelegtes Limit erreicht, kann das Gateway einen vom Unternehmen bereits genehmigten Backup-Weg nutzen. Der Mitarbeiter erhält trotzdem eine Antwort über denselben HR-Assistenten, anstatt eine Fehlermeldung zu sehen, nur weil eine Modellbereitstellung überlastet war. Dann bittet der Mitarbeiter darum, die Urlaubsanfrage zu starten. An diesem Punkt benötigt der Agent mehr als nur ein Modell. Er benötigt ein Tool, das die Mitarbeiter Details prüfen und die richtige Anfrage erstellen kann. Der Agent fragt an, ein genehmigtes MCP-Tool für das Urlaubsmanagement nutzen zu dürfen. Das Gateway prüft auch diese Anfrage. Darf dieser HR-Agent dieses Tool aufrufen? Darf dieser Mitarbeiter diese Art von Anfrage starten? Entspricht die Aktion dem Agenten zugewiesene Berechtigung? Erst dann erhält das Tool den Aufruf, das Tool gibt keine riesige Liste mit Mitarbeiterdatensätzen zurück. Es liefert nur, was für die Aufgabe nötig ist. Den Urlaubsanspruch des Mitarbeiters, die geltende Richtlinie und eine Bestätigung, dass der Antrag als Entwurf erstellt wurde. Diese präzise Antwort ist wichtig. Der Agent hat genug Informationen, um zu helfen, erhält aber keinen umfassenden Zugriff, nur weil er eine Frage in natürlicher Sprache gestellt hat. Denken Sie sich nun vor, der Mitarbeiter fügt Text aus einem externen Dokument in den Chat ein. Der Text enthält Anweisungen, die den Assistenten dazu bringen sollen, seine Regeln zu ignorieren oder vertrauliche Informationen anzufordern. Das Gateway kann Sicherheitsprüfungen durchführen, bevor die Eingabe das Modell erreicht oder ein Tool eine Anfrage erhält. Wenn die Anfrage gegen eine Regel verstößt, kann sie dort gestopft werden. Die selbe Art von Prüfung kann eine Antwort überprüfen, bevor sie den Mitarbeiter erreicht. Nicht jedes Problem resultiert zudem aus einer schlechten Eingabe. Ein Modell könnte eine Antwort generieren, die Informationen enthält, die nicht ausgegeben werden sollten. Ein gemeinsamer Kontrollpunkt bietet dem Unternehmen die Möglichkeit, diesen Pfad zu prüfen und einzugreifen. Währenddessen erstellt die Anfrage ein DANS. Das Unternehmen kann das verwendete Token dem HR-Assistentenprojekt zuordnen. Es kann sehen, welches Modell die Frage bearbeitet hat, ob der Toolaufruf erfolgreich war, ob eine Anfrage blockiert wurde und wie lange der Vorgang dauerte. Das macht Support und Überprüfung wesentlich einfacher. Wenn ein HR-Team meldet, dass Mitarbeiter keine Urlaubsanträge erstellen können, kann das Betriebsteam nach fehlgeschlagenen Toolaufrufen suchen. Wenn eine Sicherheitsregel gültige Fragen blockiert, kann das Team das Muster erkennen und die Richtlinie verbessern. Wenn ein Agent plötzlich viel mehr KI-Kapazität als normal verbraucht, wird diese Änderung sichtbar. Und wenn das Unternehmen eine Regel aktualisiert, etwa eine zusätzliche Prüfung vor bestimmten Urlaubsanträgen, kann die Gateway-Richtlinie einmalig angepasst werden. Es muss nicht auf separate Code-Updates in jeder HR-App, jedem Chatbot und Workflow warten, die denselben kontrollierten Pfad nutzen, die denselben Knotzen. Dasselbe Anfragemuster funktioniert weiterhin, wenn das Unternehmen ein weiteres Modell, eine neue Region, mehr interne Tools oder einen weiteren Agenten für eine verwandte HR-Aufgabe hinzufügt. Fangen Sie jedoch klein an. Ein Gateway wird nützlich, sobald KI-Datenverkehr zu gemeinsam genutztem Datenverkehr wird. Wo fängt man an? Wo beginnen Sie also tatsächlich? Wählen Sie zunächst eine einzelne reale Workload aus, vielleicht einen Support-Assistenten, der bereits ein Modell aufruft, oder einen Agenten, den Ihr Team für HR, Finanzen oder interne Dokumentensuche plant. Versuchen Sie nicht, jedes Modell und jedes Tool gleichzeitig in Angriff zu nehmen. Das führt schnell ins Chaos. Anstatt Anbieterschlüssel direkt an jede Anwendung weiterzugeben, platzieren Sie den Modellendpunkt dieser Workload hinter das Azure API Management AI Gateway. Wählen Sie es sich wie einen zentralen Sicherheitscheckpoint für Ihren KI-Datenverkehr vor. Legen Sie dann die Grundlagen fest. Benennen Sie einen klaren Verantwortlichen für den Wirken. Nutzen Sie den Entra-basierten Zugriff, damit nur die richtigen Personen oder Dienste ihn erreichen können. Setzen Sie ein Token-Limit, das genau zur Aufgabe passt, nicht mehr und nicht weniger. Aktivieren Sie die Protokollierung, damit Sie sehen können, was passiert. Fügen Sie eine Content-Safety-Regel hinzu, die Ihr Team testen und überprüfen kann. Fangen Sie einfach an. Sobald der Modellpfad und die Zugriffsgrenzen funktionieren, fügen Sie nacheinander zugelassene MCP-Tools hinzu. Jedes Tool sollte eine enge, fasste Aufgabe und einen klaren Grund für die Nutzung durch den Agenten. Keine unnötigen Extras. Von dort aus wachsen Sie von einem kontrollierten Workload zu gemeinsam genutzten Modellen, Tools und Agenten. Ohne diesen anfänglichen Kontrollpunkt schafft jede neue KI-App einen weiteren unmanaged Pfad zu Unternehmensdaten und eine weitere Zeile auf der KI-Rechnung. Für den nächsten Wissenshappen schauen Sie sich Azure API Management einfach erklärt an. Das ist das Fundament, auf dem das Microsoft AI Gateway aufbaut.