AI guardrails
Konzept
Kontrollen wie Systemprompts, eingeschränkte Funktionsbereitstellung und Berechtigungsebenen, die festlegen, was Benutzer ein KI-Modell oder einen Agenten tun lassen können. Sie dienen dazu, Datenlecks und Prompt Injection zu verhindern.
Ebenfalls besprochen
In Folgen zu AI guardrails geht es auch um Agentic SDLC, GitHub Copilot CLI, GitHub Copilot coding agent, Gentle AI, Gentleman Programming und Ralph loop.
Beschreibung
KI-Guardrails sind Steuerungen, die begrenzen, was Benutzer mit einem KI-Modell oder Agenten tun können. Typische Beispiele sind Systemprompts, eingeschränkte Funktionsbereitstellung und Berechtigungsebenen. Sie dienen dazu, Datenlecks und Prompt Injection zu verhindern, und sie gehören zum umfassenderen Thema KI-Governance, die die Richtlinien und Verantwortlichkeiten umfasst, die Guardrails auf technischer Ebene umsetzen.
Die Notwendigkeit von Guardrails ergibt sich aus der Art und Weise, wie KI-gestützte Anwendungen genutzt werden. In der M365.FM-Episode "How AI Changed Software Development Forever — Building the Agentic Future with Andre Baltieri [MVP]" wird Prompt Injection als neue Angriffsfläche beschrieben. Benutzer können Prompts absichtlich manipulieren, versuchen, Informationen außerhalb des vorgesehenen Kontexts abzurufen, Unternehmensressourcen verbrauchen oder ein KI-System dazu bringen, Aktionen auszuführen, die seine Entwickler nicht vorhergesehen haben. Die Episode erörtert Systemanweisungen, anwendungsseitige Einschränkungen und kontrollierten Zugriff als Antworten darauf.
Ein konkretes Muster aus dieser Episode betrifft den Datenzugriff. Anstatt einem Agenten uneingeschränkten Datenbankzugriff zu gewähren, sollten Entwickler sorgfältig kontrollierte Funktionen bereitstellen, die nur die für eine bestimmte Aufgabe erforderlichen Informationen zurückgeben. Dies ist am wichtigsten, wenn Agenten Unternehmensdaten lesen oder ändern können, denn dann legt die Funktionsebene die Grenze dessen fest, was der Agent sehen oder ändern kann, unabhängig davon, was ein Benutzer im Prompt eingibt. In diesem Sinne ist ein Guardrail nicht nur eine Textanweisung an das Modell, sondern auch eine strukturelle Begrenzung der Werkzeuge und Daten, die das Modell erreichen kann.
Guardrails spielen auch im Kontext von Kosten und Verantwortung eine Rolle. Die Episode "How to Build Low-Cost AI Agents in Microsoft Cloud" enthält einen Abschnitt zu verantwortungsvollen KI-Guardrails in Azure. Dort heißt es, Organisationen sollten alle Agenten an interne Governance-Richtlinien ausrichten, vertrauliche Daten isolieren und den Zugriff so beschränken, dass Agenten nur das nutzen, was sie benötigen. Außerdem wird empfohlen, Wissens- und Werkzeugintegrationen zu standardisieren, um Doppelarbeit zu verringern und die Wartung zu vereinfachen, und stets deutlich zu machen, wenn ein KI-Agent an einer Interaktion beteiligt ist. Dieselbe Episode verknüpft Monitoring mit dieser Arbeit, nennt Werkzeuge wie Evidently AI, um ungewöhnliche Ausgabenmuster zu erkennen, und rät, das Monitoring-Setup häufig zu überprüfen, damit Probleme behoben werden, bevor sie größer werden.
Die regulatorische Seite behandelt die Episode "Govern High-Risk Power Platform AI Under the EU AI Act". Diese Episode beschreibt, was schiefgeht, wenn Organisationen Copilots oder Chatbots ohne verantwortungsvolle KI-Guardrails einsetzen. Sie weist darauf hin, dass moderne große Sprachmodelle nicht deterministisch sind, dass Prompt Injection keine hypothetische Gefahr ist und dass fehlerhafte Ausgaben sich schneller durch Geschäftsprozesse ausbreiten können, als es ein menschlicher Fehler täte. Anschließend stellt sie einen Bezug zum EU AI Act und dessen Auswirkungen auf Entwickler von Power Platform und Microsoft 365 her, insbesondere für Anwendungen, die Bereiche wie Beschäftigung oder Kreditvergabe berühren.
Zusammengenommen beschreiben die Quellen Guardrails als mehrschichtige Maßnahmen und nicht als einzelne Funktion. Ein Systemprompt legt das beabsichtigte Verhalten fest, eingeschränkte Funktionsbereitstellung begrenzt, was ein Agent mit Unternehmensdaten tun kann, Berechtigungsebenen steuern, wer worauf zugreifen kann, und Governance-Richtlinien sowie Monitoring sorgen für Aufsicht. Entscheidungen zu Guardrails betreffen typischerweise die Frage, wie eng der Zugriff von Agenten zu begrenzen ist, wie Benutzereingaben als potenziell feindselig zu behandeln sind und wie technische Steuerungen mit internen Richtlinien und geltender Regulierung in Einklang gebracht werden.
Überblick, mit KI aus M365.FM-Folgen und den Fakten dieser Seite zusammengestellt. Du kannst ihn unten über „Bearbeiten“ verbessern.
| Typ | Konzept |
|---|---|
| Art | Praxis |
Häufige Fragen
Mit KI markierte Fragen wurden mit KI aus den Fakten dieser Seite geschrieben.
Was sind KI-Guardrails? (KI)
KI-Guardrails sind Steuerungen wie Systemprompts, eingeschränkte Funktionsbereitstellung und Berechtigungsebenen, die begrenzen, was Benutzer mit einem KI-Modell oder Agenten tun können. Sie dienen dazu, Datenlecks und Prompt Injection zu verhindern.
Wie helfen Guardrails gegen Prompt Injection? (KI)
Die Episode über die agentische Zukunft beschreibt Prompt Injection als neue Angriffsfläche, bei der Benutzer Prompts manipulieren, um Informationen außerhalb des vorgesehenen Kontexts abzurufen. Systemanweisungen, anwendungsseitige Einschränkungen und kontrollierter Zugriff werden als Möglichkeiten genannt, dies zu begrenzen.
Warum kontrollierte Funktionen statt direktem Datenbankzugriff für einen Agenten bereitstellen? (KI)
Laut der Episode mit Andre Baltieri geben sorgfältig kontrollierte Funktionen nur die Informationen zurück, die für eine bestimmte Aufgabe erforderlich sind. Dies ist besonders wichtig, wenn Agenten Unternehmensdaten lesen oder ändern können.
Community-Wiki
Oben die Kurzinfo, unten das Wissen der Community: ergänze praktische Tipps, Beispiele oder Korrekturen. Neue Beiträge werden zuerst geprüft, bewährte Mitglieder veröffentlichen direkt.
Experten und Firmen zu diesem Thema
Dieses Thema hat noch niemand im Profil angegeben. Trag es in deinem Profil ein.
Gepflegt von Mirko Peters (Microsoft MVP) · Zuletzt aktualisiert: