M365Con 2027 – die kostenlose Online-Konferenz · 11–22 Jan 2027 · 120 sessions→ m365con.net

Blog · Reliqio

Eine LLM-Schicht in ein .NET-Backend mit Semantic Kernel einbauen

Von ·

Wie wir KI-Funktionen in bestehende .NET-Backends einbauen: Semantic Kernel, RAG mit Azure AI Search, getestete Prompts, Logging und einige Guardrails.

Automatisch mit KI aus dem Originalbeitrag übersetzt.

Fast jeder Kunde mit einem bestehenden .NET-Backend fragt uns früher oder später dasselbe: "Können wir da etwas KI einbauen?" Gemeint sind meist Zusammenfassungen, bessere Suche oder ein Support-Assistent. Und meist hat schon jemand im Team einen separaten Python-Service dafür vorgeschlagen.

Das kann man machen. In den meisten Projekten, an denen wir gearbeitet haben, war es aber nicht nötig. Semantic Kernel passt gut in eine ASP.NET Core-App, und man behält die vorhandene Pipeline, das Logging und die Tests. So richten wir es in der Regel ein.

Das Modell hinter Semantic Kernel verstecken

Behandeln Sie das LLM wie jede andere externe Abhängigkeit, etwa einen Zahlungsanbieter. Semantic Kernel bringt bereits eine IChatCompletionService-Abstraktion mit [1], sodass Ihr Code nie direkt mit einem Anbieter-SDK spricht. Registrieren Sie den Dienst im DI-Container, und der Wechsel von Azure OpenAI zu einem anderen Anbieter wird zu einer Konfigurationsänderung.

Bei uns sieht das so aus: Der Kernel wird einmal in Program.cs registriert, jeder Anwendungsfall bekommt einen eigenen kleinen Service (zum Beispiel TicketSummaryService), und Deployment-Name, Temperatur und Token-Limits liegen in einer Options-Klasse. Controller kennen nur den Service. Das macht Unit-Tests einfach, weil Sie einen Fake-Completion-Service einsetzen können.

RAG ausprobieren, bevor Sie an Fine-Tuning denken

Fine-Tuning klingt beeindruckend, aber für Geschäftsdaten reicht fast immer RAG. Wir indizieren Dokumente in Azure AI Search mit Vektorfeldern [2], holen für jede Anfrage die wichtigsten Abschnitte und übergeben sie dem Modell. Das ist günstiger, Sie sehen genau, was das Modell erhalten hat, und wenn sich ein Dokument ändert, ändern sich die Antworten noch am selben Tag.

Einige Dinge haben die Antwortqualität stärker verbessert, als wir erwartet hatten:

  • Teilen Sie Dokumente nach Überschriften und Abschnitten auf, nicht nach einer festen Zeichenzahl.
  • Halten Sie Mandant, Sprache und Datum zu jedem Abschnitt vor und filtern Sie darauf, bevor gerankt wird.
  • Nutzen Sie die Hybridsuche (Schlüsselwörter + Vektoren). Bei technischer Dokumentation fand die reine Vektorsuche exakte Begriffe wie Fehlercodes nicht zuverlässig.
  • Geben Sie die Quellen immer zusammen mit der Antwort zurück. Nutzer vertrauen der Antwort dann mehr, und schlechte Treffer fallen schneller auf.

Prompts sind Code, also testen Sie sie

Prompt-Vorlagen gehören ins Repository, neben den Service, der sie verwendet. Sie werden wie alles andere in Pull Requests geprüft. Außerdem pflegen wir eine kleine Menge von 20 bis 50 Fragen mit erwarteten Antworten und führen sie in der CI aus. Wenn jemand einen Prompt "verbessert" und die Antworten schlechter werden, schlägt der Build fehl. Das hat uns schon mehrfach geholfen.

Jeden Aufruf protokollieren

Für jede Anfrage protokollieren wir Prompt- und Completion-Tokens, Latenz, Modellversion und die IDs der abgerufenen Dokumente. Semantic Kernel sendet OpenTelemetry, daher erscheint all das in Application Insights neben den übrigen Traces. Ohne das können Sie eine falsche Antwort nicht erklären, und Sie wissen nicht, was jede Funktion tatsächlich kostet.

Guardrails

  • Validieren Sie strukturierte Ausgaben gegen ein JSON-Schema, bevor Ihr Code sie verwendet.
  • Schicken Sie Nutzereingaben und Modellausgaben durch Azure AI Content Safety [3].
  • Legen Sie Rate-Limits und Token-Budgets pro Mandant in der Middleware fest, nicht im Code, der das Modell aufruft.

Mit gelegentlichen Fehlern rechnen

LLM-Endpunkte werden gedrosselt, laufen in Timeouts und liefern hin und wieder kaputtes JSON. Umschließen Sie die Aufrufe mit Retries, Timeouts und einem Circuit Breaker (Polly oder Microsoft.Extensions.Http.Resilience), und zeigen Sie dem Nutzer eine saubere Ausweichlösung statt eines 500er-Fehlers. Streaming hilft ebenfalls sehr: Menschen warten geduldiger, sobald die ersten Wörter erscheinen.

Klein anfangen

Bei uns hat sich Folgendes bewährt:

  1. Wählen Sie zuerst eine interne Funktion mit geringem Risiko. Ticket-Zusammenfassungen sind ein guter Kandidat.
  2. Liefern Sie sie hinter einem Feature-Flag an wenige Nutzer aus und holen Sie Feedback zu den Antworten ein.
  3. Prüfen Sie jede Woche Traces und Kosten und passen Sie Retrieval und Prompts an, bevor Sie etwas Neues hinzufügen.
  4. Zeigen Sie es Kunden erst, wenn die Evaluierungsergebnisse und Kosten stabil sind.

Zusammengefasst

Auf diese Weise wird der KI-Teil nur eine weitere Abhängigkeit in Ihrer Architektur. Sie behalten Ihren .NET-Code, Ihr Deployment und Ihr Monitoring, und Sie können das Modell wechseln, wenn etwas Besseres erscheint.

Dieses Setup nutzen wir bei Reliqio [4]. Wir begleiten Gründer als technischer Partner bei KI-gestützten B2C-Produkten in Healthtech, Fintech und E-Commerce. Wenn Sie manches davon anders gelöst haben, freuen wir uns über Ihre Erfahrungen in den Kommentaren.

Quellen

  1. ↑ Introduction to Semantic Kernel – Microsoft Learn (2026) · learn.microsoft.com
  2. ↑ Vector search in Azure AI Search – Microsoft Learn (2026) · learn.microsoft.com
  3. ↑ What is Azure AI Content Safety? – Microsoft Learn (2026) · learn.microsoft.com
  4. ↑ Reliqio - AI B2C product development partner – Reliqio (2026) · reliqio.com
Show folgenSpotify

Entitäten in diesem Artikel

Semantic Kernel Azure AI Search .NET ASP.NET Azure OpenAI Service

Verwandte Artikel

RSS