M365Con 2027 – bezpłatna konferencja online · 11–22 Jan 2027 · 120 sessions→ m365con.net

Blog · Reliqio

Dodawanie warstwy LLM do backendu .NET z Semantic Kernel

By ·

Jak dodajemy funkcje AI do istniejących backendów .NET: Semantic Kernel, RAG na Azure AI Search, przetestowane prompty, logowanie i kilka zabezpieczeń.

Automatically translated with AI from the original post.

Prawie każdy klient z istniejącym backendem .NET prędzej czy później pyta nas o to samo: "Czy możemy dodać do tego trochę AI?" Zwykle chodzi o podsumowania, lepsze wyszukiwanie albo asystenta wsparcia. I zwykle ktoś w zespole już zaproponował osobny serwis w Pythonie.

Można tak zrobić. Ale w większości projektów, w których pracowaliśmy, nie było to potrzebne. Semantic Kernel dobrze pasuje do aplikacji ASP.NET Core, a Ty zachowujesz istniejący pipeline, logowanie i testy. Oto mniej więcej, jak to konfigurujemy.

Ukryj model za Semantic Kernel

Traktuj LLM jak każdą inną zewnętrzną zależność, na przykład dostawcę płatności. Semantic Kernel ma już abstrakcję IChatCompletionService [1], więc Twój kod nigdy nie dotyka bezpośrednio SDK dostawcy. Zarejestruj ją w DI, a przejście z Azure OpenAI na innego dostawcę staje się zmianą konfiguracji.

U nas wygląda to tak: kernel jest rejestrowany raz w Program.cs, każdy przypadek użycia ma własny mały serwis (na przykład TicketSummaryService), a nazwa wdrożenia, temperatura i limity tokenów są w klasie opcji. Kontrolery znają tylko serwis. Dzięki temu testy jednostkowe są proste, bo można podmienić serwis na fałszywy.

Wypróbuj RAG, zanim pomyślisz o fine-tuningu

Fine-tuning brzmi imponująco, ale przy danych biznesowych RAG prawie zawsze wystarcza. Indeksujemy dokumenty w Azure AI Search z polami wektorowymi [2], dla każdego zapytania pobieramy kilka najlepszych fragmentów i przekazujemy je modelowi. Jest to tańsze, widzisz dokładnie, co model dostał, a gdy dokument się zmienia, odpowiedzi zmieniają się tego samego dnia.

Kilka rzeczy, które poprawiły jakość odpowiedzi bardziej, niż się spodziewaliśmy:

  • Dziel dokumenty według nagłówków i sekcji, a nie według stałej liczby znaków.
  • Trzymaj przy każdym fragmencie najemcę, język i datę i filtruj po nich przed rankingiem.
  • Używaj wyszukiwania hybrydowego (słowa kluczowe + wektory). W dokumentacji technicznej czyste wyszukiwanie wektorowe ciągle pomijało dokładne terminy, na przykład kody błędów.
  • Zawsze zwracaj źródła razem z odpowiedzią. Użytkownicy bardziej ufają takiej odpowiedzi, a złe wyszukiwanie łatwiej zauważyć.

Prompty to kod, więc je testuj

Szablony promptów trafiają do repozytorium obok serwisu, który ich używa. Przechodzą przez przegląd w pull requestach, jak wszystko inne. Trzymamy też zestaw 20-50 pytań z oczekiwanymi odpowiedziami i uruchamiamy go w CI. Jeśli ktoś "ulepszy" prompt, a odpowiedzi się pogorszą, build się wywala. Kilka razy już nas to uratowało.

Loguj każde wywołanie

Dla każdego żądania logujemy tokeny promptu i odpowiedzi, opóźnienie, wersję modelu oraz identyfikatory pobranych dokumentów. Semantic Kernel emituje OpenTelemetry, więc wszystko to pojawia się w Application Insights obok reszty śladów. Bez tego nie da się wyjaśnić złej odpowiedzi i nie wiadomo, ile kosztuje każda funkcja.

Zabezpieczenia

  • Waliduj strukturalne wyjście względem schematu JSON, zanim kod z niego skorzysta.
  • Przepuszczaj dane wejściowe użytkownika i wyjście modelu przez Azure AI Content Safety [3].
  • Limity zapytań i budżety tokenów na najemcę umieszczaj w middleware, a nie w kodzie wywołującym model.

Spodziewaj się czasem awarii

Endpointy LLM bywają ograniczane, przekraczają limity czasu i od czasu do czasu zwracają zepsuty JSON. Otocz wywołania ponowieniami, timeoutami i circuit breakerem (Polly lub Microsoft.Extensions.Http.Resilience) i pokaż użytkownikowi sensowny fallback zamiast błędu 500. Duże znaczenie ma też streaming: ludzie znacznie cierpliwiej czekają, gdy pojawiają się pierwsze słowa.

Zacznij od małego

U nas sprawdziło się takie podejście:

  1. Najpierw wybierz jedną wewnętrzną funkcję o niskim ryzyku. Dobrym kandydatem są podsumowania zgłoszeń.
  2. Wdróż ją za flagą funkcji dla kilku użytkowników i zbieraj opinie o odpowiedziach.
  3. Co tydzień przeglądaj ślady i koszty, i koryguj wyszukiwanie oraz prompty, zanim dodasz cokolwiek nowego.
  4. Pokazuj to klientom dopiero wtedy, gdy wyniki ewaluacji i koszty przestaną skakać.

Podsumowanie

Zrobiona w ten sposób część AI jest po prostu kolejną zależnością w architekturze. Zachowujesz kod .NET, wdrożenia i monitoring, a model możesz zmienić, gdy pojawi się lepszy.

To konfiguracja, której używamy w Reliqio [4]. Jako partner techniczny współpracujemy z założycielami nad produktami B2C opartymi na AI w healthtech, fintech i e-commerce. Jeśli rozwiązaliście któryś z tych problemów inaczej, chętnie przeczytam o tym w komentarzach.

Sources

  1. ↑ Introduction to Semantic Kernel – Microsoft Learn (2026) · learn.microsoft.com
  2. ↑ Vector search in Azure AI Search – Microsoft Learn (2026) · learn.microsoft.com
  3. ↑ What is Azure AI Content Safety? – Microsoft Learn (2026) · learn.microsoft.com
  4. ↑ Reliqio - AI B2C product development partner – Reliqio (2026) · reliqio.com
Obserwuj podcastSpotify

Entities in this article

Semantic Kernel Azure AI Search .NET ASP.NET Azure OpenAI Service

Related articles

RSS