Dodawanie warstwy LLM do backendu .NET z Semantic Kernel
By Reliqio ·
Jak dodajemy funkcje AI do istniejących backendów .NET: Semantic Kernel, RAG na Azure AI Search, przetestowane prompty, logowanie i kilka zabezpieczeń.
Automatically translated with AI from the original post.
Prawie każdy klient z istniejącym backendem .NET prędzej czy później pyta nas o to samo: "Czy możemy dodać do tego trochę AI?" Zwykle chodzi o podsumowania, lepsze wyszukiwanie albo asystenta wsparcia. I zwykle ktoś w zespole już zaproponował osobny serwis w Pythonie.
Można tak zrobić. Ale w większości projektów, w których pracowaliśmy, nie było to potrzebne. Semantic Kernel dobrze pasuje do aplikacji ASP.NET Core, a Ty zachowujesz istniejący pipeline, logowanie i testy. Oto mniej więcej, jak to konfigurujemy.
Ukryj model za Semantic Kernel
Traktuj LLM jak każdą inną zewnętrzną zależność, na przykład dostawcę płatności. Semantic Kernel ma już abstrakcję IChatCompletionService [1], więc Twój kod nigdy nie dotyka bezpośrednio SDK dostawcy. Zarejestruj ją w DI, a przejście z Azure OpenAI na innego dostawcę staje się zmianą konfiguracji.
U nas wygląda to tak: kernel jest rejestrowany raz w Program.cs, każdy przypadek użycia ma własny mały serwis (na przykład TicketSummaryService), a nazwa wdrożenia, temperatura i limity tokenów są w klasie opcji. Kontrolery znają tylko serwis. Dzięki temu testy jednostkowe są proste, bo można podmienić serwis na fałszywy.
Wypróbuj RAG, zanim pomyślisz o fine-tuningu
Fine-tuning brzmi imponująco, ale przy danych biznesowych RAG prawie zawsze wystarcza. Indeksujemy dokumenty w Azure AI Search z polami wektorowymi [2], dla każdego zapytania pobieramy kilka najlepszych fragmentów i przekazujemy je modelowi. Jest to tańsze, widzisz dokładnie, co model dostał, a gdy dokument się zmienia, odpowiedzi zmieniają się tego samego dnia.
Kilka rzeczy, które poprawiły jakość odpowiedzi bardziej, niż się spodziewaliśmy:
- Dziel dokumenty według nagłówków i sekcji, a nie według stałej liczby znaków.
- Trzymaj przy każdym fragmencie najemcę, język i datę i filtruj po nich przed rankingiem.
- Używaj wyszukiwania hybrydowego (słowa kluczowe + wektory). W dokumentacji technicznej czyste wyszukiwanie wektorowe ciągle pomijało dokładne terminy, na przykład kody błędów.
- Zawsze zwracaj źródła razem z odpowiedzią. Użytkownicy bardziej ufają takiej odpowiedzi, a złe wyszukiwanie łatwiej zauważyć.
Prompty to kod, więc je testuj
Szablony promptów trafiają do repozytorium obok serwisu, który ich używa. Przechodzą przez przegląd w pull requestach, jak wszystko inne. Trzymamy też zestaw 20-50 pytań z oczekiwanymi odpowiedziami i uruchamiamy go w CI. Jeśli ktoś "ulepszy" prompt, a odpowiedzi się pogorszą, build się wywala. Kilka razy już nas to uratowało.
Loguj każde wywołanie
Dla każdego żądania logujemy tokeny promptu i odpowiedzi, opóźnienie, wersję modelu oraz identyfikatory pobranych dokumentów. Semantic Kernel emituje OpenTelemetry, więc wszystko to pojawia się w Application Insights obok reszty śladów. Bez tego nie da się wyjaśnić złej odpowiedzi i nie wiadomo, ile kosztuje każda funkcja.
Zabezpieczenia
- Waliduj strukturalne wyjście względem schematu JSON, zanim kod z niego skorzysta.
- Przepuszczaj dane wejściowe użytkownika i wyjście modelu przez Azure AI Content Safety [3].
- Limity zapytań i budżety tokenów na najemcę umieszczaj w middleware, a nie w kodzie wywołującym model.
Spodziewaj się czasem awarii
Endpointy LLM bywają ograniczane, przekraczają limity czasu i od czasu do czasu zwracają zepsuty JSON. Otocz wywołania ponowieniami, timeoutami i circuit breakerem (Polly lub Microsoft.Extensions.Http.Resilience) i pokaż użytkownikowi sensowny fallback zamiast błędu 500. Duże znaczenie ma też streaming: ludzie znacznie cierpliwiej czekają, gdy pojawiają się pierwsze słowa.
Zacznij od małego
U nas sprawdziło się takie podejście:
- Najpierw wybierz jedną wewnętrzną funkcję o niskim ryzyku. Dobrym kandydatem są podsumowania zgłoszeń.
- Wdróż ją za flagą funkcji dla kilku użytkowników i zbieraj opinie o odpowiedziach.
- Co tydzień przeglądaj ślady i koszty, i koryguj wyszukiwanie oraz prompty, zanim dodasz cokolwiek nowego.
- Pokazuj to klientom dopiero wtedy, gdy wyniki ewaluacji i koszty przestaną skakać.
Podsumowanie
Zrobiona w ten sposób część AI jest po prostu kolejną zależnością w architekturze. Zachowujesz kod .NET, wdrożenia i monitoring, a model możesz zmienić, gdy pojawi się lepszy.
To konfiguracja, której używamy w Reliqio [4]. Jako partner techniczny współpracujemy z założycielami nad produktami B2C opartymi na AI w healthtech, fintech i e-commerce. Jeśli rozwiązaliście któryś z tych problemów inaczej, chętnie przeczytam o tym w komentarzach.
Sources
- ↑ Introduction to Semantic Kernel – Microsoft Learn (2026) · learn.microsoft.com
- ↑ Vector search in Azure AI Search – Microsoft Learn (2026) · learn.microsoft.com
- ↑ What is Azure AI Content Safety? – Microsoft Learn (2026) · learn.microsoft.com
- ↑ Reliqio - AI B2C product development partner – Reliqio (2026) · reliqio.com