Een LLM-laag toevoegen aan een .NET-backend met Semantic Kernel
By Reliqio ·
Hoe we AI-functies toevoegen aan bestaande .NET-backends: Semantic Kernel, RAG op Azure AI Search, geteste prompts, logging en enkele guardrails.
Automatically translated with AI from the original post.
Bijna elke klant met een bestaande .NET-backend vraagt vroeg of laat hetzelfde: "Kunnen we hier wat AI aan toevoegen?" Meestal bedoelen ze samenvattingen, betere zoekfunctie of een supportassistent. En meestal heeft iemand in het team al voorgesteld om er een aparte Python-service voor te bouwen.
Dat kan. Maar in de meeste projecten waar we aan werkten was dat niet nodig. Semantic Kernel past prima in een ASP.NET Core-app, en je behoudt je bestaande pipeline, logging en tests. Zo zetten we het meestal op.
Verberg het model achter Semantic Kernel
Behandel de LLM zoals elke andere externe afhankelijkheid, bijvoorbeeld een betaalprovider. Semantic Kernel heeft al een IChatCompletionService-abstractie [1], dus je code raakt de SDK van een leverancier nooit rechtstreeks aan. Registreer het in DI, en overstappen van Azure OpenAI naar een andere provider wordt een configuratiewijziging.
Bij ons ziet dat er zo uit: de kernel wordt één keer geregistreerd in Program.cs, elke use case krijgt een eigen kleine service (bijvoorbeeld TicketSummaryService), en deploymentnaam, temperatuur en tokenlimieten staan in een options-klasse. Controllers kennen alleen de service. Dat maakt unit tests eenvoudig, omdat je een nep-completion-service kunt injecteren.
Probeer RAG voordat je aan fine-tuning denkt
Fine-tuning klinkt indrukwekkend, maar voor zakelijke data is RAG bijna altijd genoeg. We indexeren documenten in Azure AI Search met vectorvelden [2], halen per verzoek de bovenste paar fragmenten op en geven die aan het model mee. Het is goedkoper, je ziet precies welke informatie het model kreeg, en als een document wijzigt, veranderen de antwoorden dezelfde dag.
Enkele dingen die de antwoordkwaliteit meer hielpen dan we verwachtten:
- Splits documenten op koppen en secties, niet op een vast aantal tekens.
- Bewaar tenant, taal en datum naast elk fragment, en filter daarop voordat je rangschikt.
- Gebruik hybride zoeken (trefwoorden + vectoren). Bij technische documentatie miste pure vectorzoeking exacte termen zoals foutcodes.
- Geef altijd de bronnen bij het antwoord. Gebruikers vertrouwen het dan meer, en je ziet slechte retrieval sneller.
Prompts zijn code, dus test ze
Prompttemplates gaan in de repo, naast de service die ze gebruikt. Ze worden net als al het andere gereviewd in pull requests. We houden ook een kleine set van 20 tot 50 vragen met verwachte antwoorden bij en draaien die in CI. Als iemand een prompt "verbetert" en de antwoorden slechter worden, faalt de build. Dit heeft ons al meer dan eens geholpen.
Log elke aanroep
Voor elk verzoek loggen we prompt- en completion-tokens, latency, modelversie en de ID's van de opgehaalde documenten. Semantic Kernel levert OpenTelemetry, dus dit alles verschijnt in Application Insights naast de rest van de traces. Zonder dit kun je een fout antwoord niet verklaren, en weet je niet wat elke functie werkelijk kost.
Guardrails
- Valideer gestructureerde output met een JSON-schema voordat je code die gebruikt.
- Haal gebruikersinvoer en modeloutput door Azure AI Content Safety [3].
- Zet rate limits en tokenbudgetten per tenant in middleware, niet in de code die het model aanroept.
Reken erop dat het soms faalt
LLM-endpoints worden gethrottled, time-outen en geven af en toe kapotte JSON terug. Omring de aanroepen met retries, timeouts en een circuit breaker (Polly of Microsoft.Extensions.Http.Resilience) en toon de gebruiker een nette fallback in plaats van een 500. Streaming helpt ook veel: mensen wachten geduldiger zodra de eerste woorden verschijnen.
Begin klein
Wat voor ons heeft gewerkt:
- Kies eerst één interne functie met weinig risico. Ticketsamenvattingen zijn een goede kandidaat.
- Lever die achter een feature flag aan enkele gebruikers en vraag om feedback op de antwoorden.
- Bekijk elke week de traces en kosten, en pas retrieval en prompts aan voordat je iets nieuws toevoegt.
- Toon het aan klanten pas als de evaluatieresultaten en kosten stabiel zijn.
Samengevat
Zo aangepakt wordt het AI-deel gewoon een extra afhankelijkheid in je architectuur. Je behoudt je .NET-code, je deployment en je monitoring, en je kunt van model wisselen wanneer er iets beters uitkomt.
Dit is de opzet die wij gebruiken bij Reliqio [4]. We werken met oprichters als technische partner aan AI-gedreven B2C-producten in healthtech, fintech en e-commerce. Als je dit ergens anders hebt opgelost, hoor ik graag hoe in de reacties.
Sources
- ↑ Introduction to Semantic Kernel – Microsoft Learn (2026) · learn.microsoft.com
- ↑ Vector search in Azure AI Search – Microsoft Learn (2026) · learn.microsoft.com
- ↑ What is Azure AI Content Safety? – Microsoft Learn (2026) · learn.microsoft.com
- ↑ Reliqio - AI B2C product development partner – Reliqio (2026) · reliqio.com