M365Con 2027 – conferenza online gratuita · 11–22 Jan 2027 · 120 sessions→ m365con.net

Blog · Reliqio

Aggiungere un livello LLM a un backend .NET con Semantic Kernel

By ·

Come aggiungiamo funzionalità di AI ai backend .NET esistenti: Semantic Kernel, RAG su Azure AI Search, prompt testati, logging e alcune misure di sicurezza.

Automatically translated with AI from the original post.

Quasi ogni cliente con un backend .NET esistente prima o poi ci chiede la stessa cosa: "Possiamo aggiungere un po' di AI a questo?" Di solito intendono riassunti, una ricerca migliore o un assistente per il supporto. E di solito qualcuno del team ha già proposto un servizio Python separato per farlo.

Si può fare. Ma nella maggior parte dei progetti su cui abbiamo lavorato non era necessario. Semantic Kernel si integra bene in un'app ASP.NET Core, e mantieni la pipeline, il logging e i test che già hai. Ecco più o meno come lo impostiamo.

Nascondere il modello dietro Semantic Kernel

Tratta l'LLM come qualsiasi altra dipendenza esterna, ad esempio un provider di pagamenti. Semantic Kernel ha già un'astrazione IChatCompletionService [1], quindi il tuo codice non tocca mai direttamente l'SDK di un vendor. Registralo nella DI e passare da Azure OpenAI a un altro provider diventa una modifica di configurazione.

In pratica, per noi: il kernel viene registrato una sola volta in Program.cs, ogni caso d'uso ha un piccolo servizio dedicato (TicketSummaryService, per esempio), e nome del deployment, temperature e limiti di token stanno in una classe di opzioni. I controller conoscono solo il servizio. Questo rende anche i test unitari semplici, perché puoi sostituire il completion service con un fake.

Provare RAG prima di pensare al fine-tuning

Il fine-tuning suona impressionante, ma per i dati aziendali il RAG è quasi sempre sufficiente. Indicizziamo i documenti in Azure AI Search con campi vettoriali [2], recuperiamo i primi frammenti per ogni richiesta e li passiamo al modello. È più economico, puoi vedere esattamente cosa ha ricevuto il modello, e quando un documento cambia le risposte cambiano lo stesso giorno.

Alcune cose hanno migliorato la qualità delle risposte più di quanto ci aspettassimo:

  • Dividi i documenti per titoli e sezioni, non per un numero fisso di caratteri.
  • Conserva tenant, lingua e data accanto a ogni frammento, e filtra su questi campi prima del ranking.
  • Usa la ricerca ibrida (parole chiave + vettori). Sui documenti tecnici, la sola ricerca vettoriale perdeva termini esatti come i codici di errore.
  • Restituisci sempre le fonti insieme alla risposta. Gli utenti si fidano di più e individui più rapidamente un recupero sbagliato.

I prompt sono codice, quindi vanno testati

I template dei prompt finiscono nel repository accanto al servizio che li usa. Vengono revisionati nelle pull request come tutto il resto. Teniamo inoltre un piccolo insieme di 20-50 domande con risposte attese ed eseguiamo il test in CI. Se qualcuno "migliora" un prompt e le risposte peggiorano, la build fallisce. Ci ha salvato più di una volta.

Registrare ogni chiamata

Per ogni richiesta registriamo token di prompt e di completamento, latenza, versione del modello e gli ID dei documenti recuperati. Semantic Kernel emette OpenTelemetry, quindi tutto questo compare in Application Insights accanto al resto delle tracce. Senza questo non riesci a spiegare una risposta sbagliata, e non sai quanto costa davvero ogni funzionalità.

Misure di sicurezza

  • Valida l'output strutturato con uno schema JSON prima che il codice lo usi.
  • Passa l'input utente e l'output del modello attraverso Azure AI Content Safety [3].
  • Metti i limiti di richieste e i budget di token per tenant nel middleware, non nel codice che chiama il modello.

Aspettarsi che a volte fallisca

Gli endpoint LLM subiscono throttling, vanno in timeout e ogni tanto restituiscono JSON non valido. Avvolgi le chiamate con retry, timeout e un circuit breaker (Polly o Microsoft.Extensions.Http.Resilience) e mostra all'utente un fallback adeguato invece di un 500. Anche lo streaming aiuta molto: le persone aspettano con più pazienza quando compaiono le prime parole.

Iniziare in piccolo

Quello che ha funzionato per noi:

  1. Scegli prima una funzionalità interna a basso rischio. I riassunti dei ticket sono un buon candidato.
  2. Rilasciala dietro un feature flag a pochi utenti e chiedi un parere sulle risposte.
  3. Ogni settimana controlla tracce e costi e correggi recupero e prompt prima di aggiungere altro.
  4. Mostrala ai clienti solo quando i risultati delle valutazioni e i costi smettono di oscillare.

In sintesi

Fatta così, la parte AI diventa una dipendenza in più nell'architettura. Mantieni il tuo codice .NET, il tuo deployment e il tuo monitoraggio, e puoi cambiare modello quando ne esce uno migliore.

Questa è l'impostazione che usiamo in Reliqio [4]. Lavoriamo con i fondatori come partner tecnico su prodotti B2C basati sull'AI in healthtech, fintech ed e-commerce. Se avete risolto qualcuno di questi punti in modo diverso, mi farebbe piacere saperlo nei commenti.

Sources

  1. ↑ Introduction to Semantic Kernel – Microsoft Learn (2026) · learn.microsoft.com
  2. ↑ Vector search in Azure AI Search – Microsoft Learn (2026) · learn.microsoft.com
  3. ↑ What is Azure AI Content Safety? – Microsoft Learn (2026) · learn.microsoft.com
  4. ↑ Reliqio - AI B2C product development partner – Reliqio (2026) · reliqio.com

Entities in this article

Semantic Kernel Azure AI Search .NET ASP.NET Azure OpenAI Service

Related articles

RSS