Adicionar uma Camada de LLM a um Backend .NET com Semantic Kernel
By Reliqio ·
Como adicionamos funcionalidades de IA a backends .NET existentes: Semantic Kernel, RAG no Azure AI Search, prompts testados, registo de logs e algumas barreiras de segurança.
Automatically translated with AI from the original post.
Quase todos os clientes com um backend .NET existente acabam por fazer a mesma pergunta: "Podemos adicionar alguma IA a isto?" Normalmente referem-se a resumos, pesquisas melhoradas ou um assistente de suporte. E normalmente alguém da equipa já sugeriu um serviço Python separado para isso.
Pode fazer-se assim. Mas na maioria dos projetos em que trabalhámos, não foi necessário. O Semantic Kernel integra-se bem numa aplicação ASP.NET Core, e mantém-se o pipeline, o registo de logs e os testes existentes. Eis, em termos gerais, como o configuramos.
Esconder o modelo atrás do Semantic Kernel
Trate o LLM como qualquer outra dependência externa, por exemplo, um fornecedor de pagamentos. O Semantic Kernel já tem uma abstração IChatCompletionService [1], pelo que o seu código nunca toca diretamente no SDK de um fornecedor. Registe-o no DI, e passar do Azure OpenAI para outro fornecedor passa a ser apenas uma alteração de configuração.
Na prática, para nós: o kernel é registado uma vez no Program.cs, cada caso de uso tem o seu pequeno serviço (por exemplo, TicketSummaryService), e o nome da implementação, a temperatura e os limites de tokens vivem numa classe de opções. Os controladores só conhecem o serviço. Isto também facilita os testes unitários, porque pode substituir o serviço de completação por um falso.
Experimentar RAG antes de pensar em fine-tuning
O fine-tuning soa impressionante, mas para dados de negócio o RAG é quase sempre suficiente. Indexamos documentos no Azure AI Search com campos vetoriais [2], obtemos os principais fragmentos para cada pedido e enviamo-los ao modelo. É mais barato, consegue ver exatamente o que foi dado ao modelo e, quando um documento muda, as respostas mudam no mesmo dia.
Algumas coisas que melhoraram a qualidade das respostas mais do que esperávamos:
- Dividir os documentos por títulos e secções, e não por um número fixo de caracteres.
- Manter o tenant, o idioma e a data junto de cada fragmento, e filtrar por eles antes da ordenação.
- Usar pesquisa híbrida (palavras-chave + vetores). Em documentação técnica, a pesquisa só vetorial continuava a falhar termos exatos como códigos de erro.
- Devolver sempre as fontes juntamente com a resposta. Os utilizadores confiam mais, e deteta-se mais depressa uma recuperação fraca.
Os prompts são código, por isso testem-se
Os modelos de prompt vão para o repositório, junto do serviço que os usa. São revistos em pull requests como tudo o resto. Mantemos também um conjunto pequeno de 20 a 50 perguntas com respostas esperadas e executamo-lo no CI. Se alguém "melhorar" um prompt e as respostas piorarem, a build falha. Isto já nos poupou mais do que uma vez.
Registar cada chamada
Para cada pedido registamos os tokens de prompt e de completação, a latência, a versão do modelo e os IDs dos documentos recuperados. O Semantic Kernel emite OpenTelemetry, pelo que tudo isto aparece no Application Insights junto com o resto dos traces. Sem isto, não se consegue explicar uma resposta errada, nem se sabe quanto custa cada funcionalidade.
Barreiras de segurança
- Validar a saída estruturada contra um esquema JSON antes de o código a usar.
- Passar o input do utilizador e a saída do modelo pelo Azure AI Content Safety [3].
- Colocar limites de pedidos e orçamentos de tokens por tenant em middleware, e não no código que chama o modelo.
Contar com falhas ocasionais
Os endpoints de LLM sofrem throttling, têm timeouts e, de vez em quando, devolvem JSON inválido. Envolva as chamadas com retries, timeouts e um circuit breaker (Polly ou Microsoft.Extensions.Http.Resilience) e mostre ao utilizador um fallback adequado em vez de um erro 500. O streaming também ajuda muito: as pessoas esperam com muito mais paciência quando as primeiras palavras começam a aparecer.
Começar pequeno
O que tem funcionado para nós:
- Escolher primeiro uma funcionalidade interna, de baixo risco. Os resumos de tickets são um bom candidato.
- Lançá-la atrás de uma feature flag para alguns utilizadores e pedir feedback sobre as respostas.
- Analisar traces e custos todas as semanas e ajustar a recuperação e os prompts antes de acrescentar qualquer coisa nova.
- Mostrá-la aos clientes apenas quando os resultados das avaliações e os custos deixarem de oscilar.
Em resumo
Feito desta forma, a parte de IA é apenas mais uma dependência na sua arquitetura. Mantém o seu código .NET, a sua implementação e a sua monitorização, e pode trocar de modelo quando surgir algo melhor.
Esta é a abordagem que usamos na Reliqio [4]. Trabalhamos com fundadores como parceiros técnicos em produtos B2C com IA nas áreas de healthtech, fintech e e-commerce. Se resolveram alguma destas questões de outra forma, gostava de saber como nos comentários.
Sources
- ↑ Introduction to Semantic Kernel – Microsoft Learn (2026) · learn.microsoft.com
- ↑ Vector search in Azure AI Search – Microsoft Learn (2026) · learn.microsoft.com
- ↑ What is Azure AI Content Safety? – Microsoft Learn (2026) · learn.microsoft.com
- ↑ Reliqio - AI B2C product development partner – Reliqio (2026) · reliqio.com