Добавление слоя LLM в бэкенд на .NET с Semantic Kernel
By Reliqio ·
Как мы добавляем AI-функции в существующие бэкенды на .NET: Semantic Kernel, RAG на Azure AI Search, протестированные промпты, логирование и несколько защитных механизмов.
Automatically translated with AI from the original post.
Почти каждый клиент с существующим бэкендом на .NET рано или поздно задаёт нам один и тот же вопрос: «Можно ли добавить сюда немного AI?» Обычно имеют в виду краткие изложения, более точный поиск или ассистента для поддержки. И почти всегда кто-то в команде уже предложил отдельный сервис на Python.
Так сделать можно. Но в большинстве проектов, с которыми мы работали, это не потребовалось. Semantic Kernel хорошо встраивается в приложение на ASP.NET Core, и вы сохраняете существующий конвейер, логирование и тесты. Вот примерно как мы это настраиваем.
Спрячьте модель за Semantic Kernel
Относитесь к LLM как к любой другой внешней зависимости, например к платёжному провайдеру. В Semantic Kernel уже есть абстракция IChatCompletionService [1], поэтому ваш код никогда не обращается к SDK конкретного вендора напрямую. Зарегистрируйте её в DI, и переход с Azure OpenAI на другого провайдера станет изменением конфигурации.
У нас это выглядит так: ядро регистрируется один раз в Program.cs, каждый сценарий получает свой небольшой сервис (например, TicketSummaryService), а имя развёртывания, temperature и лимиты токенов хранятся в классе настроек. Контроллеры знают только о сервисе. Это также упрощает модульные тесты, потому что можно подставить фейковый сервис завершения.
Сначала RAG, а потом думайте о дообучении
Дообучение звучит впечатляюще, но для бизнес-данных RAG почти всегда достаточно. Мы индексируем документы в Azure AI Search с векторными полями [2], для каждого запроса извлекаем несколько самых релевантных фрагментов и передаём их модели. Это дешевле, вы точно видите, что получила модель, а при изменении документа ответы меняются в тот же день.
Несколько приёмов, которые повысили качество ответов сильнее, чем мы ожидали:
- Разбивайте документы по заголовкам и разделам, а не по фиксированному числу символов.
- Храните арендатора, язык и дату рядом с каждым фрагментом и фильтруйте по ним до ранжирования.
- Используйте гибридный поиск (ключевые слова + векторы). На технической документации чисто векторный поиск постоянно пропускал точные термины, например коды ошибок.
- Всегда возвращайте источники вместе с ответом. Пользователи больше доверяют такому ответу, а плохой поиск вы замечаете быстрее.
Промпты — это код, их нужно тестировать
Шаблоны промптов лежат в репозитории рядом с сервисом, который их использует. Они проходят ревью в pull request'ах наравне со всем остальным. Мы также храним небольшой набор из 20–50 вопросов с ожидаемыми ответами и запускаем его в CI. Если кто-то «улучшит» промпт и ответы станут хуже, сборка падает. Это нас не раз выручало.
Логируйте каждый вызов
Для каждого запроса мы записываем количество токенов промпта и ответа, задержку, версию модели и идентификаторы найденных документов. Semantic Kernel отдаёт данные в OpenTelemetry, поэтому всё это попадает в Application Insights рядом с остальными трассировками. Без этого невозможно объяснить неверный ответ, и вы не знаете, сколько на самом деле стоит каждая функция.
Защитные механизмы
- Проверяйте структурированный вывод по JSON-схеме, прежде чем его использовать.
- Пропускайте пользовательский ввод и ответ модели через Azure AI Content Safety [3].
- Ограничения частоты запросов и бюджеты токенов на арендатора размещайте в middleware, а не в коде, который вызывает модель.
Готовьтесь к сбоям
Конечные точки LLM иногда ограничивают запросы, превышают таймаут и время от времени возвращают сломанный JSON. Оборачивайте вызовы повторными попытками, таймаутами и circuit breaker (Polly или Microsoft.Extensions.Http.Resilience), а пользователю показывайте нормальный запасной вариант вместо ошибки 500. Стриминг тоже сильно помогает: люди гораздо терпеливее ждут, когда начинают появляться первые слова.
Начинайте с малого
Вот что сработало у нас:
- Сначала выберите одну внутреннюю функцию с низким риском. Краткие изложения обращений — хороший кандидат.
- Выкатите её за feature flag для нескольких пользователей и попросите их оценить ответы.
- Каждую неделю смотрите трассировки и расходы, настраивайте поиск и промпты, прежде чем добавлять что-то новое.
- Показывайте её клиентам только тогда, когда результаты оценки и расходы перестают скакать.
Итог
При таком подходе AI-часть становится ещё одной зависимостью в архитектуре. Вы сохраняете свой код на .NET, развёртывание и мониторинг, а модели можно менять, когда появится что-то лучше.
Именно такую схему мы используем в Reliqio [4]. Мы работаем с основателями как технический партнёр над AI-продуктами для B2C в healthtech, fintech и e-commerce. Если вы решали эти задачи иначе, будем рады узнать об этом в комментариях.
Sources
- ↑ Introduction to Semantic Kernel – Microsoft Learn (2026) · learn.microsoft.com
- ↑ Vector search in Azure AI Search – Microsoft Learn (2026) · learn.microsoft.com
- ↑ What is Azure AI Content Safety? – Microsoft Learn (2026) · learn.microsoft.com
- ↑ Reliqio - AI B2C product development partner – Reliqio (2026) · reliqio.com