M365Con 2027 – бесплатная онлайн-конференция · 11–22 Jan 2027 · 120 sessions→ m365con.net

Блог · Reliqio

Добавление слоя LLM в бэкенд на .NET с Semantic Kernel

By ·

Как мы добавляем AI-функции в существующие бэкенды на .NET: Semantic Kernel, RAG на Azure AI Search, протестированные промпты, логирование и несколько защитных механизмов.

Automatically translated with AI from the original post.

Почти каждый клиент с существующим бэкендом на .NET рано или поздно задаёт нам один и тот же вопрос: «Можно ли добавить сюда немного AI?» Обычно имеют в виду краткие изложения, более точный поиск или ассистента для поддержки. И почти всегда кто-то в команде уже предложил отдельный сервис на Python.

Так сделать можно. Но в большинстве проектов, с которыми мы работали, это не потребовалось. Semantic Kernel хорошо встраивается в приложение на ASP.NET Core, и вы сохраняете существующий конвейер, логирование и тесты. Вот примерно как мы это настраиваем.

Спрячьте модель за Semantic Kernel

Относитесь к LLM как к любой другой внешней зависимости, например к платёжному провайдеру. В Semantic Kernel уже есть абстракция IChatCompletionService [1], поэтому ваш код никогда не обращается к SDK конкретного вендора напрямую. Зарегистрируйте её в DI, и переход с Azure OpenAI на другого провайдера станет изменением конфигурации.

У нас это выглядит так: ядро регистрируется один раз в Program.cs, каждый сценарий получает свой небольшой сервис (например, TicketSummaryService), а имя развёртывания, temperature и лимиты токенов хранятся в классе настроек. Контроллеры знают только о сервисе. Это также упрощает модульные тесты, потому что можно подставить фейковый сервис завершения.

Сначала RAG, а потом думайте о дообучении

Дообучение звучит впечатляюще, но для бизнес-данных RAG почти всегда достаточно. Мы индексируем документы в Azure AI Search с векторными полями [2], для каждого запроса извлекаем несколько самых релевантных фрагментов и передаём их модели. Это дешевле, вы точно видите, что получила модель, а при изменении документа ответы меняются в тот же день.

Несколько приёмов, которые повысили качество ответов сильнее, чем мы ожидали:

  • Разбивайте документы по заголовкам и разделам, а не по фиксированному числу символов.
  • Храните арендатора, язык и дату рядом с каждым фрагментом и фильтруйте по ним до ранжирования.
  • Используйте гибридный поиск (ключевые слова + векторы). На технической документации чисто векторный поиск постоянно пропускал точные термины, например коды ошибок.
  • Всегда возвращайте источники вместе с ответом. Пользователи больше доверяют такому ответу, а плохой поиск вы замечаете быстрее.

Промпты — это код, их нужно тестировать

Шаблоны промптов лежат в репозитории рядом с сервисом, который их использует. Они проходят ревью в pull request'ах наравне со всем остальным. Мы также храним небольшой набор из 20–50 вопросов с ожидаемыми ответами и запускаем его в CI. Если кто-то «улучшит» промпт и ответы станут хуже, сборка падает. Это нас не раз выручало.

Логируйте каждый вызов

Для каждого запроса мы записываем количество токенов промпта и ответа, задержку, версию модели и идентификаторы найденных документов. Semantic Kernel отдаёт данные в OpenTelemetry, поэтому всё это попадает в Application Insights рядом с остальными трассировками. Без этого невозможно объяснить неверный ответ, и вы не знаете, сколько на самом деле стоит каждая функция.

Защитные механизмы

  • Проверяйте структурированный вывод по JSON-схеме, прежде чем его использовать.
  • Пропускайте пользовательский ввод и ответ модели через Azure AI Content Safety [3].
  • Ограничения частоты запросов и бюджеты токенов на арендатора размещайте в middleware, а не в коде, который вызывает модель.

Готовьтесь к сбоям

Конечные точки LLM иногда ограничивают запросы, превышают таймаут и время от времени возвращают сломанный JSON. Оборачивайте вызовы повторными попытками, таймаутами и circuit breaker (Polly или Microsoft.Extensions.Http.Resilience), а пользователю показывайте нормальный запасной вариант вместо ошибки 500. Стриминг тоже сильно помогает: люди гораздо терпеливее ждут, когда начинают появляться первые слова.

Начинайте с малого

Вот что сработало у нас:

  1. Сначала выберите одну внутреннюю функцию с низким риском. Краткие изложения обращений — хороший кандидат.
  2. Выкатите её за feature flag для нескольких пользователей и попросите их оценить ответы.
  3. Каждую неделю смотрите трассировки и расходы, настраивайте поиск и промпты, прежде чем добавлять что-то новое.
  4. Показывайте её клиентам только тогда, когда результаты оценки и расходы перестают скакать.

Итог

При таком подходе AI-часть становится ещё одной зависимостью в архитектуре. Вы сохраняете свой код на .NET, развёртывание и мониторинг, а модели можно менять, когда появится что-то лучше.

Именно такую схему мы используем в Reliqio [4]. Мы работаем с основателями как технический партнёр над AI-продуктами для B2C в healthtech, fintech и e-commerce. Если вы решали эти задачи иначе, будем рады узнать об этом в комментариях.

Sources

  1. ↑ Introduction to Semantic Kernel – Microsoft Learn (2026) · learn.microsoft.com
  2. ↑ Vector search in Azure AI Search – Microsoft Learn (2026) · learn.microsoft.com
  3. ↑ What is Azure AI Content Safety? – Microsoft Learn (2026) · learn.microsoft.com
  4. ↑ Reliqio - AI B2C product development partner – Reliqio (2026) · reliqio.com
Подписаться на подкастSpotify

Entities in this article

Semantic Kernel Azure AI Search .NET ASP.NET Azure OpenAI Service

Related articles

RSS