M365Con 2027 – безкоштовна онлайн-конференція · 11–22 Jan 2027 · 120 sessions→ m365con.net

Блог · Reliqio

Додаємо шар LLM до .NET-бекенду з Semantic Kernel

By ·

Як ми додаємо AI-функції до наявних .NET-бекендів: Semantic Kernel, RAG на Azure AI Search, перевірені промпти, логування та кілька запобіжників.

Automatically translated with AI from the original post.

Майже кожен клієнт з наявним .NET-бекендом рано чи пізно ставить нам одне й те саме питання: «Чи можна додати сюди трохи AI?» Зазвичай мають на увазі підсумки, кращий пошук або асистента для підтримки. І зазвичай хтось у команді вже запропонував окремий сервіс на Python для цього.

Це можна зробити. Але в більшості проєктів, з якими ми працювали, це не було потрібно. Semantic Kernel цілком добре вбудовується в застосунок на ASP.NET Core, і ви зберігаєте наявний конвеєр, логування та тести. Ось приблизно як ми це налаштовуємо.

Сховайте модель за Semantic Kernel

Ставтеся до LLM як до будь-якої зовнішньої залежності, наприклад платіжного провайдера. Semantic Kernel уже має абстракцію IChatCompletionService [1], тож ваш код ніколи не звертається до SDK постачальника напряму. Зареєструйте її в DI, і перехід від Azure OpenAI до іншого провайдера стане зміною конфігурації.

У нас це виглядає так: ядро реєструється один раз у Program.cs, кожен сценарій має власний невеликий сервіс (наприклад, TicketSummaryService), а назва розгортання, temperature та ліміти токенів живуть в окремому класі опцій. Контролери знають лише про сервіс. Це також спрощує юніт-тести, бо можна підмінити сервіс завершення фейковою реалізацією.

Спершу спробуйте RAG, а потім думайте про fine-tuning

Fine-tuning звучить вражаюче, але для бізнес-даних RAG майже завжди достатньо. Ми індексуємо документи в Azure AI Search з векторними полями [2], для кожного запиту витягуємо кілька найрелевантніших фрагментів і передаємо їх моделі. Це дешевше, ви бачите, що саме отримала модель, і коли документ змінюється, відповіді змінюються того ж дня.

Деякі речі покращили якість відповідей більше, ніж ми очікували:

  • Ділите документи за заголовками та розділами, а не за фіксованою кількістю символів.
  • Зберігайте орендаря, мову та дату поруч із кожним фрагментом і фільтруйте за ними до ранжування.
  • Використовуйте гібридний пошук (ключові слова + вектори). На технічній документації чисто векторний пошук постійно пропускав точні терміни, як-от коди помилок.
  • Завжди повертайте джерела разом з відповіддю. Користувачі більше довіряють, а ви швидше помітите погане отримання даних.

Промпти це код, їх треба тестувати

Шаблони промптів зберігаються в репозиторії поруч із сервісом, який їх використовує. Їх перевіряють у pull request так само, як усе інше. Ми також тримаємо невеликий набір із 20–50 запитань з очікуваними відповідями і запускаємо його в CI. Якщо хтось «покращив» промпт, і відповіді стали гіршими, збірка падає. Це не раз нас рятувало.

Логуйте кожен виклик

Для кожного запиту ми логуємо токени промпту та відповіді, затримку, версію моделі та ідентифікатори знайдених документів. Semantic Kernel генерує телеметрію OpenTelemetry, тож усе це з'являється в Application Insights поруч з рештою трасувань. Без цього ви не зможете пояснити хибну відповідь і не знаєте, скільки коштує кожна функція.

Запобіжники

  • Перевіряйте структурований вивід за JSON-схемою, перш ніж його використовувати.
  • Пропускайте введення користувача і вивід моделі через Azure AI Content Safety [3].
  • Розмістіть ліміти запитів і бюджети токенів на орендаря в middleware, а не в коді, що викликає модель.

Будьте готові до збоїв

LLM-ендпоінти інколи обмежують швидкість, мають тайм-аути або повертають зламаний JSON. Обгорніть виклики повторними спробами, тайм-аутами та circuit breaker (Polly або Microsoft.Extensions.Http.Resilience), і показуйте користувачу нормальний запасний варіант замість помилки 500. Стримінг також сильно допомагає: люди терпляче чекають, коли з'являються перші слова.

Починайте з малого

Що спрацювало для нас:

  1. Спершу оберіть одну внутрішню функцію з низьким ризиком. Підсумки тікетів — гарний кандидат.
  2. Випустіть її за feature flag для кількох користувачів і збирайте відгуки про відповіді.
  3. Щотижня переглядайте трасування та витрати і коригуйте отримання даних і промпти, перш ніж додавати щось нове.
  4. Показуйте клієнтам лише тоді, коли результати оцінювання та витрати перестають стрибати.

Підсумок

Зроблене так, AI-частина стає ще однією залежністю у вашій архітектурі. Ви зберігаєте свій .NET-код, розгортання та моніторинг і можете змінювати моделі, коли з'являється краще рішення.

Цю схему ми використовуємо в Reliqio [4]. Ми працюємо із засновниками як технічний партнер над AI-продуктами для B2C у healthtech, fintech та e-commerce. Якщо ви вирішили щось із цього інакше, буду радий почути як у коментарях.

Sources

  1. ↑ Introduction to Semantic Kernel – Microsoft Learn (2026) · learn.microsoft.com
  2. ↑ Vector search in Azure AI Search – Microsoft Learn (2026) · learn.microsoft.com
  3. ↑ What is Azure AI Content Safety? – Microsoft Learn (2026) · learn.microsoft.com
  4. ↑ Reliqio - AI B2C product development partner – Reliqio (2026) · reliqio.com
Підписатися на подкастSpotify

Entities in this article

Semantic Kernel Azure AI Search .NET ASP.NET Azure OpenAI Service

Related articles

RSS