M365Con 2027 – 無料オンラインカンファレンス · 11–22 Jan 2027 · 120 sessions→ m365con.net

ブログ · Reliqio

既存の.NETバックエンドにLLMレイヤーを追加する (Semantic Kernel)

By ·

既存の.NETバックエンドにAI機能を追加する方法です。Semantic Kernel、Azure AI SearchによるRAG、テスト済みのプロンプト、ロギング、いくつかのガードレールを紹介します。

Automatically translated with AI from the original post.

既存の.NETバックエンドを持つクライアントの多くが、遅かれ早かれ同じ質問をしてきます。「このシステムにAIを追加できないか」。たいていは要約、検索の改善、サポート用アシスタントのことです。そして、チームの誰かがすでにそのためにPythonの別サービスを作ることを提案しています。

そのやり方も可能です。ただ、私たちが関わったプロジェクトの大半では、それは必要ありませんでした。Semantic KernelはASP.NET Coreアプリにそのまま組み込めますし、既存のパイプライン、ロギング、テストもそのまま使えます。以下は私たちの大まかな設定方法です。

Semantic Kernelの背後にモデルを隠す

LLMは、決済プロバイダーのような他の外部依存と同じように扱います。Semantic KernelにはすでにIChatCompletionServiceという抽象化があり[1]、コードがベンダーのSDKに直接触れることはありません。DIに登録すれば、Azure OpenAIから別のプロバイダーに移行するのも設定変更だけで済みます。

私たちの場合、カーネルはProgram.csで一度だけ登録し、ユースケースごとに小さなサービス(たとえばTicketSummaryService)を用意します。デプロイ名、temperature、トークン上限はオプションクラスに置きます。コントローラーはサービスだけを知っていればよい構成です。また、偽の補完サービスに差し替えられるので、ユニットテストも簡単になります。

ファインチューニングの前にRAGを試す

ファインチューニングは魅力的に聞こえますが、業務データであればRAGでほぼ十分です。ドキュメントはAzure AI Searchにベクトルフィールド付きでインデックスし[2]、リクエストごとに上位数チャンクを取得してモデルに渡します。コストが低く、モデルに何を渡したかを正確に確認でき、ドキュメントが変われば同日中に回答も変わります。

回答の品質を予想以上に高めてくれたことがいくつかあります。

  • 文字数の固定長ではなく、見出しやセクション単位でドキュメントを分割する。
  • 各チャンクにテナント、言語、日付を保持し、ランキングの前にそれらで絞り込む。
  • ハイブリッド検索(キーワード+ベクトル)を使う。技術文書では、純粋なベクトル検索だとエラーコードのような完全一致の語を取りこぼし続けました。
  • 回答には必ず参照元を付ける。利用者の信頼が高まり、検索の不良も早く見つけられます。

プロンプトはコードなので、テストする

プロンプトのテンプレートは、それを使うサービスと同じリポジトリに置きます。ほかのコードと同様にプルリクエストでレビューします。さらに、期待される回答を添えた20〜50件ほどの質問セットを用意し、CIで実行しています。誰かがプロンプトを「改善」して回答が悪くなれば、ビルドが失敗します。これは何度も役に立ちました。

すべての呼び出しをログに残す

リクエストごとに、プロンプトとコンプリーションのトークン数、レイテンシ、モデルのバージョン、取得したドキュメントのIDを記録しています。Semantic KernelはOpenTelemetryを出力するため、これらすべてがほかのトレースと並んでApplication Insightsに表示されます。これがなければ、誤った回答の原因を説明できず、機能ごとの実際のコストも把握できません。

ガードレール

  • 構造化された出力は、コードで使う前にJSONスキーマで検証する。
  • ユーザー入力とモデル出力の両方をAzure AI Content Safety[3]に通す。
  • テナントごとのレート制限とトークン予算は、モデルを呼ぶコードではなくミドルウェアに置く。

時には失敗すると想定する

LLMのエンドポイントはスロットリングされ、タイムアウトし、ときどき壊れたJSONを返します。呼び出しはリトライ、タイムアウト、サーキットブレーカー(PollyまたはMicrosoft.Extensions.Http.Resilience)で包み、500エラーの代わりに適切なフォールバックをユーザーに見せましょう。ストリーミングも大きく役立ちます。最初の数語が表示されれば、人は待つことにずっと寛容になります。

小さく始める

私たちがうまくいった進め方は次のとおりです。

  1. まずは社内向けで、リスクの低い機能を一つ選ぶ。チケットの要約は良い候補です。
  2. 機能フラグの背後で少数のユーザーに公開し、回答についてフィードバックをもらう。
  3. 毎週トレースとコストを確認し、新しいことを追加する前に検索とプロンプトを調整する。
  4. 評価結果とコストが安定してからのみ、顧客に見せる。

まとめ

この方法で進めれば、AIの部分はアーキテクチャに加わるもう一つの依存にすぎません。.NETのコード、デプロイ、監視はそのまま維持でき、より良いモデルが出てきたら切り替えることもできます。

これはReliqio [4]で使っている構成です。私たちは、ヘルステック、フィンテック、eコマースにおけるAI搭載のB2Cプロダクトについて、創業者の技術パートナーとして協力しています。ここに挙げた課題について別の解決策を取られた方がいれば、コメントで教えていただければ嬉しいです。

Sources

  1. ↑ Introduction to Semantic Kernel – Microsoft Learn (2026) · learn.microsoft.com
  2. ↑ Vector search in Azure AI Search – Microsoft Learn (2026) · learn.microsoft.com
  3. ↑ What is Azure AI Content Safety? – Microsoft Learn (2026) · learn.microsoft.com
  4. ↑ Reliqio - AI B2C product development partner – Reliqio (2026) · reliqio.com
番組をフォローSpotify

Entities in this article

Semantic Kernel Azure AI Search .NET ASP.NET Azure OpenAI Service

Related articles

RSS