既存の.NETバックエンドにLLMレイヤーを追加する (Semantic Kernel)
By Reliqio ·
既存の.NETバックエンドにAI機能を追加する方法です。Semantic Kernel、Azure AI SearchによるRAG、テスト済みのプロンプト、ロギング、いくつかのガードレールを紹介します。
Automatically translated with AI from the original post.
既存の.NETバックエンドを持つクライアントの多くが、遅かれ早かれ同じ質問をしてきます。「このシステムにAIを追加できないか」。たいていは要約、検索の改善、サポート用アシスタントのことです。そして、チームの誰かがすでにそのためにPythonの別サービスを作ることを提案しています。
そのやり方も可能です。ただ、私たちが関わったプロジェクトの大半では、それは必要ありませんでした。Semantic KernelはASP.NET Coreアプリにそのまま組み込めますし、既存のパイプライン、ロギング、テストもそのまま使えます。以下は私たちの大まかな設定方法です。
Semantic Kernelの背後にモデルを隠す
LLMは、決済プロバイダーのような他の外部依存と同じように扱います。Semantic KernelにはすでにIChatCompletionServiceという抽象化があり[1]、コードがベンダーのSDKに直接触れることはありません。DIに登録すれば、Azure OpenAIから別のプロバイダーに移行するのも設定変更だけで済みます。
私たちの場合、カーネルはProgram.csで一度だけ登録し、ユースケースごとに小さなサービス(たとえばTicketSummaryService)を用意します。デプロイ名、temperature、トークン上限はオプションクラスに置きます。コントローラーはサービスだけを知っていればよい構成です。また、偽の補完サービスに差し替えられるので、ユニットテストも簡単になります。
ファインチューニングの前にRAGを試す
ファインチューニングは魅力的に聞こえますが、業務データであればRAGでほぼ十分です。ドキュメントはAzure AI Searchにベクトルフィールド付きでインデックスし[2]、リクエストごとに上位数チャンクを取得してモデルに渡します。コストが低く、モデルに何を渡したかを正確に確認でき、ドキュメントが変われば同日中に回答も変わります。
回答の品質を予想以上に高めてくれたことがいくつかあります。
- 文字数の固定長ではなく、見出しやセクション単位でドキュメントを分割する。
- 各チャンクにテナント、言語、日付を保持し、ランキングの前にそれらで絞り込む。
- ハイブリッド検索(キーワード+ベクトル)を使う。技術文書では、純粋なベクトル検索だとエラーコードのような完全一致の語を取りこぼし続けました。
- 回答には必ず参照元を付ける。利用者の信頼が高まり、検索の不良も早く見つけられます。
プロンプトはコードなので、テストする
プロンプトのテンプレートは、それを使うサービスと同じリポジトリに置きます。ほかのコードと同様にプルリクエストでレビューします。さらに、期待される回答を添えた20〜50件ほどの質問セットを用意し、CIで実行しています。誰かがプロンプトを「改善」して回答が悪くなれば、ビルドが失敗します。これは何度も役に立ちました。
すべての呼び出しをログに残す
リクエストごとに、プロンプトとコンプリーションのトークン数、レイテンシ、モデルのバージョン、取得したドキュメントのIDを記録しています。Semantic KernelはOpenTelemetryを出力するため、これらすべてがほかのトレースと並んでApplication Insightsに表示されます。これがなければ、誤った回答の原因を説明できず、機能ごとの実際のコストも把握できません。
ガードレール
- 構造化された出力は、コードで使う前にJSONスキーマで検証する。
- ユーザー入力とモデル出力の両方をAzure AI Content Safety[3]に通す。
- テナントごとのレート制限とトークン予算は、モデルを呼ぶコードではなくミドルウェアに置く。
時には失敗すると想定する
LLMのエンドポイントはスロットリングされ、タイムアウトし、ときどき壊れたJSONを返します。呼び出しはリトライ、タイムアウト、サーキットブレーカー(PollyまたはMicrosoft.Extensions.Http.Resilience)で包み、500エラーの代わりに適切なフォールバックをユーザーに見せましょう。ストリーミングも大きく役立ちます。最初の数語が表示されれば、人は待つことにずっと寛容になります。
小さく始める
私たちがうまくいった進め方は次のとおりです。
- まずは社内向けで、リスクの低い機能を一つ選ぶ。チケットの要約は良い候補です。
- 機能フラグの背後で少数のユーザーに公開し、回答についてフィードバックをもらう。
- 毎週トレースとコストを確認し、新しいことを追加する前に検索とプロンプトを調整する。
- 評価結果とコストが安定してからのみ、顧客に見せる。
まとめ
この方法で進めれば、AIの部分はアーキテクチャに加わるもう一つの依存にすぎません。.NETのコード、デプロイ、監視はそのまま維持でき、より良いモデルが出てきたら切り替えることもできます。
これはReliqio [4]で使っている構成です。私たちは、ヘルステック、フィンテック、eコマースにおけるAI搭載のB2Cプロダクトについて、創業者の技術パートナーとして協力しています。ここに挙げた課題について別の解決策を取られた方がいれば、コメントで教えていただければ嬉しいです。
Sources
- ↑ Introduction to Semantic Kernel – Microsoft Learn (2026) · learn.microsoft.com
- ↑ Vector search in Azure AI Search – Microsoft Learn (2026) · learn.microsoft.com
- ↑ What is Azure AI Content Safety? – Microsoft Learn (2026) · learn.microsoft.com
- ↑ Reliqio - AI B2C product development partner – Reliqio (2026) · reliqio.com