遅いGPU推論の正体：CPUフォールバック、CUDA/TensorRTのバージョン不一致、コンテナ設定ミスを解決

GPUの請求額は増え、ダッシュボードは緑なのに、顧客は待たされている。このエピソードでは、ONNX RuntimeとTensorRTによるStable Diffusion推論がほとんどGPUを使わないままレイテンシだけが上昇する原因を事件のように調査し、修正前後のレイテンシ、スループット、GPU使用率で解決策を裏付けます。

▶ 遅いGPU推論の正体：CPUフォールバック、CUDA/TensorRTのバージョン不一致、コンテナ設定ミスを解決（AI吹き替え）

このエピソードで学べること：

1. CPUフォールバック：ONNX Runtimeが静かにCPU実行プロバイダーへ切り替わり、レイテンシが10～30倍になる理由
2. ドライバー、CUDA、cuDNN、ONNX Runtime、TensorRTのバージョン不一致によって、Fused AttentionやFP16最適化が黙って失われる仕組み
3. コンテナの設定ミス：肥大化したイメージ、マウントされていないGPUデバイス、NVIDIA Container Toolkit、CUDAメモリアリーナ
4. 起動時の整合性・性能ゲート：プロバイダーの確認、決定論的なカナリアプロンプトでのウォームアップ、静かな劣化ではなく明確な失敗
5. 再現可能な改善プロトコル：バージョンマトリクス、事前ビルドしたTensorRTエンジン、IOバインディング、FP16、自動ロールバック付きblue-greenデプロイ

このエピソードは、Microsoft MVP Mirko Peters による M365 Show のアニメーション動画をAIで吹き替えた日本語版です。