2025-11-29

AIシステムにおけるGPU利用率の低下とCPUフォールバックの診断

このエピソードのThe M365 Showでは、企業向けAIでよく見られるものの誤解されやすい障害パターンを検証します。GPUのコストは上昇し、スループットは急落し、レイテンシは予測不能になるのに、ダッシュボードは正常に見え、モデルも動作しているように見える状況です。パラメータやアーキテクチャを原因とみなすのではなく、この問題を法医学的な事例として扱い、コンピュートパイプライン全体にわたって証拠をたどります。同時実行下での現実的なStable Diffusionのワークロードを取り上げ、厳格なP95レイテンシ目標と、紙の上では十分に見えるGPUハードウェアを前提に検討します。そのうえで、ONNX RuntimeでのサイレントなCPUフォールバック、CUDA、cuDNN、TensorRT、ONNX Runtime間の微妙なバージョン不一致、コンテナの設定ミスが組み合わさり、アクセラレーターが高価な暖房器具と化していく過程を追跡します。システムは正しい出力を返し続けますが、本来の10〜30倍の計算コストがかかっている状態です。

Apple Podcasts · Spotify · YouTube · YouTube Music

Diagnose GPU Underutilization and CPU Fallback in AI Systems (English)