2025-11-29

Diagnostiquer la sous-utilisation des GPU et le repli sur CPU dans les systèmes d'IA

Dans cet épisode de The M365 Show, nous examinons un schéma de défaillance familier mais souvent mal compris dans l'IA d'entreprise : les coûts des GPU augmentent, le débit s'effondre et la latence devient imprévisible, alors même que les tableaux de bord semblent sains et que les modèles paraissent fonctionner. Plutôt que d'incriminer les paramètres ou les architectures, nous traitons le problème comme une enquête forensique et suivons les indices à travers l'ensemble du pipeline de calcul. Nous parcourons une charge de travail réaliste Stable Diffusion sous concurrence, avec des objectifs stricts de latence P95 et un matériel GPU qui semble parfaitement adéquat sur le papier. De là, nous retraçons comment le repli silencieux sur CPU dans ONNX Runtime, les incompatibilités de versions entre CUDA, cuDNN, TensorRT et ONNX Runtime, ainsi qu'une mauvaise configuration des conteneurs se combinent en une seule pathologie qui transforme un accélérateur en un radiateur coûteux. Le système continue de renvoyer des résultats corrects, mais à 10 à 30 fois le coût attendu en temps d'exécution.

Apple Podcasts · Spotify · YouTube · YouTube Music

Diagnose GPU Underutilization and CPU Fallback in AI Systems (English)