2025-11-29

Diagnozowanie niedostatecznego wykorzystania GPU i awaryjnego przełączania na CPU w systemach AI

W tym odcinku The M365 Show badamy znany, lecz często źle rozumiany wzorzec awarii w korporacyjnej AI: koszty GPU rosną, przepustowość spada, a opóźnienia stają się nieprzewidywalne, mimo że panele monitoringu wyglądają dobrze, a modele wydają się działać. Zamiast obwiniać parametry lub architektury, traktujemy problem jak sprawę kryminalistyczną i śledzimy dowody przez cały potok obliczeniowy. Przechodzimy przez realistyczne obciążenie Stable Diffusion przy współbieżności, z rygorystycznymi celami opóźnień P95 i sprzętem GPU, który na papierze wygląda w pełni wystarczająco. Następnie pokazujemy, jak ciche przełączanie na CPU w ONNX Runtime, subtelne niezgodności wersji CUDA, cuDNN, TensorRT i ONNX Runtime oraz błędna konfiguracja kontenerów łączą się w jeden problem, który zamienia akcelerator w drogi grzejnik. System nadal zwraca poprawne wyniki, lecz przy 10 do 30 razy wyższym koszcie...

Apple Podcasts · Spotify · YouTube · YouTube Music

Diagnose GPU Underutilization and CPU Fallback in AI Systems (English)