2025-11-29

Диагностика недоиспользования GPU и отката на CPU в системах ИИ

В этом выпуске The M365 Show мы разбираем знакомый, но часто неправильно понимаемый паттern сбоя в корпоративном ИИ: стоимость GPU растёт, пропускная способность падает, задержка становится непредсказуемой, хотя дашборды выглядят нормально, а модели, похоже, работают. Вместо того чтобы винить параметры или архитектуры, мы рассматриваем проблему как криминалистический случай и отслеживаем улики по всему конвейеру вычислений. Мы разбираем реалистичную нагрузку Stable Diffusion при параллельных запросах, со строгими целями по задержке P95 и аппаратным обеспечением GPU, которое на бумаге выглядит вполне адекватно. Далее мы показываем, как тихий откат на CPU в ONNX Runtime, скрытые несовместимости версий CUDA, cuDNN, TensorRT и ONNX Runtime, а также ошибки конфигурации контейнеров складываются в единую патологию, которая превращает ускоритель в дорогой обогреватель. Система продолжает возвращать корректные результаты, но при 10–30-кратной ex

Apple Podcasts · Spotify · YouTube · YouTube Music

Diagnose GPU Underutilization and CPU Fallback in AI Systems (English)