Медленный инференс на GPU

откат на CPU, конфликты версий CUDA/TensorRT и ошибки контейнеров

Счёт за GPU растёт, дашборды зелёные, а клиенты всё равно ждут. В этом выпуске, как в криминальном расследовании, разбирается, почему инференс Stable Diffusion на ONNX Runtime и TensorRT почти не загружает GPU, пока задержка растёт, а решение подтверждается замерами задержки, пропускной способности и загрузки GPU до и после.

▶ Медленный инференс на GPU: откат на CPU, конфликты версий CUDA/TensorRT и ошибки контейнеров (ИИ-дубляж)

Что вы узнаете:

1. Откат на CPU: почему ONNX Runtime незаметно переключается на CPU-провайдер выполнения и задержка вырастает в 10–30 раз
2. Конфликты версий драйвера, CUDA, cuDNN, ONNX Runtime и TensorRT, из-за которых без предупреждения теряются fused attention и оптимизации FP16
3. Ошибки конфигурации контейнеров: раздутые образы, несмонтированные GPU-устройства, NVIDIA Container Toolkit и арена памяти CUDA
4. Проверки целостности и производительности при запуске: контроль провайдеров, прогрев на детерминированных canary-промптах и явный сбой вместо тихой деградации
5. Воспроизводимый протокол исправления: матрица версий, заранее собранные движки TensorRT, IO binding, FP16 и blue-green-развёртывание с автоматическим откатом

Этот выпуск — русская версия с ИИ-дубляжом анимированного видео из M365 Show от Microsoft MVP Мирко Петерса.