2025-11-29

Діагностика недовикористання GPU та переходу на CPU в системах ШІ

У цьому епізоді The M365 Show ми досліджуємо знайому, але часто неправильно зрозумілу схему збоїв в корпоративному ШІ: витрати на GPU зростають, пропускна здатність падає, а затримка стає непередбачуваною, хоча панелі моніторингу виглядають нормально, а моделі, здається, працюють. Замість того, щоб звинувачувати параметри або архітектури, ми розглядаємо проблему як судово-технічний випадок і простежуємо докази через весь конвеєр обчислень. Ми розбираємо реалістичне навантаження Stable Diffusion за умов конкурентного доступу з жорсткими цілями затримки P95 і апаратним забезпеченням GPU, яке на папері виглядає цілком адекватним. Звідти ми простежуємо, як прихований перехід на CPU в ONNX Runtime, тонкі невідповідності версій між CUDA, cuDNN, TensorRT і ONNX Runtime, а також неправильна конфігурація контейнерів поєднуються в одну патологію, яка перетворює прискорювач на дорогий обігрівач. Система продовжує повертати правильні результати, але з затримкою у 10–30 разів…

Apple Podcasts · Spotify · YouTube · YouTube Music

Diagnose GPU Underutilization and CPU Fallback in AI Systems (English)