2025-11-29

Mendiagnosis Pemanfaatan GPU Rendah dan Fallback ke CPU dalam Sistem AI

Dalam episode ini dari The M365 Show, kami menyelidiki pola kegagalan yang sudah familiar namun sering disalahpahami dalam AI perusahaan: biaya GPU meningkat, throughput anjlok, dan latensi menjadi tidak dapat diprediksi, meskipun dasbor tampak sehat dan model tampak berfungsi. Alih-alih menyalahkan parameter atau arsitektur, kami memperlakukan masalah ini sebagai kasus forensik dan menelusuri bukti melalui seluruh pipeline komputasi. Kami membahas beban kerja Stable Diffusion yang realistis di bawah konkurensi, dengan target latensi P95 yang ketat dan perangkat keras GPU yang secara kertas terlihat memadai. Dari sana, kami menelusuri bagaimana fallback CPU yang senyap di ONNX Runtime, ketidakcocokan versi yang halus antara CUDA, cuDNN, TensorRT, dan ONNX Runtime, serta salah konfigurasi container bergabung menjadi satu patologi yang mengubah akselerator menjadi pemanas yang mahal. Sistem tetap mengembalikan keluaran yang benar, tetapi dengan kecepatan 10 hingga 30 kali lebih lambat dari yang seharusnya.

Apple Podcasts · Spotify · YouTube · YouTube Music

Diagnose GPU Underutilization and CPU Fallback in AI Systems (English)