2025-11-29

GPU अंडरयूटिलाइज़ेशन और CPU फ़ॉलबैक से AI सिस्टम का निदान

The M365 Show के इस एपिसोड में हम एंटरप्राइज़ AI में एक परिचित लेकिन अक्सर गलत समझे जाने वाले विफलता पैटर्न की जाँच करते हैं: GPU लागत बढ़ती है, थ्रूपुट गिरता है और लेटेंसी अप्रत्याशित हो जाती है, जबकि डैशबोर्ड स्वस्थ दिखते हैं और मॉडल काम करते प्रतीत होते हैं। पैरामीटर या आर्किटेक्चर को दोष देने के बजाय हम इस समस्या को एक फ़ॉरेंसिक केस मानते हैं और पूरी कंप्यूट पाइपलाइन में साक्ष्यों का पीछा करते हैं। हम समवर्ती (concurrent) परिस्थितियों में एक वास्तविक Stable Diffusion वर्कलोड देखते हैं, जिसमें सख्त P95 लेटेंसी लक्ष्य और ऐसा GPU हार्डवेयर है जो कागज़ पर पूरी तरह पर्याप्त लगता है। वहाँ से हम देखते हैं कि ONNX Runtime में चुपचाप होने वाला CPU फ़ॉलबैक, CUDA, cuDNN, TensorRT और ONNX Runtime के बीच सूक्ष्म संस्करण असंगतियाँ, और कंटेनर की गलत कॉन्फ़िगरेशन मिलकर एक ही पैथोलॉजी कैसे बनाते हैं, जो एक्सेलेरेटर को एक महँगे हीटर में बदल देती है। सिस्टम अब भी सही आउटपुट लौटाता है, लेकिन अपेक्षित से 10 से 30 गुना अधिक लागत पर।

Apple Podcasts · Spotify · YouTube · YouTube Music

Diagnose GPU Underutilization and CPU Fallback in AI Systems (English)