2025-11-29

AI ਸਿਸਟਮਾਂ ਵਿੱਚ GPU ਘੱਟ ਵਰਤੋਂ ਅਤੇ CPU ਫਾਲਬੈਕ ਦਾ ਨਿਦਾਨ

ਇਸ ਐਪੀਸੋਡ ਵਿੱਚ The M365 Show ਐਂਟਰਪ੍ਰਾਈਜ਼ AI ਵਿੱਚ ਇੱਕ ਜਾਣੀ-ਪਛਾਣੀ ਪਰ ਅਕਸਰ ਗਲਤ ਸਮਝੀ ਜਾਣ ਵਾਲੀ ਅਸਫਲਤਾ ਦੀ ਜਾਂਚ ਕਰਦਾ ਹੈ: GPU ਦੀਆਂ ਲਾਗਤਾਂ ਵਧਦੀਆਂ ਹਨ, ਥਰੂਪੁਟ ਡਿੱਗਦਾ ਹੈ ਅਤੇ ਲੇਟੈਂਸੀ ਅਣਪਛਾਤੀ ਹੋ ਜਾਂਦੀ ਹੈ, ਭਾਵੇਂ ਡੈਸ਼ਬੋਰਡ ਠੀਕ ਦਿਖਾਈ ਦਿੰਦੇ ਹਨ ਅਤੇ ਮਾਡਲ ਕੰਮ ਕਰਦੇ ਜਾਪਦੇ ਹਨ। ਪੈਰਾਮੀਟਰਾਂ ਜਾਂ ਆਰਕੀਟੈਕਚਰ ਨੂੰ ਦੋਸ਼ ਦੇਣ ਦੀ ਬਜਾਏ, ਅਸੀਂ ਇਸ ਸਮੱਸਿਆ ਨੂੰ ਇੱਕ ਫੋਰੈਂਸਿਕ ਕੇਸ ਵਾਂਗ ਲੈਂਦੇ ਹਾਂ ਅਤੇ ਪੂਰੀ ਕੰਪਿਊਟ ਪਾਈਪਲਾਈਨ ਰਾਹੀਂ ਸਬੂਤਾਂ ਦਾ ਪਿੱਛਾ ਕਰਦੇ ਹਾਂ। ਅਸੀਂ ਕੰਕਰੰਸੀ ਅਧੀਨ ਇੱਕ ਯਥਾਰਥਕ Stable Diffusion ਵਰਕਲੋਡ ਦੀ ਚਰਚਾ ਕਰਦੇ ਹਾਂ, ਜਿਸ ਵਿੱਚ ਸਖ਼ਤ P95 ਲੇਟੈਂਸੀ ਟੀਚੇ ਹਨ ਅਤੇ GPU ਹਾਰਡਵੇਅਰ ਕਾਗਜ਼ 'ਤੇ ਪੂਰੀ ਤਰ੍ਹਾਂ ਢੁਕਵਾਂ ਦਿਖਾਈ ਦਿੰਦਾ ਹੈ। ਇਸ ਤੋਂ ਬਾਅਦ, ਅਸੀਂ ਵੇਖਦੇ ਹਾਂ ਕਿ ONNX Runtime ਵਿੱਚ ਚੁੱਪਚਾਪ ਹੋਣ ਵਾਲਾ CPU ਫਾਲਬੈਕ, CUDA, cuDNN, TensorRT ਅਤੇ ONNX Runtime ਵਿਚਕਾਰ ਸੂਖਮ ਵਰਜਨ ਮਿਸਮੈਚ, ਅਤੇ ਕੰਟੇਨਰ ਦੀ ਗਲਤ ਕੌਨਫਿਗਰੇਸ਼ਨ ਮਿਲ ਕੇ ਇੱਕ ਸਿੰਗਲ ਸਮੱਸਿਆ ਕਿਵੇਂ ਬਣਾਉਂਦੇ ਹਨ, ਜੋ ਇੱਕ ਐਕਸਲਰੇਟਰ ਨੂੰ ਮਹਿੰਗੇ ਹੀਟਰ ਵਿੱਚ ਬਦਲ ਦਿੰਦੀ ਹੈ। ਸਿਸਟਮ ਅਜੇ ਵੀ ਸਹੀ ਨਤੀਜੇ ਦਿੰਦਾ ਹੈ, ਪਰ 10 ਤੋਂ 30 ਗੁਣਾ ਵਧੇਰੇ ਸਮੇਂ ਵਿੱਚ।

Apple Podcasts · Spotify · YouTube · YouTube Music

Diagnose GPU Underutilization and CPU Fallback in AI Systems (English)