2025-11-29

GPU ఉపయోగం తక్కువగా ఉండటం మరియు AI వ్యవస్థల్లో CPU ఫాల్‌బ్యాక్‌ను నిర్ధారించడం

ఈ ఎపిసోడ్ ఆఫ్ ది M365 Show లో, ఎంటర్‌ప్రైజ్ AI లో తరచుగా కనిపించే కానీ సరిగ్గా అర్థం కాని ఒక వైఫల్య నమూనాను మేము పరిశీలిస్తాము: GPU ఖర్చులు పెరుగుతాయి, థ్రూపుట్ పడిపోతుంది, లేటెన్సీ అనూహ్యంగా మారుతుంది, అయినా డాష్‌బోర్డులు ఆరోగ్యంగా కనిపిస్తాయి మరియు మోడళ్లు పని చేస్తున్నట్లే కనిపిస్తాయి. పారామీటర్లు లేదా ఆర్కిటెక్చర్లను నిందించకుండా, ఈ సమస్యను ఒక ఫోరెన్సిక్ కేసుగా తీసుకుని, మొత్తం కంప్యూట్ పైప్‌లైన్ ద్వారా సాక్ష్యాలను అనుసరిస్తాము. కాన్కరెన్సీ కింద ఒక వాస్తవిక Stable Diffusion వర్క్‌లోడ్‌ను, కఠినమైన P95 లేటెన్సీ లక్ష్యాలతో, కాగితంపై తగినంతగా కనిపించే GPU హార్డ్‌వేర్‌తో మేము పరిశీలిస్తాము. అక్కడి నుండి, ONNX Runtime లోని నిశ్శబ్ద CPU ఫాల్‌బ్యాక్, CUDA, cuDNN, TensorRT మరియు ONNX Runtime మధ్య సూక్ష్మ వెర్షన్ అసమతుల్యతలు, మరియు కంటైనర్ తప్పు కాన్ఫిగరేషన్ కలిసి ఒకే వైఫల్య నమూనాగా ఎలా మారి, ఒక యాక్సిలరేటర్‌ను ఖరీదైన హీటర్‌గా ఎలా మారుస్తాయో ట్రేస్ చేస్తాము. సిస్టమ్ ఇప్పటికీ సరైన ఫలితాలను ఇస్తుంది, కానీ ఆశించిన దానికంటే 10 నుండి 30 రెట్లు ఎక్కువ ఖర్చుతో.

Apple Podcasts · Spotify · YouTube · YouTube Music

Diagnose GPU Underutilization and CPU Fallback in AI Systems (English)