2025-11-29

AI സിസ്റ്റങ്ങളിലെ GPU കുറഞ്ഞ ഉപയോഗവും CPU ഫോൾബാക്കും രോഗനിർണയം ചെയ്യൽ

ഈ എപ്പിസോഡിൽ ദി M365 ഷോ, എന്റർപ്രൈസ് AI-യിലെ പരിചിതമെങ്കിലും പലപ്പോഴും തെറ്റായി മനസ്സിലാക്കപ്പെടുന്ന ഒരു പരാജയ രീതി അന്വേഷിക്കുന്നു: GPU ചെലവുകൾ ഉയരുന്നു, ത്രൂപുട്ട് തകരുന്നു, ലേറ്റൻസി പ്രവചനാതീതമാകുന്നു, എന്നാൽ ഡാഷ്ബോർഡുകൾ ആരോഗ്യകരമായി കാണപ്പെടുകയും മോഡലുകൾ പ്രവർത്തിക്കുന്നതായി തോന്നുകയും ചെയ്യുന്നു. പാരാമീറ്ററുകളെയോ ആർക്കിടെക്ചറുകളെയോ കുറ്റപ്പെടുത്തുന്നതിനു പകരം, ഈ പ്രശ്നത്തെ ഒരു ഫോറൻസിക് കേസായി കണക്കാക്കി മുഴുവൻ കമ്പ്യൂട്ട് പൈപ്പ്‌ലൈനിലൂടെ തെളിവുകൾ പിന്തുടരുന്നു. കോൺകറൻസിക്ക് കീഴിലുള്ള ഒരു യാഥാർത്ഥ്യബോധമുള്ള Stable Diffusion വർക്ക്‌ലോഡ്, കർശനമായ P95 ലേറ്റൻസി ലക്ഷ്യങ്ങൾ, കടലാസിൽ തികച്ചും മതിയായതായി തോന്നുന്ന GPU ഹാർഡ്‌വെയർ എന്നിവ ഞങ്ങൾ പരിശോധിക്കുന്നു. തുടർന്ന്, ONNX Runtime-ലെ നിശ്ശബ്ദ CPU ഫോൾബാക്ക്, CUDA, cuDNN, TensorRT, ONNX Runtime എന്നിവയ്ക്കിടയിലെ സൂക്ഷ്മ പതിപ്പ് പൊരുത്തക്കേടുകൾ, കണ്ടെയ്‌നർ തെറ്റായ കോൺഫിഗറേഷൻ എന്നിവ ഒരു ആക്സിലറേറ്ററിനെ ചെലവേറിയ ഹീറ്ററാക്കി മാറ്റുന്ന ഒരൊറ്റ പ്രശ്നമായി എങ്ങനെ ചേരുന്നു എന്ന് ഞങ്ങൾ കണ്ടെത്തുന്നു. സിസ്റ്റം ശരിയായ ഔട്ട്പുട്ടുകൾ തിരികെ നൽകുന്നത് തുടരുന്നു, പക്ഷേ 10 മുതൽ 30 മടങ്ങ് വരെ…

Apple Podcasts · Spotify · YouTube · YouTube Music

Diagnose GPU Underutilization and CPU Fallback in AI Systems (English)