2025-11-29

AI அமைப்புகளில் GPU குறைவான பயன்பாடு மற்றும் CPU மாற்று செயல்பாட்டைக் கண்டறிதல்

இந்த அத்தியாயத்தில் The M365 Show, நிறுவன AI-யில் அடிக்கடி காணப்படும் ஆனால் பெரும்பாலும் தவறாகப் புரிந்துகொள்ளப்படும் ஒரு தோல்விப் போக்கை ஆராய்கிறது: GPU செலவுகள் உயர்கின்றன, செயல்திறன் சரிகிறது, தாமதம் கணிக்க முடியாததாகிறது, இருப்பினும் டாஷ்போர்டுகள் ஆரோக்கியமாகத் தோன்றுகின்றன, மாதிரிகள் வேலை செய்வதாகத் தெரிகின்றன. அளவுருக்கள் அல்லது கட்டமைப்புகளைக் குற்றம் சாட்டுவதற்குப் பதிலாக, இந்தச் சிக்கலை ஒரு தடயவியல் வழக்காகக் கருதி, முழு கணினி பைப்லைனிலும் ஆதாரங்களைப் பின்தொடர்கிறோம். கடுமையான P95 தாமத இலக்குகளுடன், ஒரே நேரத்தில் பல பணிகள் நடக்கும் ஒரு யதார்த்தமான Stable Diffusion பணிச்சுமையை ஆராய்கிறோம்; காகிதத்தில் போதுமானதாகத் தோன்றும் GPU வன்பொருளையும் பார்க்கிறோம். அங்கிருந்து, ONNX Runtime-இல் அமைதியான CPU மாற்று செயல்பாடு, CUDA, cuDNN, TensorRT மற்றும் ONNX Runtime ஆகியவற்றுக்கிடையிலான நுட்பமான பதிப்பு பொருத்தமின்மைகள், மற்றும் கொள்கலன் தவறான கட்டமைப்பு ஆகியவை எவ்வாறு ஒன்றிணைந்து ஒரு முடுக்கியை விலையுயர்ந்த வெப்பமூட்டியாக மாற்றும் ஒற்றைப் பிரச்சினையாக உருவாகின்றன என்பதைக் கண்டறிகிறோம். கணினி இன்னும் சரியான வெளியீடுகளைத் தருகிறது, ஆனால் 10 முதல் 30 மடங்கு...

Apple Podcasts · Spotify · YouTube · YouTube Music

Diagnose GPU Underutilization and CPU Fallback in AI Systems (English)