2025-11-29

אבחון ניצול חסר של GPU והחזרה ל-CPU במערכות AI

בפרק זה של The M365 Show אנו חוקרים דפוס כשל מוכר אך לעיתים מובן באופן שגוי במערכות AI ארגוניות: עלויות ה-GPU עולות, התפוקה קורסת והזמן עד לתגובה הופך לבלתי צפוי, למרות שלוחות המחוונים נראים תקינים והמודלים נראים כעובדים. במקום להאשים פרמטרים או ארכיטקטורות, אנו מתייחסים לבעיה כאל מקרה פורנזי ועוקבים אחר הראיות לאורך כל צינור החישוב. אנו עוברים על עומס עבודה מציאותי של Stable Diffusion תחת קונקרנציה, עם יעדי השהייה P95 מחמירים וחומרת GPU שנראית מספיקה לגמרי על הנייר. משם אנו עוקבים אחר האופן שבו החזרה שקטה ל-CPU ב-ONNX Runtime, אי-התאמות עדינות בין גרסאות CUDA, cuDNN, TensorRT ו-ONNX Runtime, ושגיאות תצורה בקונטיינרים משתלבות לכדי פתולוגיה אחת שהופכת מאיץ לתנור חשמל יקר. המערכת ממשיכה להחזיר תוצאות נכונות, אך במהירות איטית פי 10 עד 30 …

Apple Podcasts · Spotify · YouTube · YouTube Music

Diagnose GPU Underutilization and CPU Fallback in AI Systems (English)