הסקה איטית ב-GPU: נפילה ל-CPU, התנגשויות גרסאות CUDA/TensorRT ותקלות קונטיינרים

חשבון ה-GPU עולה, הדשבורדים ירוקים – ובכל זאת הלקוחות מחכים. הפרק חוקר כמו תיק פלילי מדוע הסקה של Stable Diffusion עם ONNX Runtime ו-TensorRT כמעט לא מנצלת את ה-GPU בזמן שההשהיה מזנקת, ומוכיח את התיקון במדידות השהיה, תפוקה וניצולת GPU לפני ואחרי.

▶ הסקה איטית ב-GPU: נפילה ל-CPU, התנגשויות גרסאות CUDA/TensorRT ותקלות קונטיינרים (דיבוב AI)

מה תלמדו:

1. נפילה ל-CPU: למה ONNX Runtime עובר בשקט לספק ההרצה של ה-CPU וההשהיה גדלה פי 10 עד 30
2. התנגשויות גרסאות בין הדרייבר, CUDA, cuDNN, ONNX Runtime ו-TensorRT שבגללן אובדים בשקט ה-fused attention ואופטימיזציות FP16
3. קונטיינרים שהוגדרו לא נכון: אימג'ים מנופחים, התקני GPU שלא נטענו, NVIDIA Container Toolkit וזירת הזיכרון של CUDA
4. שערי תקינות וביצועים בעלייה: בדיקת ספקים, חימום עם פרומפטים קנריים דטרמיניסטיים וכשל מפורש במקום הידרדרות שקטה
5. פרוטוקול תיקון שניתן לחזור עליו: מטריצת גרסאות, מנועי TensorRT מוכנים מראש, IO binding, FP16 ופריסות blue-green עם rollback אוטומטי

הפרק הזה הוא גרסה עברית בדיבוב AI של הסרטון המונפש מתוך M365 Show של Microsoft MVP מירקו פטרס.