2025-11-29

GPU-Unterauslastung und CPU-Fallback in KI-Systemen diagnostizieren

In ddieser Folge von The M365 Show untersuchen wir ein bekanntes, aber oft missverstandenes Fehlermuster in der unternehmensweiten KI: Die GPU-Kosten steigen, der Durchsatz bricht ein und die Latenz wird unvorhersehbar, obwohl die Dashboards gesund aussehen und die Modelle scheinbar funktionieren. Statt Parametern oder Architekturen die Schuld zu geben, behandeln wir das Problem als forensischen Fall und verfolgen die Spuren durch die gesamte Rechenpipeline. Wir gehen einen realistischen Stable-Diffusion-Workload unter Parallelität durch, mit strengen P95-Latenzzielen und GPU-Hardware, die auf dem Papier völlig ausreichend aussieht. Von dort aus verfolgen wir, wie stiller CPU-Fallback in ONNX Runtime, subtile Versionskonflikte zwischen CUDA, cuDNN, TensorRT und ONNX Runtime sowie eine fehlerhafte Container-Konfiguration sich zu einem einzigen Fehlerbild verbinden, das einen Beschleuniger in einen teuren Heizkörper verwandelt. Das System liefert weiterhin korrekte Ergebnisse, jedoch mit einer 10- bis 30-fach höheren Latenz gegenüber dem erwarteten Wert.

Apple Podcasts · Spotify · YouTube · YouTube Music

Diagnose GPU Underutilization and CPU Fallback in AI Systems (English)