2025-11-29

Diagnosticare la sottoutilizzazione della GPU e il fallback su CPU nei sistemi di IA

In questo episodio di The M365 Show analizziamo un modello di guasto familiare ma spesso frainteso nell'IA aziendale: i costi della GPU aumentano, la produttività crolla e la latenza diventa imprevedibile, anche se le dashboard appaiono sane e i modelli sembrano funzionare. Anziché attribuire il problema ai parametri o alle architetture, lo trattiamo come un caso forense e seguiamo le prove lungo l'intera pipeline di calcolo. Esaminiamo un carico di lavoro realistico di Stable Diffusion sotto concorrenza, con obiettivi di latenza P95 stringenti e un hardware GPU che sulla carta appare del tutto adeguato. Da qui ricostruiamo come il fallback silenzioso su CPU in ONNX Runtime, le incompatibilità di versione tra CUDA, cuDNN, TensorRT e ONNX Runtime, e una configurazione errata dei container si combinino in un'unica patologia che trasforma un acceleratore in un costoso radiatore. Il sistema continua a restituire output corretti, ma a 10-30 volte il costo previsto.

Apple Podcasts · Spotify · YouTube · YouTube Music

Diagnose GPU Underutilization and CPU Fallback in AI Systems (English)