2025-11-29

Diagnosticar a Subutilização de GPU e o Fallback para CPU em Sistemas de IA

Neste episódio do The M365 Show investigamos um padrão de falha familiar, mas frequentemente mal compreendido, em IA corporativa: os custos da GPU sobem, a taxa de transferência despenca e a latência torna-se imprevisível, mesmo com painéis aparentemente saudáveis e modelos que parecem funcionar. Em vez de culpar parâmetros ou arquiteturas, tratamos o problema como um caso forense e seguimos as evidências ao longo de todo o pipeline de computação. Percorremos uma carga de trabalho realista de Stable Diffusion sob concorrência, com objetivos rigorosos de latência P95 e hardware de GPU que, no papel, parece perfeitamente adequado. A partir daí, analisamos como o fallback silencioso para CPU no ONNX Runtime, incompatibilidades sutis de versões entre CUDA, cuDNN, TensorRT e ONNX Runtime, e a má configuração de contêineres se combinam numa única patologia que transforma um acelerador num aquecedor caro. O sistema continua a devolver resultados corretos, mas a um custo de 10 a 30 vezes o esperado ex

Apple Podcasts · Spotify · YouTube · YouTube Music

Diagnose GPU Underutilization and CPU Fallback in AI Systems (English)