Inferência em GPU lenta desmascarada

fallback para CPU, conflitos de versão CUDA/TensorRT e erros de contêiner

A conta de GPU sobe, os dashboards estão verdes e mesmo assim os clientes esperam. Este episódio investiga como um caso forense por que a inferência de Stable Diffusion com ONNX Runtime e TensorRT quase não usa a GPU enquanto a latência dispara, e comprova a correção com latência, throughput e uso de GPU antes e depois.

▶ Inferência em GPU lenta desmascarada: fallback para CPU, conflitos de versão CUDA/TensorRT e erros de contêiner (Dublagem IA)

O que você vai aprender:

1. Fallback para CPU: por que o ONNX Runtime passa silenciosamente para o provedor de execução de CPU e a latência fica de 10 a 30 vezes maior
2. Conflitos de versão entre driver, CUDA, cuDNN, ONNX Runtime e TensorRT que fazem perder sem aviso a atenção fundida e as otimizações FP16
3. Contêineres mal configurados: imagens inchadas, dispositivos GPU não montados, NVIDIA Container Toolkit e a arena de memória CUDA
4. Verificações de integridade e desempenho na inicialização: checar provedores, aquecimento com prompts canário determinísticos e falha explícita em vez de degradação silenciosa
5. Um protocolo de correção repetível com matriz de versões, engines TensorRT pré-compiladas, IO binding, FP16 e implantações blue-green com rollback automático

Este episódio é uma versão em português dublada com IA do vídeo animado do M365 Show, do Microsoft MVP Mirko Peters.