2025-11-29

Diagnóstico de la subutilización de GPU y el respaldo en CPU en sistemas de IA

En este episodio de The M365 Show investigamos un patrón de fallo familiar pero a menudo malinterpretado en la IA empresarial: los costes de GPU aumentan, el rendimiento se desploma y la latencia se vuelve impredecible, aunque los paneles de control parezcan correctos y los modelos aparenten funcionar. En lugar de culpar a los parámetros o a las arquitecturas, tratamos el problema como un caso forense y seguimos las pruebas a lo largo de todo el pipeline de cómputo. Recorremos una carga de trabajo realista de Stable Diffusion bajo concurrencia, con objetivos estrictos de latencia P95 y hardware de GPU que, sobre el papel, parece perfectamente adecuado. A partir de ahí, analizamos cómo el respaldo silencioso en CPU en ONNX Runtime, las discrepancias sutiles de versiones entre CUDA, cuDNN, TensorRT y ONNX Runtime, y una configuración incorrecta de los contenedores se combinan en una única patología que convierte un acelerador en un calefactor caro. El sistema sigue devolviendo resultados correctos, pero a un coste de 10 a 30 veces el ex

Apple Podcasts · Spotify · YouTube · YouTube Music

Diagnose GPU Underutilization and CPU Fallback in AI Systems (English)