Inférence GPU lente démasquée

repli sur CPU, conflits de versions CUDA/TensorRT et erreurs de conteneur

La facture GPU grimpe, les tableaux de bord sont au vert, et pourtant les clients attendent. Cet épisode mène l’enquête : pourquoi l’inférence Stable Diffusion avec ONNX Runtime et TensorRT n’utilise presque pas le GPU alors que la latence s’envole, preuves à l’appui en latence, débit et utilisation GPU avant et après correction.

▶ Inférence GPU lente démasquée : repli sur CPU, conflits de versions CUDA/TensorRT et erreurs de conteneur (Doublage IA)

Au programme :

1. Repli sur CPU : pourquoi ONNX Runtime bascule en silence sur le fournisseur d’exécution CPU, avec une latence 10 à 30 fois plus élevée
2. Conflits de versions entre pilote, CUDA, cuDNN, ONNX Runtime et TensorRT qui font perdre discrètement l’attention fusionnée et les optimisations FP16
3. Mauvaises configurations de conteneurs : images gonflées, périphériques GPU non montés, NVIDIA Container Toolkit et arène mémoire CUDA
4. Des contrôles d’intégrité et de performance au démarrage : vérifier les fournisseurs, préchauffage avec prompts canari déterministes et échec franc plutôt que dégradation silencieuse
5. Un protocole de remédiation reproductible : matrice de versions, moteurs TensorRT précompilés, IO binding, FP16 et déploiements blue-green avec rollback automatique

Cet épisode est une version française doublée par IA de la vidéo animée du M365 Show présentée par le Microsoft MVP Mirko Peters.