2025-11-29

GPU 활용률 저하와 CPU 폴백 원인 진단: AI 시스템 편

이번 The M365 Show 에피소드에서는 엔터프라이즈 AI에서 흔히 나타나지만 종종 잘못 이해되는 장애 패턴을 다룹니다. GPU 비용은 상승하고 처리량은 급락하며 지연 시간은 予측할 수 없게 되지만, 대시보드는 정상으로 보이고 모델도 작동하는 것처럼 보입니다. 우리는 매개변수나 아키텍처를 탓하는 대신 이 문제를 포렌식 사례로 보고, 전체 컴퓨팅 파이프라인을 따라가며 증거를 추적합니다. 엄격한 P95 지연 시간 목표가 있고 종이 사양상으로는 충분해 보이는 GPU 하드웨어 환경에서 동시성 아래의 현실적인 Stable Diffusion 워크로드를 살펴봅니다. 이어서 ONNX Runtime의 조용한 CPU 폴백, CUDA, cuDNN, TensorRT, ONNX Runtime 간의 미묘한 버전 불일치, 그리고 컨테이너 설정 오류가 어떻게 결합되어 가속기를 값비싼 히터로 바꾸는 단일 병리 현상이 되는지 설명합니다. 시스템은 여전히 올바른 출력을 반환하지만, 예상 대비 10배에서 30배의 비용과 지연으로 동작합니다.

Apple Podcasts · Spotify · YouTube · YouTube Music

Diagnose GPU Underutilization and CPU Fallback in AI Systems (English)