컨테이너

GPU 요금은 오르고 대시보드는 초록색인데 고객은 여전히 기다립니다. 이번 에피소드는 ONNX Runtime과 TensorRT 기반 Stable Diffusion 추론이 GPU를 거의 쓰지 않으면서 지연 시간만 치솟는 이유를 사건 수사처럼 추적하고, 수정 전후의…

컨테이너는 가볍고 이식성이 좋으며 어디서나 일관되게 실행됩니다. 하지만 수십, 수백 개로 늘어나면 제품 개발 대신 확장, 업데이트, 문제 해결에 시간을 쏟게 됩니다. Kubernetes가 이 문제를 해결하지만 직접 운영하기는 복잡합니다. 이번 에피소드는 Azure…