M365Con 2027 – 무료 온라인 컨퍼런스 · 11–22 Jan 2027 · 120 sessions m365con.net

Provisioned throughput units (PTU)

Concept

Provisioned throughput units은 Azure OpenAI 배포를 위해 전용 모델 처리 용량을 예약하는 데 사용되는 정규화된 단위로, 사용량에 따라 요금을 내는 従量제 토큰 과금의 대안입니다.

✦ CONCEPTProvisioned throughputunits (PTU)M365.FM
Title graphic: Provisioned throughput units (PTU) (Concept)

함께 다룬 주제

Provisioned throughput units (PTU) 관련 에피소드에서는 LLMLingua, Model router (Microsoft Foundry), Pay-as-you-go pricing, Semantic caching, Chargeback 및 Microsoft Cost Management도 다룹니다.

Description

Provisioned throughput units(PTU)는 Azure OpenAI 배포를 위해 전용 모델 처리 용량을 예약하는 데 사용되는 정규화된 단위입니다. Microsoft 문서는 provisioned throughput unit을 Microsoft Foundry의 프로비저닝된 배포에 대한 측정 단위로 설명하며, 각 단위는 고정된 양의 모델 처리 용량을 나타냅니다. PTU는 용량이 공유되고 비용이 소비된 토큰 수에 따라 결정되는 従量제 토큰 과금의 대안 역할을 합니다.

핵심 개념은 예약입니다. 선택한 단위 수는 요청이 들어오는지 여부와 관계없이 해당 배포에 독점적으로 예약됩니다. 용량이 표준 배포에서처럼 공유되지 않기 때문에 지연 시간이 더 예측 가능합니다. 문서는 provisioned throughput을 꾸준한 트래픽, 지연 시간에 민감한 애플리케이션, 대규모 프로덕션 볼륨, 그리고 채팅, 코파일럿, 에이전트와 같은 실시간 시나리오에 적합한 것으로 설명합니다.

PTU를 확보하고 사용하는 방식은 여러 매개변수에 따라 달라집니다. 할당량(quota)은 모델과 무관하지만 구독, 리전, 배포 유형별로 부여됩니다. 각 모델에는 최소 단위 수와 단위당 고유한 분당 토큰 처리량이 있으므로, 같은 수의 PTU라도 모델에 따라 처리량이 다릅니다. 배포 유형에는 글로벌 프로비저닝, 데이터 영역 프로비저닝, 리전 프로비저닝이 포함됩니다. 선택 기능인 스필오버(spillover)를 사용하면 프로비저닝된 용량을 초과하는 요청을 표준 배포로 보낼 수 있지만, 모든 모델 제품군에서 사용할 수 있는 것은 아닙니다.

PTU 요금은 소비된 토큰 수와 관계없이 단위당 시간별로 청구됩니다. Azure 예약은 할인된 약정 옵션으로 제공됩니다. 배포 규모를 산정하려면 요청 속도, 프롬프트 및 응답 크기, 캐시 적중률을 고려해야 하며, Azure 포털에는 이러한 추정을 지원하는 용량 계산기가 포함되어 있습니다. 문서는 또한 할당량이 용량을 보장하지 않으며 용량은 변동될 수 있고, 예약 역시 용량을 보장하지 않는다고 경고합니다. 이러한 이유로 예약에 약정하기 전에 먼저 배포를 생성하는 것이 권장되는 단계 순서입니다.

PTU와 관련된 일반적인 결정은 작업 패턴이 예약 용량을 정당화하는지, 아니면 従량제 과금으로 충분한지를 판단하는 것입니다. 꾸준하고 대량이거나 지연 시간에 민감한 프로덕션 트래픽은 문서에서 provisioned throughput에 적합하다고 명시한 시나리오에 해당하며, 변동성이 크거나 사용량이 적은 경우에는 표준 토큰 과금이 적합합니다. 시간별 과금 모델에서는 비용이 사용량이 아니라 예약된 단위에 연동되므로 규모 산정이 중요합니다.

M365.FM 에피소드 "How to Build Low-Cost AI Agents in Microsoft Cloud"는 PTU를 에이전트 구축의 더 넓은 비용 구조 안에 위치시킵니다. 과금 계층에 대한 개요에서 이 에피소드는 Provisioned Throughput Units를 Foundry에서의 처리량 비용으로 나열하며 PTU당 $1이라는 수치를 제시합니다. 또한 로깅량에 따라 달라지는 에이전트 로깅 및 관측 가능성 비용 같은 다른 비용 항목과 나란히 제시하고, 20,000 ACU에 $19,000이라는 가격의 Microsoft Agent Pre-Purchase Plan을 AI 서비스 할인을 제공하는 통합 플랜으로 소개합니다. 이 에피소드는 사전 구매 플랜이 30개 이상의 서비스를 포함하며 AI 프로젝트에 대한 단일 거버넌스 경로를 제공한다고 설명하고, 이러한 과금 계층을 이해하는 것이 더 나은 결정을 내리고 AI 비용을 관리하는 방법이라고 봅니다.

Overview compiled with AI from M365.FM episodes and the facts on this page. You can improve it with the edit button below.

TypeConcept
DocumentationProvisioned throughput units (PTU) – Microsoft Learn learn.microsoft.com

Frequently asked questions

Questions marked with AI were written with AI from the facts on this page.

프로비저닝된 처리량 단위(PTU)란 무엇입니까? (AI)

PTU는 Microsoft Foundry 및 Azure OpenAI의 프로비저닝된 배포에 대한 측정 단위로, 각 단위는 배포에 독점적으로 예약된 고정된 양의 모델 처리 용량을 나타냅니다.

표준 배포와 비교하여 PTU는 어떻게 청구됩니까? (AI)

PTU는 사용된 토큰 수와 관계없이 단위당 시간별로 청구되며, 할인된 약정 옵션으로 Azure 예약을 이용할 수 있습니다. 표준 배포는 공유 용량에 대해 従量제 토큰 과금을 사용합니다.

PTU 할당량이 있으면 용량이 보장됩니까? (AI)

아니요. 문서에 따르면 할당량은 용량을 보장하지 않으며 예약 역시 용량을 보장하지 않으므로, 먼저 배포를 생성하는 것이 권장됩니다.

Glossary

Community wiki

Short info above, community knowledge below: add practical tips, examples or corrections. New contributions are reviewed first; trusted members publish directly.

Experts and companies for this topic

Nobody has listed this topic yet. Add it to your profile.

Sources

Maintained by Mirko Peters (Microsoft MVP) · Last updated: