Provisioned throughput units (PTU)
Concept
Unidades de throughput provisionado são a unidade normalizada usada para reservar capacidade dedicada de processamento de modelos para implantações do Azure OpenAI, como alternativa ao faturamento por tokens pay-as-you-go.
Também abordados
O episódio sobre Provisioned throughput units (PTU) aborda também LLMLingua, Model router (Microsoft Foundry), Pay-as-you-go pricing, Semantic caching, Chargeback e Microsoft Cost Management.
Descrição
Unidades de throughput provisionado (PTU) são a unidade normalizada usada para reservar capacidade dedicada de processamento de modelos para implantações do Azure OpenAI. A documentação da Microsoft descreve uma unidade de throughput provisionado como a unidade de medida para implantações provisionadas no Microsoft Foundry, em que cada unidade representa uma quantidade fixa de capacidade de processamento de modelos. As PTUs servem como alternativa ao faturamento pay-as-you-go por tokens, no qual a capacidade é compartilhada e o custo acompanha o número de tokens consumidos.
A ideia central é a reserva. O número escolhido de unidades é reservado exclusivamente para a implantação, haja ou não solicitações. Como a capacidade não é compartilhada da mesma forma que nas implantações padrão, a latência se torna mais previsível. A documentação posiciona o throughput provisionado para tráfego constante, aplicações sensíveis à latência, altos volumes de produção e cenários em tempo real, como chats, copilotos ou agentes.
Vários parâmetros definem como as PTUs são obtidas e utilizadas. A cota é independente do modelo, mas é concedida por assinatura, região e tipo de implantação. Cada modelo tem uma quantidade mínima de unidades e seu próprio rendimento de tokens por minuto por unidade, de modo que o mesmo número de PTUs entrega throughputs diferentes conforme o modelo. Os tipos de implantação incluem provisionado global, provisionado por zona de dados e provisionado regional. Um recurso opcional de spillover pode direcionar solicitações excedentes para uma implantação padrão quando a capacidade provisionada é ultrapassada, embora não esteja disponível para todas as famílias de modelos.
O faturamento das PTUs é por hora e por unidade, independentemente de quantos tokens são consumidos. As Reservas do Azure são oferecidas como uma opção de compromisso com desconto. O dimensionamento de uma implantação depende das taxas de solicitações, dos tamanhos de prompts e respostas e das taxas de cache, e o portal do Azure inclui uma calculadora de capacidade para apoiar essa estimativa. A documentação também alerta que a cota não garante capacidade, que pode oscilar, e que as reservas também não a garantem. Por isso, a orientação é criar a implantação primeiro, antes de se comprometer com uma reserva.
Uma decisão típica em torno das PTUs é saber se os padrões de carga de trabalho justificam capacidade reservada ou se o faturamento pay-as-you-go é suficiente. Tráfego de produção constante, de alto volume ou sensível à latência corresponde aos cenários que a documentação indica para o throughput provisionado, enquanto o uso variável ou de baixo volume é a situação para a qual o faturamento padrão por tokens foi concebido. O modelo de faturamento por hora significa que o custo está vinculado às unidades reservadas e não ao uso, e por isso o dimensionamento é importante.
O episódio do M365.FM "How to Build Low-Cost AI Agents in Microsoft Cloud" situa as PTUs dentro da estrutura de custos mais ampla da criação de agentes. Em sua visão geral das camadas de faturamento, o episódio lista as Provisioned Throughput Units como o custo de throughput no Foundry e indica o valor de US$ 1 por PTU. Ele põe ao lado outros itens de custo, como os custos de logging e observabilidade de agentes, que variam conforme o volume de logs, e o Microsoft Agent Pre-Purchase Plan, descrito como um plano unificado com descontos em serviços de IA por US$ 19.000 por 20.000 ACUs. O episódio afirma que o plano de pré-compra abrange mais de 30 serviços e oferece um caminho único de governança para projetos de IA, e enquadra a compreensão dessas camadas de faturamento como uma forma de tomar decisões melhores e manter os custos de IA sob controle.
Overview compiled with AI from M365.FM episodes and the facts on this page. You can improve it with the edit button below.
| Tipo | Concept |
|---|---|
| Documentação | Provisioned throughput units (PTU) – Microsoft Learn learn.microsoft.com |
Perguntas frequentes
Questions marked with AI were written with AI from the facts on this page.
O que é uma unidade de throughput provisionado (PTU)? (AI)
Uma PTU é a unidade de medida para implantações provisionadas no Microsoft Foundry e no Azure OpenAI, em que cada unidade representa uma quantidade fixa de capacidade de processamento de modelos reservada exclusivamente para a implantação.
Como as PTUs são faturadas em comparação com as implantações padrão? (AI)
As PTUs são faturadas por hora e por unidade, independentemente dos tokens consumidos, e as Reservas do Azure estão disponíveis como opção de compromisso com desconto. As implantações padrão usam faturamento pay-as-you-go por tokens sobre capacidade compartilhada.
Ter cota de PTUs garante capacidade? (AI)
Não. A documentação afirma que a cota não garante capacidade e que as reservas também não a garantem, por isso é recomendável criar a implantação primeiro.
Community wiki
Short info above, community knowledge below: add practical tips, examples or corrections. New contributions are reviewed first; trusted members publish directly.
Especialistas e empresas para este tópico
Ninguém indicou ainda este tópico. Adicione-o ao seu perfil.
Sources
- Provisioned throughput units (PTU) – Microsoft Learn learn.microsoft.com
Maintained by Mirko Peters (Microsoft MVP) · Last updated: