Provisioned throughput units (PTU)
Concept
Provisioned throughput units — это нормализованная единица, которая используется для резервирования выделенной мощности обработки моделей для развертываний Azure OpenAI в качестве альтернативы оплате токенов по модели pay-as-you-go.
Также обсуждаются
В выпуске на тему Provisioned throughput units (PTU) обсуждаются также: LLMLingua, Model router (Microsoft Foundry), Pay-as-you-go pricing, Semantic caching, Chargeback и Microsoft Cost Management.
Description
Provisioned throughput units (PTU) — это нормализованная единица, которая используется для резервирования выделенной мощности обработки моделей для развертываний Azure OpenAI. В документации Microsoft provisioned throughput unit описывается как единица измерения для подготовленных развертываний в Microsoft Foundry, где каждая единица представляет фиксированный объем мощности обработки модели. PTU служат альтернативой оплате токенов по модели pay-as-you-go, при которой мощность используется совместно, а стоимость зависит от количества израсходованных токенов.
Центральная идея — резервирование. Выбранное количество единиц резервируется исключительно для развертывания независимо от того, поступают ли запросы. Поскольку мощность не разделяется так, как в стандартных развертываниях, задержка становится более предсказуемой. Документация позиционирует provisioned throughput для стабильного трафика, приложений, чувствительных к задержке, больших производственных объемов и сценариев реального времени, таких как чаты, copilots или агенты.
Несколько параметров определяют, как PTU получают и используют. Квота не зависит от модели, но выдается для каждой подписки, региона и типа развертывания. У каждой модели есть минимальное количество единиц и собственный показатель токенов в минуту на единицу, поэтому одно и то же количество PTU обеспечивает разную пропускную способность в зависимости от модели. Типы развертываний включают global provisioned, data zone provisioned и regional provisioned. Дополнительная функция spillover может направлять запросы, превышающие подготовленную мощность, на стандартное развертывание, однако она доступна не для всех семейств моделей.
Оплата PTU производится почасово за каждую единицу независимо от того, сколько токенов потреблено. Azure Reservations предлагаются как вариант обязательств со скидкой. Определение размера развертывания опирается на частоту запросов, размеры подсказок и ответов, а также на показатели кэширования, а в портале Azure есть калькулятор мощности, помогающий сделать такую оценку. В документации также предупреждается, что квота не гарантирует мощность, которая может колебаться, и что резервирования ее тоже не гарантируют. Поэтому перед оформлением резервирования рекомендуется сначала создать развертывание.
Типичный вопрос при выборе PTU — оправдывают ли характер нагрузки зарезервированную мощность или достаточно оплаты по модели pay-as-you-go. Стабильный, высокообъемный или чувствительный к задержке производственный трафик соответствует сценариям, которые документация называет для provisioned throughput, тогда как переменное или малообъемное использование — это ситуация, для которой создана стандартная оплата токенов. Модель почасовой оплаты означает, что стоимость привязана к зарезервированным единицам, а не к использованию, поэтому определение правильного размера имеет значение.
Эпизод M365.FM «How to Build Low-Cost AI Agents in Microsoft Cloud» помещает PTU в более широкую структуру затрат на создание агентов. В обзоре уровней биллинга эпизод называет Provisioned Throughput Units стоимостью пропускной способности в Foundry и приводит цифру $1 за PTU. Рядом он ставит другие статьи затрат, например расходы на ведение журналов и наблюдаемость агентов, которые зависят от объема логирования, а также Microsoft Agent Pre-Purchase Plan — описываемый как единый план со скидками на сервисы ИИ — стоимостью $19,000 за 20,000 ACU. Эпизод говорит, что план предварительной оплаты охватывает более 30 сервисов и предлагает единый путь управления для проектов ИИ, а понимание этих уровней биллинга рассматривает как способ принимать более обоснованные решения и держать затраты на ИИ под контролем.
Overview compiled with AI from M365.FM episodes and the facts on this page. You can improve it with the edit button below.
| Type | Concept |
|---|---|
| Documentation | Provisioned throughput units (PTU) – Microsoft Learn learn.microsoft.com |
Frequently asked questions
Questions marked with AI were written with AI from the facts on this page.
Что такое provisioned throughput unit (PTU)? (AI)
PTU — это единица измерения для подготовленных развертываний в Microsoft Foundry и Azure OpenAI, где каждая единица представляет фиксированный объем мощности обработки модели, зарезервированный исключительно для развертывания.
Как оплачиваются PTU по сравнению со стандартными развертываниями? (AI)
PTU оплачиваются почасово за каждую единицу независимо от количества израсходованных токенов, при этом Azure Reservations доступны как вариант обязательств со скидкой. Стандартные развертывания используют оплату токенов по модели pay-as-you-go на совместно используемой мощности.
Гарантирует ли наличие квоты PTU мощность? (AI)
Нет. В документации сказано, что квота не гарантирует мощность и что резервирования ее тоже не гарантируют, поэтому рекомендуется сначала создать развертывание.
Community wiki
Short info above, community knowledge below: add practical tips, examples or corrections. New contributions are reviewed first; trusted members publish directly.
Experts and companies for this topic
Nobody has listed this topic yet. Add it to your profile.
Sources
- Provisioned throughput units (PTU) – Microsoft Learn learn.microsoft.com
Maintained by Mirko Peters (Microsoft MVP) · Last updated: