Provisioned throughput units (PTU)
Concept
Provisioned throughput units — це нормалізована одиниця, що використовується для резервування виділеної потужності обробки моделі для розгортань Azure OpenAI як альтернатива оплаті за токени за моделлю pay-as-you-go.
Також обговорюють
У випуску на тему Provisioned throughput units (PTU) обговорюють також: LLMLingua, Model router (Microsoft Foundry), Pay-as-you-go pricing, Semantic caching, Chargeback та Microsoft Cost Management.
Description
Provisioned throughput units (PTU) — це нормалізована одиниця, що використовується для резервування виділеної потужності обробки моделі для розгортань Azure OpenAI. Документація Microsoft описує provisioned throughput unit як одиницю виміру для provisioned розгортань у Microsoft Foundry, де кожна одиниця представляє фіксовану величину потужності обробки моделі. PTU є альтернативою оплаті за токени за моделлю pay-as-you-go, за якої потужність є спільною, а вартість визначається кількістю спожитих токенів.
Центральна ідея полягає в резервуванні. Обрана кількість одиниць резервується для розгортання виключно, незалежно від того, чи надходять запити. Оскільки потужність не є спільною так, як у стандартних розгортаннях, затримка стає більш передбачуваною. Документація позиціонує provisioned throughput для стабільного трафіку, застосунків, чутливих до затримки, великих продуктивних обсягів і сценаріїв реального часу, таких як чати, copilots або агенти.
Кілька параметрів визначають, як PTU отримуються і використовуються. Квота не залежить від моделі, але надається для кожної підписки, регіону та типу розгортання. Кожна модель має мінімальну кількість одиниць і власну кількість токенів на хвилину на одиницю, тож та сама кількість PTU забезпечує різну пропускну здатність залежно від моделі. Типи розгортання включають global provisioned, data zone provisioned і regional provisioned. Необов'язкова функція spillover може перенаправляти запити, що перевищують provisioned потужність, на стандартне розгортання, хоча вона доступна не для всіх родин моделей.
Оплата за PTU здійснюється щогодини за одиницю незалежно від кількості спожитих токенів. Azure Reservations пропонуються як варіант зобов'язання зі знижкою. Розмір розгортання залежить від частоти запитів, розмірів підказок і відповідей та коефіцієнтів кешування, а в порталі Azure є калькулятор потужності для підтримки такої оцінки. Документація також застерігає, що квота не гарантує потужність, яка може коливатися, і що резервування її також не гарантує. Тому перед укладенням резервування рекомендовано спершу створити розгортання.
Типове рішення щодо PTU полягає в тому, чи виправдовують робочі навантаження зарезервовану потужність, чи достатньо оплати pay-as-you-go. Стабільний, великий за обсягом або чутливий до затримки продуктивний трафік відповідає сценаріям, які документація називає для provisioned throughput, тоді як змінне або низькообсягове використання — це ситуація, для якої призначена стандартна оплата за токени. Модель погодинної оплати означає, що вартість прив'язана до зарезервованих одиниць, а не до використання, тому важливе правильне визначення розміру.
Випуск M365.FM "How to Build Low-Cost AI Agents in Microsoft Cloud" розміщує PTU у ширшій структурі витрат на створення агентів. В огляді рівнів оплати епізод перелічує Provisioned Throughput Units як вартість пропускної здатності у Foundry і називає ціну $1 за PTU. Він ставить це поряд з іншими статтями витрат, такими як витрати на логування агентів і спостережуваність, що залежать від обсягу логування, та Microsoft Agent Pre-Purchase Plan, який описано як єдиний план зі знижками на сервіси ШІ за $19 000 за 20 000 ACU. Епізод стверджує, що план попередньої купівлі охоплює понад 30 сервісів і пропонує єдиний шлях управління для проєктів ШІ, а розуміння цих рівнів оплати подається як спосіб приймати кращі рішення й контролювати витрати на ШІ.
Overview compiled with AI from M365.FM episodes and the facts on this page. You can improve it with the edit button below.
| Type | Concept |
|---|---|
| Documentation | Provisioned throughput units (PTU) – Microsoft Learn learn.microsoft.com |
Frequently asked questions
Questions marked with AI were written with AI from the facts on this page.
Що таке provisioned throughput unit (PTU)? (AI)
PTU — це одиниця виміру для provisioned розгортань у Microsoft Foundry та Azure OpenAI, де кожна одиниця представляє фіксовану величину потужності обробки моделі, виділену виключно для розгортання.
Як оплачуються PTU порівняно зі стандартними розгортаннями? (AI)
PTU оплачуються щогодини за одиницю незалежно від кількості спожитих токенів, а Azure Reservations доступні як варіант зобов'язання зі знижкою. Стандартні розгортання використовують оплату за токени за моделлю pay-as-you-go на спільній потужності.
Чи гарантує наявність квоти PTU потужність? (AI)
Ні. Документація зазначає, що квота не гарантує потужність і що резервування її також не гарантує, тому рекомендовано спершу створити розгортання.
Community wiki
Short info above, community knowledge below: add practical tips, examples or corrections. New contributions are reviewed first; trusted members publish directly.
Experts and companies for this topic
Nobody has listed this topic yet. Add it to your profile.
Sources
- Provisioned throughput units (PTU) – Microsoft Learn learn.microsoft.com
Maintained by Mirko Peters (Microsoft MVP) · Last updated: