Provisioned throughput units (PTU)
Concept
Provisioned throughput units adalah satuan ternormalisasi yang digunakan untuk memesan kapasitas pemrosesan model khusus untuk deployment Azure OpenAI, sebagai alternatif dari penagihan token bayar sesuai pemakaian.
Juga dibahas
Episode tentang Provisioned throughput units (PTU) itu juga membahas LLMLingua, Model router (Microsoft Foundry), Pay-as-you-go pricing, Semantic caching, Chargeback, dan Microsoft Cost Management.
Description
Provisioned throughput units (PTU) adalah satuan ternormalisasi yang digunakan untuk memesan kapasitas pemrosesan model khusus untuk deployment Azure OpenAI. Dokumentasi Microsoft menjelaskan provisioned throughput unit sebagai satuan ukur untuk deployment provisioned di Microsoft Foundry, di mana setiap unit merepresentasikan jumlah tetap kapasitas pemrosesan model. PTU menjadi alternatif dari penagihan token bayar sesuai pemakaian, di mana kapasitas digunakan bersama dan biaya mengikuti jumlah token yang dikonsumsi.
Gagasan utamanya adalah pemesanan. Jumlah unit yang dipilih dipesan secara eksklusif untuk deployment, terlepas dari ada atau tidaknya permintaan yang masuk. Karena kapasitasnya tidak digunakan bersama seperti pada deployment standar, latensi menjadi lebih dapat diprediksi. Dokumentasi memposisikan provisioned throughput untuk lalu lintas yang stabil, aplikasi yang sensitif terhadap latensi, volume produksi yang tinggi, dan skenario real-time seperti chat, copilot, atau agen.
Beberapa parameter menentukan cara PTU diperoleh dan digunakan. Quota tidak bergantung pada model, tetapi diberikan per subscription, region, dan jenis deployment. Setiap model memiliki jumlah unit minimum dan hasil token per menit per unit sendiri, sehingga jumlah PTU yang sama menghasilkan throughput yang berbeda tergantung pada modelnya. Jenis deployment meliputi global provisioned, data zone provisioned, dan regional provisioned. Fitur spillover opsional dapat mengirimkan permintaan yang melebihi kapasitas provisioned ke deployment standar ketika kapasitas tersebut terlampaui, meskipun fitur ini tidak tersedia untuk setiap keluarga model.
Penagihan untuk PTU dihitung per jam per unit, terlepas dari berapa banyak token yang dikonsumsi. Azure Reservations ditawarkan sebagai opsi komitmen dengan diskon. Penentuan ukuran deployment bergantung pada laju permintaan, ukuran prompt dan respons, serta tingkat cache, dan portal Azure menyertakan kalkulator kapasitas untuk membantu estimasi tersebut. Dokumentasi juga mengingatkan bahwa quota tidak menjamin kapasitas, yang dapat berfluktuasi, dan bahwa reservasi pun tidak menjaminnya. Karena itu, membuat deployment terlebih dahulu adalah urutan langkah yang disarankan sebelum berkomitmen pada reservasi.
Keputusan umum seputar PTU adalah apakah pola beban kerja membenarkan kapasitas yang dipesan atau apakah penagihan bayar sesuai pemakaian sudah memadai. Lalu lintas produksi yang stabil, bervolume tinggi, atau sensitif terhadap latensi sesuai dengan skenario yang disebutkan dokumentasi untuk provisioned throughput, sedangkan penggunaan yang bervariasi atau bervolume rendah adalah situasi yang dirancang untuk penagihan token standar. Model penagihan per jam berarti biaya terikat pada unit yang dipesan, bukan pada pemakaian, itulah sebabnya penentuan ukuran menjadi penting.
Episode M365.FM "How to Build Low-Cost AI Agents in Microsoft Cloud" menempatkan PTU dalam struktur biaya yang lebih luas untuk membangun agen. Dalam ikhtisarnya tentang lapisan penagihan, episode ini mencantumkan Provisioned Throughput Units sebagai biaya throughput di Foundry dan menyebutkan angka $1 per PTU. Episode ini menyandingkannya dengan item biaya lain, seperti biaya logging dan observability agen, yang bervariasi sesuai volume logging, serta Microsoft Agent Pre-Purchase Plan, yang digambarkan sebagai paket terpadu dengan diskon untuk layanan AI seharga $19.000 untuk 20.000 ACU. Episode tersebut menyebutkan bahwa pre-purchase plan mencakup lebih dari 30 layanan dan menawarkan satu jalur tata kelola untuk proyek AI, serta menempatkan pemahaman tentang lapisan penagihan ini sebagai cara untuk membuat keputusan yang lebih baik dan menjaga biaya AI tetap terkendali.
Overview compiled with AI from M365.FM episodes and the facts on this page. You can improve it with the edit button below.
| Type | Concept |
|---|---|
| Documentation | Provisioned throughput units (PTU) – Microsoft Learn learn.microsoft.com |
Frequently asked questions
Questions marked with AI were written with AI from the facts on this page.
Apa itu provisioned throughput unit (PTU)? (AI)
PTU adalah satuan ukur untuk deployment provisioned di Microsoft Foundry dan Azure OpenAI, di mana setiap unit merepresentasikan jumlah tetap kapasitas pemrosesan model yang dipesan secara eksklusif untuk deployment.
Bagaimana PTU ditagih dibandingkan dengan deployment standar? (AI)
PTU ditagihan per jam per unit terlepas dari jumlah token yang dikonsumsi, dengan Azure Reservations tersedia sebagai opsi komitmen dengan diskon. Deployment standar menggunakan penagihan token bayar sesuai pemakaian pada kapasitas yang digunakan bersama.
Apakah memiliki quota PTU menjamin kapasitas? (AI)
Tidak. Dokumentasi menyatakan bahwa quota tidak menjamin kapasitas dan reservasi pun tidak menjaminnya, sehingga membuat deployment terlebih dahulu disarankan.
Community wiki
Short info above, community knowledge below: add practical tips, examples or corrections. New contributions are reviewed first; trusted members publish directly.
Experts and companies for this topic
Nobody has listed this topic yet. Add it to your profile.
Sources
- Provisioned throughput units (PTU) – Microsoft Learn learn.microsoft.com
Maintained by Mirko Peters (Microsoft MVP) · Last updated: