Provisioned throughput units (PTU)
Concept
プロビジョニング済みスループットユニット(PTU)は、Azure OpenAIデプロイメントの専用モデル処理能力を確保するために使用される標準化された単位で、従量課金のトークン課金方式の代替手段です。
あわせて取り上げられたテーマ
Provisioned throughput units (PTU)に関するエピソードでは、LLMLingua、Model router (Microsoft Foundry)、Pay-as-you-go pricing、Semantic caching、Chargeback、Microsoft Cost Managementも取り上げられています。
Description
プロビジョニング済みスループットユニット(PTU)は、Azure OpenAIデプロイメントの専用モデル処理能力を確保するために使用される標準化された単位です。Microsoftのドキュメントでは、プロビジョニング済みスループットユニットを、Microsoft Foundryにおけるプロビジョニング済みデプロイメントの測定単位として説明しています。各ユニットは、固定量のモデル処理能力を表します。PTUは従量課金のトークン課金方式の代替手段であり、その方式では能力が共有され、コストは消費されたトークン数に応じて決まります。
中心となる考え方は予約です。選択したユニット数は、リクエストの有無にかかわらず、そのデプロイメント専用に予約されます。標準デプロイメントのように能力が共有されないため、レイテンシーはより予測しやすくなります。ドキュメントでは、プロビジョニング済みスループットを、安定したトラフィック、レイテンシーに敏感なアプリケーション、大量の本番ワークロード、そしてチャット、コパイロット、エージェントなどのリアルタイムシナリオに適したものとして位置付けています。
PTUの取得方法と使用方法には、いくつかのパラメーターが関わります。クォータはモデルに依存しませんが、サブスクリプション、リージョン、デプロイメントの種類ごとに付与されます。各モデルには最小ユニット数があり、ユニットあたりの1分あたりのトークン数もモデルごとに異なるため、同じ数のPTUでもモデルによってスループットが変わります。デプロイメントの種類には、グローバルプロビジョニング済み、データゾーンプロビジョニング済み、リージョナルプロビジョニング済みがあります。オプションのスピルオーバー機能を使うと、プロビジョニング済み能力を超えた場合に、超過分のリクエストを標準デプロイメントに振り分けることができますが、すべてのモデルファミリーで利用できるわけではありません。
PTUの課金は、消費されたトークン数にかかわらず、ユニットごとに時間単位で行われます。Azure Reservationsは割引のあるコミットメントオプションとして提供されています。デプロイメントの規模設定には、リクエストレート、プロンプトと応答のサイズ、キャッシュ率を考慮します。Azureポータルには、この見積もりを支援するキャパシティ計算ツールが含まれています。ドキュメントはまた、クォータは容量を保証するものではなく、容量は変動しうること、そしてリザベーションも容量を保証するものではないことに注意を促しています。そのため、リザベーションを確約する前に、まずデプロイメントを作成することが推奨される手順となっています。
PTUに関する典型的な判断は、ワークロードのパターンが予約容量を正当化するかどうか、あるいは従量課金で十分かどうかというものです。安定した大量の、またはレイテンシーに敏感な本番トラフィックは、ドキュメントがプロビジョニング済みスループットの対象として挙げるシナリオに該当します。一方、変動が大きいまたは少量の利用は、標準のトークン課金が想定している状況です。時間単位の課金モデルでは、コストは利用量ではなく予約したユニットに紐づくため、規模の設定が重要になります。
M365.FMのエピソード「How to Build Low-Cost AI Agents in Microsoft Cloud(Microsoftクラウドで低コストのAIエージェントを構築する方法)」では、PTUをエージェント構築にかかるコストの全体像の中に位置付けています。課金レイヤーの概要で、このエピソードはFoundryにおけるスループットのコストとしてプロビジョニング済みスループットユニットを挙げ、1 PTUあたり1ドルという金額を示しています。これに、エージェントのログ記録と可観測性のコスト(ログ量に応じて変動)や、20,000 ACUで19,000ドルのMicrosoft Agent Pre-Purchase Planなどの他のコスト項目を並べています。Pre-Purchase Planは、AIサービスに対する割引が適用される統合プランであり、30を超えるサービスを対象とし、AIプロジェクトに対する単一のガバナンス経路を提供すると説明されています。エピソードでは、これらの課金レイヤーを理解することが、より良い判断につながり、AIコストを管理下に置くための手段であると位置付けています。
Overview compiled with AI from M365.FM episodes and the facts on this page. You can improve it with the edit button below.
| Type | Concept |
|---|---|
| Documentation | Provisioned throughput units (PTU) – Microsoft Learn learn.microsoft.com |
Frequently asked questions
Questions marked with AI were written with AI from the facts on this page.
プロビジョニング済みスループットユニット(PTU)とは何ですか? (AI)
PTUは、Microsoft FoundryおよびAzure OpenAIにおけるプロビジョニング済みデプロイメントの測定単位です。各ユニットは、デプロイメント専用に予約された固定量のモデル処理能力を表します。
標準デプロイメントと比べて、PTUの課金方法はどのように異なりますか? (AI)
PTUは、消費されたトークン数にかかわらず、ユニットごとに時間単位で課金されます。割引のあるコミットメントオプションとしてAzure Reservationsが利用できます。標準デプロイメントでは、共有容量に対して従量課金のトークン課金が適用されます。
PTUのクォータがあれば、容量が保証されますか? (AI)
いいえ。ドキュメントでは、クォータは容量を保証するものではなく、リザベーションも容量を保証するものではないと明記されています。そのため、まずデプロイメントを作成することが推奨されています。
Community wiki
Short info above, community knowledge below: add practical tips, examples or corrections. New contributions are reviewed first; trusted members publish directly.
Experts and companies for this topic
Nobody has listed this topic yet. Add it to your profile.
Sources
- Provisioned throughput units (PTU) – Microsoft Learn learn.microsoft.com
Maintained by Mirko Peters (Microsoft MVP) · Last updated: