Provisioned throughput units (PTU)
Konzept
Provisioned Throughput Units sind die normalisierte Einheit, mit der dedizierte Modellverarbeitungskapazität für Azure-OpenAI-Bereitstellungen reserviert wird, als Alternative zur Abrechnung nach Token (Pay-as-you-go).
Ebenfalls besprochen
In der Folge zu Provisioned throughput units (PTU) geht es auch um LLMLingua, Model router (Microsoft Foundry), Pay-as-you-go pricing, Semantic caching, Chargeback und Microsoft Cost Management.
Beschreibung
Provisioned Throughput Units (PTU) sind die normalisierte Einheit, mit der dedizierte Modellverarbeitungskapazität für Azure-OpenAI-Bereitstellungen reserviert wird. Laut Microsofts Dokumentation ist eine Provisioned Throughput Unit die Maßeinheit für bereitgestellte Bereitstellungen in Microsoft Foundry, wobei jede Einheit eine feste Menge an Modellverarbeitungskapazität darstellt. PTUs sind eine Alternative zur Abrechnung nach Token (Pay-as-you-go), bei der die Kapazität geteilt wird und die Kosten sich nach der Anzahl der verbrauchten Token richten.
Die zentrale Idee ist die Reservierung. Die gewählte Anzahl an Einheiten wird exklusiv für die Bereitstellung reserviert, unabhängig davon, ob Anfragen eingehen. Da die Kapazität nicht geteilt wird, wie es bei Standardbereitstellungen der Fall ist, ist die Latenz besser vorhersehbar. Die Dokumentation positioniert bereitgestellten Durchsatz für gleichmäßigen Datenverkehr, latenzkritische Anwendungen, hohe Produktionsvolumina und Echtzeitszenarien wie Chats, Copilots oder Agenten.
Mehrere Parameter bestimmen, wie PTUs erworben und genutzt werden. Das Kontingent ist modellunabhängig, wird aber pro Abonnement, Region und Bereitstellungstyp vergeben. Jedes Modell hat eine Mindestanzahl an Einheiten und seine eigene Leistung in Tokens pro Minute je Einheit, sodass dieselbe Anzahl an PTUs je nach Modell einen unterschiedlichen Durchsatz liefert. Zu den Bereitstellungstypen gehören global bereitgestellt, Data Zone bereitgestellt und regional bereitgestellt. Eine optionale Überlauffunktion (Spillover) kann Anfragen, die die bereitgestellte Kapazität übersteigen, an eine Standardbereitstellung weiterleiten, ist jedoch nicht für alle Modellfamilien verfügbar.
Die Abrechnung von PTUs erfolgt stündlich pro Einheit, unabhängig davon, wie viele Token verbraucht werden. Azure-Reservierungen werden als vergünstigte Verpflichtungsoption angeboten. Die Dimensionierung einer Bereitstellung stützt sich auf Anfrageraten, Größen von Prompts und Antworten sowie Cache-Raten, und das Azure-Portal enthält einen Kapazitätsrechner, der diese Schätzung unterstützt. Die Dokumentation weist außerdem darauf hin, dass ein Kontingent keine Kapazität garantiert, die schwanken kann, und dass Reservierungen dies ebenfalls nicht garantieren. Deshalb wird empfohlen, zuerst die Bereitstellung zu erstellen, bevor man sich auf eine Reservierung festlegt.
Eine typische Entscheidung im Zusammenhang mit PTUs ist, ob die Arbeitslastmuster reservierte Kapazität rechtfertigen oder ob die Abrechnung nach Pay-as-you-go ausreicht. Gleichmäßiger, umfangreicher oder latenzkritischer Produktionsverkehr entspricht den Szenarien, die die Dokumentation für bereitgestellten Durchsatz nennt, während schwankende oder geringvolumige Nutzung der Situation entspricht, für die die Token-Abrechnung im Standard gedacht ist. Das stündliche Abrechnungsmodell bedeutet, dass die Kosten an die reservierten Einheiten gebunden sind und nicht an die Nutzung, weshalb die Dimensionierung wichtig ist.
Die M365.FM-Episode "How to Build Low-Cost AI Agents in Microsoft Cloud" ordnet PTUs in die umfassendere Kostenstruktur beim Aufbau von Agenten ein. In ihrer Übersicht über die Abrechnungsebenen nennt die Episode Provisioned Throughput Units als Kosten für den Durchsatz in Foundry und beziffert sie mit 1 $ pro PTU. Daneben stellt sie weitere Kostenposten, etwa Kosten für Agent-Logging und Observability, die mit dem Logging-Volumen schwanken, sowie den Microsoft Agent Pre-Purchase Plan, der als einheitlicher Plan mit Rabatten auf KI-Dienste beschrieben wird und 19.000 $ für 20.000 ACUs kostet. Laut der Episode deckt der Pre-Purchase Plan über 30 Dienste ab und bietet einen einheitlichen Governance-Weg für KI-Projekte. Das Verständnis dieser Abrechnungsebenen wird als Möglichkeit dargestellt, bessere Entscheidungen zu treffen und KI-Kosten im Griff zu behalten.
Überblick, mit KI aus M365.FM-Folgen und den Fakten dieser Seite zusammengestellt. Du kannst ihn unten über „Bearbeiten“ verbessern.
| Typ | Konzept |
|---|---|
| Dokumentation | Provisioned throughput units (PTU) – Microsoft Learn learn.microsoft.com |
Häufige Fragen
Mit KI markierte Fragen wurden mit KI aus den Fakten dieser Seite geschrieben.
Was ist eine Provisioned Throughput Unit (PTU)? (KI)
Eine PTU ist die Maßeinheit für bereitgestellte Bereitstellungen in Microsoft Foundry und Azure OpenAI, wobei jede Einheit eine feste Menge an Modellverarbeitungskapazität darstellt, die exklusiv für die Bereitstellung reserviert ist.
Wie werden PTUs im Vergleich zu Standardbereitstellungen abgerechnet? (KI)
PTUs werden stündlich pro Einheit abgerechnet, unabhängig von den verbrauchten Token, wobei Azure-Reservierungen als vergünstigte Verpflichtungsoption verfügbar sind. Standardbereitstellungen nutzen die Abrechnung nach Token (Pay-as-you-go) auf geteilter Kapazität.
Garantiert ein PTU-Kontingent Kapazität? (KI)
Nein. Die Dokumentation stellt klar, dass ein Kontingent keine Kapazität garantiert und Reservierungen dies ebenfalls nicht tun. Daher wird empfohlen, zuerst die Bereitstellung zu erstellen.
Community-Wiki
Oben die Kurzinfo, unten das Wissen der Community: ergänze praktische Tipps, Beispiele oder Korrekturen. Neue Beiträge werden zuerst geprüft, bewährte Mitglieder veröffentlichen direkt.
Experten und Firmen zu diesem Thema
Dieses Thema hat noch niemand im Profil angegeben. Trag es in deinem Profil ein.
Quellen
- Provisioned throughput units (PTU) – Microsoft Learn learn.microsoft.com
Gepflegt von Mirko Peters (Microsoft MVP) · Zuletzt aktualisiert: