Provisioned throughput units (PTU)
Concept
Provisioned throughput units zijn de genormaliseerde eenheid waarmee dedicated modelverwerkingscapaciteit wordt gereserveerd voor Azure OpenAI-implementaties, als alternatief voor pay-as-you-go tokenfacturering.
Ook besproken
De aflevering over Provisioned throughput units (PTU) gaat ook over LLMLingua, Model router (Microsoft Foundry), Pay-as-you-go pricing, Semantic caching, Chargeback en Microsoft Cost Management.
Beschrijving
Provisioned throughput units (PTU) zijn de genormaliseerde eenheid waarmee dedicated modelverwerkingscapaciteit wordt gereserveerd voor Azure OpenAI-implementaties. De documentatie van Microsoft beschrijft een provisioned throughput unit als de maateenheid voor provisioned implementaties in Microsoft Foundry, waarbij elke eenheid een vaste hoeveelheid modelverwerkingscapaciteit vertegenwoordigt. PTU's zijn een alternatief voor pay-as-you-go tokenfacturering, waarbij capaciteit wordt gedeeld en de kosten volgen uit het aantal verbruikte tokens.
Het centrale idee is reservering. Het gekozen aantal eenheden wordt exclusief voor de implementatie gereserveerd, ongeacht of er verzoeken binnenkomen. Omdat de capaciteit niet wordt gedeeld zoals bij standaardimplementaties, is de latentie beter voorspelbaar. De documentatie positioneert provisioned throughput voor stabiel verkeer, latentiegevoelige toepassingen, grote productievolumes en realtimescenario's zoals chats, copilots of agents.
Verschillende parameters bepalen hoe PTU's worden verkregen en gebruikt. Quota is modelonafhankelijk, maar wordt toegekend per abonnement, regio en implementatietype. Elk model heeft een minimaal aantal eenheden en een eigen opbrengst aan tokens per minuut per eenheid, zodat hetzelfde aantal PTU's afhankelijk van het model een andere doorvoer oplevert. Implementatietypen zijn onder meer global provisioned, data zone provisioned en regional provisioned. Een optionele spillover-functie kan overloopverzoeken naar een standaardimplementatie sturen wanneer de provisioned capaciteit wordt overschreden, al is deze niet voor elke modelfamilie beschikbaar.
De facturering van PTU's gebeurt per uur per eenheid, ongeacht hoeveel tokens er worden verbruikt. Azure Reservations worden aangeboden als een korting op een vastgelegde afname. Het dimensioneren van een implementatie is gebaseerd op aanvraagsnelheden, de grootte van prompts en antwoorden en cache-percentages, en de Azure-portal bevat een capaciteitscalculator om die inschatting te ondersteunen. De documentatie waarschuwt ook dat quota geen garantie geeft op capaciteit, die kan schommelen, en dat reserveringen dat evenmin garanderen. Daarom is het aanbevolen om eerst de implementatie aan te maken voordat men zich vastlegt op een reservering.
Een typische afweging rond PTU's is of de werklastpatronen gereserveerde capaciteit rechtvaardigen, of dat pay-as-you-go-facturering volstaat. Stabiel, groot of latentiegevoelig productieverkeer past bij de scenario's die de documentatie noemt voor provisioned throughput, terwijl variabel of laag gebruik de situatie is waarvoor standaard tokenfacturering is bedoeld. Het facturatiemodel per uur betekent dat de kosten zijn gekoppeld aan de gereserveerde eenheden en niet aan het gebruik, en daarom is dimensionering belangrijk.
De M365.FM-aflevering "How to Build Low-Cost AI Agents in Microsoft Cloud" plaatst PTU's binnen de bredere kostenstructuur van het bouwen van agents. In het overzicht van de factureringslagen noemt de aflevering Provisioned Throughput Units als de kosten van doorvoer in Foundry en geeft een bedrag van $1 per PTU. Ze zet dit naast andere kostenposten zoals kosten voor agentlogging en observability, die variëren met het logvolume, en het Microsoft Agent Pre-Purchase Plan, dat wordt omschreven als een uniform plan met kortingen op AI-diensten voor $19.000 voor 20.000 ACU's. De aflevering zegt dat het pre-purchase plan meer dan 30 diensten dekt en één governancepad biedt voor AI-projecten, en beschouwt inzicht in deze factureringslagen als een manier om betere beslissingen te nemen en AI-kosten beheersbaar te houden.
Overzicht samengesteld met AI op basis van M365.FM-afleveringen en de feiten op deze pagina. Je kunt het verbeteren met de bewerkknop hieronder.
| Type | Concept |
|---|---|
| Documentatie | Provisioned throughput units (PTU) – Microsoft Learn learn.microsoft.com |
Veelgestelde vragen
Vragen met AI zijn met AI geschreven op basis van de feiten op deze pagina.
Wat is een provisioned throughput unit (PTU)? (AI)
Een PTU is de maateenheid voor provisioned implementaties in Microsoft Foundry en Azure OpenAI, waarbij elke eenheid een vaste hoeveelheid modelverwerkingscapaciteit vertegenwoordigt die exclusief voor de implementatie wordt gereserveerd.
Hoe worden PTU's gefactureerd vergeleken met standaardimplementaties? (AI)
PTU's worden per uur per eenheid gefactureerd, ongeacht het aantal verbruikte tokens, waarbij Azure Reservations beschikbaar zijn als korting op een vastgelegde afname. Standaardimplementaties gebruiken pay-as-you-go tokenfacturering op gedeelde capaciteit.
Garandeert het hebben van PTU-quota capaciteit? (AI)
Nee. De documentatie stelt dat quota geen garantie geeft op capaciteit en dat reserveringen dat evenmin garanderen, dus het aanbevolen is om eerst de implementatie aan te maken.
Community wiki
Short info above, community knowledge below: add practical tips, examples or corrections. New contributions are reviewed first; trusted members publish directly.
Experts en bedrijven voor dit onderwerp
Niemand heeft dit onderwerp nog opgegeven. Voeg het toe aan je profiel.
Bronnen
- Provisioned throughput units (PTU) – Microsoft Learn learn.microsoft.com
Beheerd door Mirko Peters (Microsoft MVP) · Laatst bijgewerkt: