M365Con 2027 – conferenza online gratuita · 11–22 Jan 2027 · 120 sessions m365con.net

Provisioned throughput units (PTU)

Concetto

Le unità di throughput provisioned (provisioned throughput units, PTU) sono l'unità normalizzata utilizzata per riservare capacità di elaborazione dedicata dei modelli per i deployment di Azure OpenAI, in alternativa alla fatturazione a token pay-as-you-go.

✦ CONCETTOProvisioned throughputunits (PTU)M365.FM
Immagine del titolo: Provisioned throughput units (PTU) (Concetto)

Trattati anche

L’episodio su Provisioned throughput units (PTU) parla anche di LLMLingua, Model router (Microsoft Foundry), Pay-as-you-go pricing, Semantic caching, Chargeback e Microsoft Cost Management.

Descrizione

Le unità di throughput provisioned (provisioned throughput units, PTU) sono l'unità normalizzata utilizzata per riservare capacità di elaborazione dedicata dei modelli per i deployment di Azure OpenAI. La documentazione Microsoft descrive una provisioned throughput unit come l'unità di misura per i deployment provisioned in Microsoft Foundry, in cui ogni unità rappresenta una quantità fissa di capacità di elaborazione del modello. Le PTU costituiscono un'alternativa alla fatturazione a token pay-as-you-go, nella quale la capacità è condivisa e il costo segue il numero di token consumati.

L'idea centrale è la prenotazione. Il numero di unità scelto è riservato in esclusiva per il deployment, indipendentemente dal fatto che arrivino richieste. Poiché la capacità non è condivisa come avviene nei deployment standard, la latenza risulta più prevedibile. La documentazione posiziona il throughput provisioned per traffico costante, applicazioni sensibili alla latenza, volumi di produzione elevati e scenari in tempo reale, come chat, copilot o agenti.

Alcuni parametri determinano come le PTU vengono ottenute e utilizzate. La quota è indipendente dal modello, ma viene concessa per sottoscrizione, area geografica e tipo di deployment. Ogni modello ha un numero minimo di unità e una propria resa di token al minuto per unità, quindi lo stesso numero di PTU offre un throughput diverso a seconda del modello. I tipi di deployment includono global provisioned, data zone provisioned e regional provisioned. Una funzionalità facoltativa di spillover può inviare le richieste in eccedenza a un deployment standard quando la capacità provisioned viene superata, sebbene non sia disponibile per tutte le famiglie di modelli.

La fatturazione delle PTU è oraria per unità, indipendentemente dal numero di token consumati. Azure Reservations è offerta come opzione di impegno scontata. Il dimensionamento di un deployment si basa su frequenze di richiesta, dimensioni di prompt e risposte e tassi di cache, e il portale di Azure include un calcolatore della capacità a supporto di questa stima. La documentazione avverte inoltre che la quota non garantisce la capacità, che può variare, e che neppure le prenotazioni la garantiscono. Per questo motivo, prima di impegnarsi in una prenotazione, si consiglia di creare innanzitutto il deployment.

Una decisione tipica sulle PTU riguarda se i pattern di carico di lavoro giustifichino una capacità riservata o se sia sufficiente la fatturazione pay-as-you-go. Il traffico di produzione costante, ad alto volume o sensibile alla latenza corrisponde agli scenari che la documentazione indica per il throughput provisioned, mentre un utilizzo variabile o a basso volume è la situazione per cui è progettata la fatturazione standard a token. Il modello di fatturazione oraria fa sì che il costo sia legato alle unità riservate anziché all'utilizzo, ed è per questo che il dimensionamento è importante.

L'episodio di M365.FM "How to Build Low-Cost AI Agents in Microsoft Cloud" colloca le PTU all'interno della struttura complessiva dei costi per la creazione di agenti. Nella sua panoramica dei livelli di fatturazione, l'episodio elenca le Provisioned Throughput Units come costo del throughput in Foundry e indica un valore di 1 dollaro per PTU. Lo affianca ad altre voci di costo, come i costi di logging e osservabilità degli agenti, che variano in base al volume di log, e al Microsoft Agent Pre-Purchase Plan, descritto come piano unificato con sconti sui servizi di AI a 19.000 dollari per 20.000 ACU. L'episodio afferma che il piano di pre-acquisto copre oltre 30 servizi e offre un unico percorso di governance per i progetti di AI, e inquadra la comprensione di questi livelli di fatturazione come un modo per prendere decisioni migliori e tenere sotto controllo i costi dell'AI.

Panoramica compilata con l'AI dagli episodi di M365.FM e dai dati di questa pagina. Puoi migliorarla con il pulsante di modifica qui sotto.

TipoConcetto
DocumentazioneProvisioned throughput units (PTU) – Microsoft Learn learn.microsoft.com

Domande frequenti

Le domande contrassegnate con AI sono state scritte con l'AI a partire dai fatti riportati in questa pagina.

Che cos'è una provisioned throughput unit (PTU)? (AI)

Una PTU è l'unità di misura per i deployment provisioned in Microsoft Foundry e Azure OpenAI, dove ogni unità rappresenta una quantità fissa di capacità di elaborazione del modello riservata in esclusiva al deployment.

Come vengono fatturate le PTU rispetto ai deployment standard? (AI)

Le PTU sono fatturate ogni ora per unità, indipendentemente dai token consumati, con Azure Reservations disponibili come opzione di impegno scontata. I deployment standard utilizzano invece la fatturazione pay-as-you-go a token su capacità condivisa.

Avere quota di PTU garantisce la capacità? (AI)

No. La documentazione afferma che la quota non garantisce la capacità e che neppure le prenotazioni la garantiscono, per cui si consiglia di creare prima il deployment.

Glossario

Community wiki

Short info above, community knowledge below: add practical tips, examples or corrections. New contributions are reviewed first; trusted members publish directly.

Esperti e aziende per questo argomento

Nessuno ha ancora indicato questo argomento. Aggiungilo al tuo profilo.

Fonti

Mantenuto da Mirko Peters (Microsoft MVP) · Ultimo aggiornamento: