Provisioned throughput units (PTU)
Concept
Provisioned throughput units to jednostka znormalizowana, służąca do rezerwowania dedykowanej mocy obliczeniowej modelu dla wdrożeń Azure OpenAI, jako alternatywa dla rozliczania za tokeny w modelu pay-as-you-go.
Omawiane również
W odcinku na temat Provisioned throughput units (PTU) pojawiają się też: LLMLingua, Model router (Microsoft Foundry), Pay-as-you-go pricing, Semantic caching, Chargeback i Microsoft Cost Management.
Opis
Provisioned throughput units (PTU) to znormalizowana jednostka służąca do rezerwowania dedykowanej mocy przetwarzania modeli dla wdrożeń Azure OpenAI. Dokumentacja Microsoftu opisuje provisioned throughput unit jako jednostkę miary dla wdrożeń z zaprovisionowaną przepustowością w Microsoft Foundry, gdzie każda jednostka reprezentuje stałą ilość mocy przetwarzania modelu. PTU stanowią alternatywę dla rozliczania za tokeny w modelu pay-as-you-go, w którym moc jest współdzielona, a koszt zależy od liczby zużytych tokenów.
Centralną ideą jest rezerwacja. Wybrana liczba jednostek jest zarezerwowana wyłącznie dla danego wdrożenia niezależnie od tego, czy nadchodzą żądania. Ponieważ moc nie jest współdzielona tak jak w standardowych wdrożeniach, opóźnienia są bardziej przewidywalne. Dokumentacja wskazuje, że zaprovisionowana przepustowość sprawdza się przy stałym ruchu, aplikacjach wrażliwych na opóźnienia, dużych wolumenach produkcyjnych oraz scenariuszach czasu rzeczywistego, takich jak czaty, copiloty czy agenci.
Kilka parametrów determinuje sposób uzyskiwania i wykorzystania PTU. Przydział (quota) nie zależy od modelu, lecz jest przyznawany na subskrypcję, region i typ wdrożenia. Każdy model ma minimalną liczbę jednostek i własną wydajność w tokenach na minutę przypadającą na jednostkę, więc ta sama liczba PTU daje różną przepustowość w zależności od modelu. Typy wdrożeń to global provisioned, data zone provisioned i regional provisioned. Opcjonalna funkcja spillover może kierować żądania nadmiarowe do standardowego wdrożenia, gdy zaprovisionowana moc zostanie przekroczona, choć nie jest dostępna dla wszystkich rodzin modeli.
Rozliczanie PTU odbywa się co godzinę za jednostkę, niezależnie od liczby zużytych tokenów. Jako opcja zobowiązania z rabatem oferowane są Azure Reservations. Dobór wielkości wdrożenia opiera się na częstotliwości żądań, rozmiarach promptów i odpowiedzi oraz wskaźnikach cache, a w portalu Azure dostępny jest kalkulator pojemności, który wspiera tę estymację. Dokumentacja ostrzega też, że przydział nie gwarantuje pojemności, która może się wahać, i że rezerwacje również jej nie gwarantują. Z tego względu przed zobowiązaniem się do rezerwacji zaleca się najpierw utworzenie wdrożenia.
Typowa decyzja dotyczy tego, czy wzorce obciążenia uzasadniają zarezerwowaną moc, czy wystarczy rozliczanie pay-as-you-go. Stały, duży lub wrażliwy na opóźnienia ruch produkcyjny odpowiada scenariuszom, które dokumentacja wymienia dla zaprovisionowanej przepustowości, natomiast zmienne lub niewielkie wykorzystanie to sytuacja, dla której zbudowano standardowe rozliczanie za tokeny. Model rozliczeń godzinowych oznacza, że koszt jest związany z zarezerwowanymi jednostkami, a nie ze zużyciem, dlatego tak ważny jest właściwy dobór wielkości.
Odcinek M365.FM "How to Build Low-Cost AI Agents in Microsoft Cloud" umieszcza PTU w szerszej strukturze kosztów budowy agentów. W przeglądzie warstw rozliczeniowych odcinek wymienia Provisioned Throughput Units jako koszt przepustowości w Foundry i podaje wartość 1 USD za PTU. Zestawia to z innymi pozycjami kosztów, takimi jak koszty logowania i obserwowalności agentów, które zależą od wolumenu logów, oraz Microsoft Agent Pre-Purchase Plan, opisywany jako zunifikowany plan z rabatami na usługi AI w cenie 19 000 USD za 20 000 ACU. Odcinek mówi, że plan pre-purchase obejmuje ponad 30 usług i oferuje jedną ścieżkę zarządzania dla projektów AI, a zrozumienie tych warstw rozliczeniowych przedstawia jako sposób na podejmowanie lepszych decyzji i kontrolowanie kosztów AI.
Overview compiled with AI from M365.FM episodes and the facts on this page. You can improve it with the edit button below.
| Typ | Concept |
|---|---|
| Dokumentacja | Provisioned throughput units (PTU) – Microsoft Learn learn.microsoft.com |
Często zadawane pytania
Questions marked with AI were written with AI from the facts on this page.
Czym jest provisioned throughput unit (PTU)? (AI)
PTU to jednostka miary dla wdrożeń z zaprovisionowaną przepustowością w Microsoft Foundry i Azure OpenAI, gdzie każda jednostka reprezentuje stałą ilość mocy przetwarzania modelu zarezerwowaną wyłącznie dla danego wdrożenia.
Jak rozliczane są PTU w porównaniu ze standardowymi wdrożeniami? (AI)
PTU są rozliczane co godzinę za jednostkę, niezależnie od liczby zużytych tokenów, a jako opcja zobowiązania z rabatem dostępne są Azure Reservations. Standardowe wdrożenia korzystają z rozliczania za tokeny w modelu pay-as-you-go na współdzielonej mocy.
Czy posiadanie przydziału PTU gwarantuje pojemność? (AI)
Nie. Dokumentacja podaje, że przydział nie gwarantuje pojemności, a rezerwacje również jej nie gwarantują, dlatego zaleca się najpierw utworzenie wdrożenia.
Community wiki
Short info above, community knowledge below: add practical tips, examples or corrections. New contributions are reviewed first; trusted members publish directly.
Eksperci i firmy w tym temacie
Nikt jeszcze nie wskazał tego tematu. Dodaj go do swojego profilu.
Sources
- Provisioned throughput units (PTU) – Microsoft Learn learn.microsoft.com
Maintained by Mirko Peters (Microsoft MVP) · Last updated: