M365Con 2027 – כנס אונליין חינמי · 11–22 Jan 2027 · 120 sessions m365con.net

Provisioned throughput units (PTU)

Concept

יחידות תפוקה מוקצות (Provisioned throughput units) הן היחידה המנורמלת שמשמשת להזמנת קיבולת עיבוד מודל ייעודית לפריסות של Azure OpenAI, כחלופה לחיוב לפי שימוש בטוקנים בתשלום לפי שימוש.

✦ CONCEPTProvisioned throughputunits (PTU)M365.FM
Title graphic: Provisioned throughput units (PTU) (Concept)

נושאים שנדונים גם

בפרק על Provisioned throughput units (PTU) עולים גם: LLMLingua, Model router (Microsoft Foundry), Pay-as-you-go pricing, Semantic caching, Chargeback ו-Microsoft Cost Management.

Description

יחידות תפוקה מוקצות (PTU) הן היחידה המנורמלת שמשמשת להזמנת קיבולת עיבוד מודל ייעודית לפריסות של Azure OpenAI. התיעוד של Microsoft מתאר יחידת תפוקה מוקצית כיחידת המידה לפריסות מוקצות ב-Microsoft Foundry, כאשר כל יחידה מייצגת כמות קבועה של קיבולת עיבוד מודל. יחידות PTU משמשות כחלופה לחיוב לפי שימוש בטוקנים בתשלום לפי שימוש, שבו הקיבולת משותפת והעלות נגזרת ממספר הטוקנים שנצרכו.

הרעיון המרכזי הוא הזמנה. מספר היחידות שנבחר שמור באופן בלעדי לפריסה, בין אם מגיעות בקשות ובין אם לא. מכיוון שהקיבולת אינה משותפת כפי שהיא בפריסות סטנדרטיות, ההשהיה צפויה יותר. התיעוד מציב את התפוקה המוקצית לתרחישים של תעבורה קבועה, יישומים רגישים להשהיה, נפחי ייצור גבוהים ותרחישים בזמן אמת כגון צ'אטים, copilots או סוכנים.

כמה פרמטרים משפיעים על האופן שבו מתקבלות יחידות PTU ומשתמשים בהן. המכסה אינה תלויה במודל אך מוענקת לפי מנוי, אזור וסוג פריסה. לכל מודל יש מספר מינימלי של יחידות ותפוקה משלו בטוקנים לדקה ליחידה, כך שאותו מספר יחידות PTU מספק תפוקה שונה בהתאם למודל. סוגי הפריסה כוללים מוקצה גלובלית, מוקצה באזור נתונים ומוקצה אזורית. תכונת spillover אופציונלית יכולה להעביר בקשות עודפות לפריסה סטנדרטית כאשר הקיבולת המוקצית נחרגת, אם כי היא אינה זמינה לכל משפחות המודלים.

החיוב עבור יחידות PTU הוא לפי שעה לכל יחידה, ללא תלות במספר הטוקנים שנצרכו. Azure Reservations מוצעות כאפשרות התחייבות בהנחה. גודל הפריסה מתבסס על קצבי הבקשות, גודל ההנחיות והתשובות ושיעורי המטמון, ובפורטל Azure כלול מחשבון קיבולת שתומך באומדן הזה. התיעוד מזהיר גם כי המכסה אינה מבטיחה קיבולת, וכי הקיבולת עשויה להשתנות, וכי הזמנות אינן מבטיחות אותה אף הן. לכן מומלץ ליצור את הפריסה תחילה, לפני התחייבות להזמנה.

שאלה טיפוסית בהקשר של יחידות PTU היא האם דפוסי עומס העבודה מצדיקים קיבולת שמורה או שחיוב לפי שימוש מספיק. תעבורת ייצור קבועה, בנפח גבוה או רגישה להשהיה תואמת את התרחישים שהתיעוד מונה לתפוקה מוקצית, בעוד שימוש משתנה או בנפח נמוך הוא המצב שלשמו נבנה חיוב הטוקנים הסטנדרטי. מודל החיוב השעתי פירושו שהעלות קשורה ליחידות השמורות ולא לשימוש, ולכן הגודל חשוב.

פרק ה-M365.FM "How to Build Low-Cost AI Agents in Microsoft Cloud" ממקם את יחידות PTU בתוך מבנה העלויות הרחב של בניית סוכנים. בסקירה של שכבות החיוב, הפרק מונה את Provisioned Throughput Units כעלות התפוקה ב-Foundry ומציין נתון של דולר אחד לכל PTU. הוא מציב לצדם פריטי עלות אחרים, כגון עלויות לוגים וניטור של סוכנים, המשתנות לפי נפח הלוגים, ואת Microsoft Agent Pre-Purchase Plan, המתואר כתוכנית מאוחדת עם הנחות על שירותי AI בסך 19,000 דולר עבור 20,000 ACUs. הפרק מציין כי התוכנית לרכישה מראש מכסה יותר מ-30 שירותים ומציעה מסלול ממשל יחיד לפרויקטים של AI, ומציג את ההבנה של שכבות החיוב האלה כדרך לקבל החלטות טובות יותר ולשמור על עלויות ה-AI בשליטה.

Overview compiled with AI from M365.FM episodes and the facts on this page. You can improve it with the edit button below.

TypeConcept
DocumentationProvisioned throughput units (PTU) – Microsoft Learn learn.microsoft.com

Frequently asked questions

Questions marked with AI were written with AI from the facts on this page.

מהי יחידת תפוקה מוקצית (PTU)? (AI)

PTU היא יחידת המידה לפריסות מוקצות ב-Microsoft Foundry וב-Azure OpenAI, כאשר כל יחידה מייצגת כמות קבועה של קיבולת עיבוד מודל השמורה באופן בלעדי לפריסה.

איך מחויבות יחידות PTU בהשוואה לפריסות סטנדרטיות? (AI)

יחידות PTU מחויבות לפי שעה לכל יחידה, ללא תלות בטוקנים שנצרכו, כאשר Azure Reservations זמינות כאפשרות התחייבות בהנחה. פריסות סטנדרטיות משתמשות בחיוב טוקנים בתשלום לפי שימוש על קיבולת משותפת.

האם מכסת PTU מבטיחה קיבולת? (AI)

לא. התיעוד קובע כי המכסה אינה מבטיחה קיבולת וכי הזמנות אינן מבטיחות אותה אף הן, ולכן מומלץ ליצור את הפריסה תחילה.

Glossary

Community wiki

Short info above, community knowledge below: add practical tips, examples or corrections. New contributions are reviewed first; trusted members publish directly.

Experts and companies for this topic

Nobody has listed this topic yet. Add it to your profile.

Sources

Maintained by Mirko Peters (Microsoft MVP) · Last updated: