M365Con 2027 – כנס אונליין חינמי · 11–22 Jan 2027 · 120 sessions m365con.net

Time to first token (TTFT)

Concept

מדד זמן השהיה למערכות בינה מלאכותית generative, שמודד את הזמן שבין שליחת בקשה על ידי המשתמש לבין הופעת האסימון הראשון של התשובה.

✦ CONCEPTTime to first token(TTFT)M365.FM
Title graphic: Time to first token (TTFT) (Concept)

נושאים שנדונים גם

בפרק על Time to first token (TTFT) עולים גם: Named entity recognition (NER), Reciprocal rank fusion (RRF), Optical character recognition (OCR), Reranking, Keyword search ו-Security trimming.

Description

זמן עד האסימון הראשון (TTFT) הוא מדד זמן השהיה למערכות בינה מלאכותית generative. הוא מודד את הזמן שבין שליחת בקשה על ידי המשתמש לבין הופעת האסימון הראשון של התשובה. הוא מבוטא בדרך כלל באלפיות השנייה, ומתאר עד כמה מהר המודל מתחיל להגיב, ולא כמה זמן לוקחת התשובה המלאה.

TTFT משמש למדידת מהירות התגובה. בממשקי צ'אט ובתרחישים אינטראקטיביים אחרים, ההמתנה עד שמופיע פלט כלשהו משפיעה על תחושת המהירות של המערכת אצל המשתמש. התיעוד של Microsoft בנושא ביצועים וזמני השהיה של Azure OpenAI מגדיר את המדד כמרווח שבין שליחת הנחיה לקבלת האסימון הראשון. התיעוד גם מציג יחס פשוט: זמן התגובה הכולל שווה לזמן עד האסימון הראשון, בתוספת הפער הממוצע בין אסימונים מוכפל במספר האסימונים שנוצרו. לכן TTFT הוא רכיב אחד מתוך זמן ההשהיה הכולל, ושלב היצירה שאחריו תורם את השאר.

כמה גורמים משפיעים על הערך. לפי התיעוד, הנחיות גדולות מעלות את העיכוב עד האסימון הראשון, אם כי גודל ההנחיה בדרך כלל חשוב פחות מכמות הטקסט שנוצר. עומס כבד על הפריסה ומספר רב של בקשות במקביל יכולים גם הם להאט את התגובות. מסיבה זו, קריאה בודדת של TTFT קשה לפרשנות ללא הקשר. התיעוד ממליץ לקרוא את מדדי זמן ההשהיה יחד עם מדד אסימונים, כגון מספר אסימוני ההנחיה שעובדו, כדי שניתן יהיה לקשר תגובה איטית לכמות הקלט שעובד.

ב-Azure Monitor, מדד Time to Response מתאים ל-TTFT ומתאים לעומסי עבודה של streaming. גרסה מנורמלת מחלקת את זמן ההשהיה של הבית הראשון במספר אסימוני ההנחיה. גרסה זו נועדה להשוואה בין גדלי הנחיות שונים, ולא לאבחון זמן השהיה מוחלט. התיעוד אינו מספק ערכי יעד קונקרטיים ל-TTFT, ולכן הסף המקובל תלוי באפליקציה ובמשתמשיה.

Streaming קשור קשר הדוק למדד. Streaming מקצר את ההמתנה לפלט הראשון ומשפר את תחושת התגובתיות בממשקי צ'אט, אך אינו משנה את משך הזמן עד לסיום התשובה המלאה. הוא חשוב פחות בעבודות batch, שבהן איש אינו צופה בפלט מתגלגל, וזמן ההשלמה הכולל הוא הנתון הרלוונטי יותר. בחירת מדד זמן ההשהיה שיש לייעל תלויה לכן בשאלה אם עומס העבודה אינטראקטיבי או מבוסס batch.

פרק ה-M365.FM "Real-Time AI Sensitivity Labeling in Microsoft Purview" (2026-05-12) משתמש במונח בהקשר של הגנה על מידע. הפרק קובע ש-Time to First Token מודד את המהירות שבה הבינה המלאכותית מתחילה לנתח נתונים, וש-Microsoft Purview מספקת תוצאות בתוך אלפיות השנייה, כך שההגנה מופעלת כמעט מיד לאחר שמירה או שיתוף של קובץ. הפרק מציג את התגובה המהירה הזו כדרך להפחית את הסיכון לדליפות ולטעויות, ומביא נתונים לדגמים מכווננים: דיוק (precision) של יותר מ-95% עבור נתוני Tier 0 וכושר זיהוי (recall) של מעל 90%. נתונים אלה מיוחסים לפרק.

בפועל, TTFT הוא אחד מכמה מדדים המשמשים להערכה או לניטור של עומסי עבודה של בינה מלאכותית generative. הוא מתאר את תחילת התגובה, בעוד שהפער בין אסימונים ומספר האסימונים שנוצרו מתארים את שאר התגובה. בחינה של כל אלה יחד, לצד גודל ההנחיה ועומס הפריסה, נותנת תמונה מלאה יותר של ביצועי פריסת מודל.

Overview compiled with AI from M365.FM episodes and the facts on this page. You can improve it with the edit button below.

TypeConcept

Articles about Time to first token (TTFT) (2)

מאמרים שעוסקים ב-Time to first token (TTFT):

Frequently asked questions

Questions marked with AI were written with AI from the facts on this page.

מה מודד זמן עד האסימון הראשון (TTFT)? (AI)

הוא מודד את הזמן שבין שליחת בקשה על ידי המשתמש למערכת בינה מלאכותית generative לבין הופעת האסימון הראשון של התשובה. הוא מבוטא בדרך כלל באלפיות השנייה.

איך TTFT מתייחס לזמן התגובה הכולל? (AI)

לפי התיעוד של Microsoft בנושא ביצועים וזמני השהיה של Azure OpenAI, זמן התגובה הכולל שווה לזמן עד האסימון הראשון, בתוספת הפער הממוצע בין אסימונים מוכפל במספר האסימונים שנוצרו.

האם streaming מקצר את זמן העד האסימון הראשון? (AI)

Streaming מקצר את ההמתנה לפלט הראשון ומשפר את תחושת התגובתיות בממשקי צ'אט. הוא אינו משנה את משך הזמן עד לסיום התשובה המלאה, וחשוב פחות בעבודות batch.

Glossary

Community wiki

Short info above, community knowledge below: add practical tips, examples or corrections. New contributions are reviewed first; trusted members publish directly.

Experts and companies for this topic

Nobody has listed this topic yet. Add it to your profile.

Sources

Maintained by Mirko Peters (Microsoft MVP) · Last updated: