Time to first token (TTFT)
Concept
מדד זמן השהיה למערכות בינה מלאכותית generative, שמודד את הזמן שבין שליחת בקשה על ידי המשתמש לבין הופעת האסימון הראשון של התשובה.
נושאים שנדונים גם
בפרק על Time to first token (TTFT) עולים גם: Named entity recognition (NER), Reciprocal rank fusion (RRF), Optical character recognition (OCR), Reranking, Keyword search ו-Security trimming.
Description
זמן עד האסימון הראשון (TTFT) הוא מדד זמן השהיה למערכות בינה מלאכותית generative. הוא מודד את הזמן שבין שליחת בקשה על ידי המשתמש לבין הופעת האסימון הראשון של התשובה. הוא מבוטא בדרך כלל באלפיות השנייה, ומתאר עד כמה מהר המודל מתחיל להגיב, ולא כמה זמן לוקחת התשובה המלאה.
TTFT משמש למדידת מהירות התגובה. בממשקי צ'אט ובתרחישים אינטראקטיביים אחרים, ההמתנה עד שמופיע פלט כלשהו משפיעה על תחושת המהירות של המערכת אצל המשתמש. התיעוד של Microsoft בנושא ביצועים וזמני השהיה של Azure OpenAI מגדיר את המדד כמרווח שבין שליחת הנחיה לקבלת האסימון הראשון. התיעוד גם מציג יחס פשוט: זמן התגובה הכולל שווה לזמן עד האסימון הראשון, בתוספת הפער הממוצע בין אסימונים מוכפל במספר האסימונים שנוצרו. לכן TTFT הוא רכיב אחד מתוך זמן ההשהיה הכולל, ושלב היצירה שאחריו תורם את השאר.
כמה גורמים משפיעים על הערך. לפי התיעוד, הנחיות גדולות מעלות את העיכוב עד האסימון הראשון, אם כי גודל ההנחיה בדרך כלל חשוב פחות מכמות הטקסט שנוצר. עומס כבד על הפריסה ומספר רב של בקשות במקביל יכולים גם הם להאט את התגובות. מסיבה זו, קריאה בודדת של TTFT קשה לפרשנות ללא הקשר. התיעוד ממליץ לקרוא את מדדי זמן ההשהיה יחד עם מדד אסימונים, כגון מספר אסימוני ההנחיה שעובדו, כדי שניתן יהיה לקשר תגובה איטית לכמות הקלט שעובד.
ב-Azure Monitor, מדד Time to Response מתאים ל-TTFT ומתאים לעומסי עבודה של streaming. גרסה מנורמלת מחלקת את זמן ההשהיה של הבית הראשון במספר אסימוני ההנחיה. גרסה זו נועדה להשוואה בין גדלי הנחיות שונים, ולא לאבחון זמן השהיה מוחלט. התיעוד אינו מספק ערכי יעד קונקרטיים ל-TTFT, ולכן הסף המקובל תלוי באפליקציה ובמשתמשיה.
Streaming קשור קשר הדוק למדד. Streaming מקצר את ההמתנה לפלט הראשון ומשפר את תחושת התגובתיות בממשקי צ'אט, אך אינו משנה את משך הזמן עד לסיום התשובה המלאה. הוא חשוב פחות בעבודות batch, שבהן איש אינו צופה בפלט מתגלגל, וזמן ההשלמה הכולל הוא הנתון הרלוונטי יותר. בחירת מדד זמן ההשהיה שיש לייעל תלויה לכן בשאלה אם עומס העבודה אינטראקטיבי או מבוסס batch.
פרק ה-M365.FM "Real-Time AI Sensitivity Labeling in Microsoft Purview" (2026-05-12) משתמש במונח בהקשר של הגנה על מידע. הפרק קובע ש-Time to First Token מודד את המהירות שבה הבינה המלאכותית מתחילה לנתח נתונים, וש-Microsoft Purview מספקת תוצאות בתוך אלפיות השנייה, כך שההגנה מופעלת כמעט מיד לאחר שמירה או שיתוף של קובץ. הפרק מציג את התגובה המהירה הזו כדרך להפחית את הסיכון לדליפות ולטעויות, ומביא נתונים לדגמים מכווננים: דיוק (precision) של יותר מ-95% עבור נתוני Tier 0 וכושר זיהוי (recall) של מעל 90%. נתונים אלה מיוחסים לפרק.
בפועל, TTFT הוא אחד מכמה מדדים המשמשים להערכה או לניטור של עומסי עבודה של בינה מלאכותית generative. הוא מתאר את תחילת התגובה, בעוד שהפער בין אסימונים ומספר האסימונים שנוצרו מתארים את שאר התגובה. בחינה של כל אלה יחד, לצד גודל ההנחיה ועומס הפריסה, נותנת תמונה מלאה יותר של ביצועי פריסת מודל.
Overview compiled with AI from M365.FM episodes and the facts on this page. You can improve it with the edit button below.
| Type | Concept |
|---|
Articles about Time to first token (TTFT) (2)
מאמרים שעוסקים ב-Time to first token (TTFT):
- מותה של התיוג הידני: מדוע בינה מלאכותית בזמן אמת חיונית לממשל נתונים מודרני
· Mirko Peters
ברוכים השבים לבלוג! אם אתם מנהלים נתונים ארגוניים, אתם כבר יודעים שכמות המידע הלא מובנה גדלה בקצב מעריכי. ארגונים טובעים בדוא"ל, בהודעות צ'אט, בקבצי שיתוף פעולה ובמסמכים, וכתוצאה מ - The Death of Manual Tagging: Why Real-Time AI is Essential for Modern Data Governance
· Mirko Peters
Welcome back to the blog! If you manage enterprise data, you already know that the volume of unstructured information is growing at an exponential rate. Organizatio…
Frequently asked questions
Questions marked with AI were written with AI from the facts on this page.
מה מודד זמן עד האסימון הראשון (TTFT)? (AI)
הוא מודד את הזמן שבין שליחת בקשה על ידי המשתמש למערכת בינה מלאכותית generative לבין הופעת האסימון הראשון של התשובה. הוא מבוטא בדרך כלל באלפיות השנייה.
איך TTFT מתייחס לזמן התגובה הכולל? (AI)
לפי התיעוד של Microsoft בנושא ביצועים וזמני השהיה של Azure OpenAI, זמן התגובה הכולל שווה לזמן עד האסימון הראשון, בתוספת הפער הממוצע בין אסימונים מוכפל במספר האסימונים שנוצרו.
האם streaming מקצר את זמן העד האסימון הראשון? (AI)
Streaming מקצר את ההמתנה לפלט הראשון ומשפר את תחושת התגובתיות בממשקי צ'אט. הוא אינו משנה את משך הזמן עד לסיום התשובה המלאה, וחשוב פחות בעבודות batch.
Community wiki
Short info above, community knowledge below: add practical tips, examples or corrections. New contributions are reviewed first; trusted members publish directly.
Experts and companies for this topic
Nobody has listed this topic yet. Add it to your profile.
Sources
- Azure OpenAI in Microsoft Foundry Models performance & latency – Microsoft Learn learn.microsoft.com
- פיד RSS: Time to first token (TTFT)
- Articles on this topic: 2
Maintained by Mirko Peters (Microsoft MVP) · Last updated: