M365Con 2027 – die kostenlose Online-Konferenz · 11–22 Jan 2027 · 120 sessions m365con.net

Time to first token (TTFT)

Konzept

Eine Latenzmetrik für generative KI-Systeme, die die Zeit zwischen dem Absenden einer Anfrage durch den Nutzer und dem Erscheinen des ersten Tokens der Antwort misst.

✦ KONZEPTTime to first token(TTFT)M365.FM
Titelbild: Time to first token (TTFT) (Konzept)

Ebenfalls besprochen

In der Folge zu Time to first token (TTFT) geht es auch um Named entity recognition (NER), Reciprocal rank fusion (RRF), Optical character recognition (OCR), Reranking, Keyword search und Security trimming.

Beschreibung

Time to First Token (TTFT) ist eine Latenzmetrik für generative KI-Systeme. Sie misst die Zeit zwischen dem Absenden einer Anfrage durch den Nutzer und dem Erscheinen des ersten Tokens der Antwort. Sie wird üblicherweise in Millisekunden angegeben und beschreibt, wie schnell ein Modell mit der Antwort beginnt, nicht, wie lange die vollständige Antwort dauert.

TTFT dient der Beurteilung der Reaktionsfähigkeit. In Chat-Oberflächen und anderen interaktiven Szenarien bestimmt die Wartezeit, bevor eine erste Ausgabe erscheint, wie schnell sich ein System für die Person anfühlt, die es nutzt. Die Dokumentation von Microsoft zur Leistung und Latenz von Azure OpenAI behandelt die Metrik als das Intervall zwischen dem Absenden eines Prompts und dem Empfang des ersten Tokens. Sie setzt sie außerdem in ein einfaches Verhältnis: Die Gesamtantwortzeit entspricht der Time to First Token plus dem durchschnittlichen Abstand zwischen den Tokens, multipliziert mit der Anzahl der erzeugten Tokens. TTFT ist daher ein Bestandteil der Gesamtlatenz, und die anschließende Generierungsphase trägt den Rest bei.

Mehrere Faktoren beeinflussen den Wert. Laut der Dokumentation erhöhen größere Prompts die Verzögerung bis zum ersten Token, wobei die Größe des Prompts in der Regel weniger ins Gewicht fällt als die Menge des erzeugten Texts. Hohe Auslastung einer Bereitstellung und viele gleichzeitige Anfragen können Antworten ebenfalls verlangsamen. Aus diesem Grund lässt sich ein einzelner TTFT-Wert ohne Kontext schwer interpretieren. Die Dokumentation empfiehlt, Latenzmetriken zusammen mit einer Token-Metrik zu betrachten, etwa der Anzahl verarbeiteter Prompt-Tokens, damit eine langsame Antwort mit der Menge der verarbeiteten Eingabe in Beziehung gesetzt werden kann.

In Azure Monitor entspricht die Metrik Time to Response der Time to First Token und eignet sich für Streaming-Workloads. Eine normalisierte Variante teilt die First-Byte-Latenz durch die Anzahl der Prompt-Tokens. Diese Variante dient dem Vergleich über unterschiedliche Prompt-Größen hinweg, nicht der Diagnose der absoluten Latenz. Die Dokumentation nennt keine konkreten Zielwerte für TTFT, sodass akzeptable Schwellenwerte von der Anwendung und ihren Nutzern abhängen.

Streaming ist eng mit dieser Metrik verbunden. Streaming verkürzt die Wartezeit auf die erste Ausgabe und verbessert die wahrgenommene Reaktionsfähigkeit in Chat-Oberflächen, verkürzt aber nicht die Dauer der vollständigen Antwort. Bei Batch-Aufträgen, bei denen niemand die Ausgabe live verfolgt, ist es weniger bedeutsam; dort ist die gesamte Abschlusszeit die relevantere Kennzahl. Welche Latenzkennzahl optimiert werden sollte, hängt daher davon ab, ob ein Workload interaktiv oder batchorientiert ist.

Die M365.FM-Episode "Real-Time AI Sensitivity Labeling in Microsoft Purview" (2026-05-12) verwendet den Begriff im Kontext des Datenschutzes. Die Episode besagt, dass Time to First Token misst, wie schnell KI mit der Analyse von Daten beginnt, und dass Microsoft Purview Ergebnisse in Millisekunden liefert, sodass der Schutz nahezu unmittelbar nach dem Speichern oder Freigeben einer Datei angewendet wird. Sie stellt diese schnelle Reaktion als Möglichkeit dar, das Risiko von Datenlecks und Fehlern zu verringern, und nennt Werte für abgestimmte Modelle von über 95 % Präzision für Tier-0-Daten und einen Recall von über 90 %. Diese Werte werden der Episode zugeschrieben.

In der Praxis ist TTFT eine von mehreren Kennzahlen, die bei der Bewertung oder Überwachung generativer KI-Workloads herangezogen werden. Sie beschreibt den Beginn einer Antwort, während der Abstand zwischen den Tokens und die Anzahl der erzeugten Tokens den weiteren Verlauf beschreiben. Erst die Betrachtung all dieser Größen zusammen mit Prompt-Größe und Auslastung der Bereitstellung ergibt ein vollständigeres Bild davon, wie eine Modellbereitstellung arbeitet.

Überblick, mit KI aus M365.FM-Folgen und den Fakten dieser Seite zusammengestellt. Du kannst ihn unten über „Bearbeiten“ verbessern.

TypKonzept

Artikel zu Time to first token (TTFT) (2)

Artikel, in denen es um Time to first token (TTFT) geht:

Häufige Fragen

Mit KI markierte Fragen wurden mit KI aus den Fakten dieser Seite geschrieben.

Was misst Time to First Token (TTFT)? (KI)

Sie misst die Zeit zwischen dem Absenden einer Anfrage durch den Nutzer an ein generatives KI-System und dem Erscheinen des ersten Tokens der Antwort. Sie wird üblicherweise in Millisekunden angegeben.

Wie hängt TTFT mit der Gesamtantwortzeit zusammen? (KI)

Laut der Dokumentation von Microsoft zur Leistung und Latenz von Azure OpenAI entspricht die Gesamtantwortzeit der Time to First Token plus dem durchschnittlichen Abstand zwischen den Tokens, multipliziert mit der Anzahl der erzeugten Tokens.

Verkürzt Streaming die Time to First Token? (KI)

Streaming verkürzt die Wartezeit auf die erste Ausgabe und verbessert die wahrgenommene Reaktionsfähigkeit in Chat-Oberflächen. Es verkürzt nicht die Dauer der vollständigen Antwort und ist bei Batch-Aufträgen weniger bedeutsam.

Glossar

Community-Wiki

Oben die Kurzinfo, unten das Wissen der Community: ergänze praktische Tipps, Beispiele oder Korrekturen. Neue Beiträge werden zuerst geprüft, bewährte Mitglieder veröffentlichen direkt.

Experten und Firmen zu diesem Thema

Dieses Thema hat noch niemand im Profil angegeben. Trag es in deinem Profil ein.

Quellen

Gepflegt von Mirko Peters (Microsoft MVP) · Zuletzt aktualisiert: