Time to first token (TTFT)
Concept
Une métrique de latence pour les systèmes d'IA générative qui mesure le temps écoulé entre l'envoi d'une requête par un utilisateur et l'apparition du premier token de la réponse.
Également abordés
L’épisode consacré à Time to first token (TTFT) aborde aussi Named entity recognition (NER), Reciprocal rank fusion (RRF), Optical character recognition (OCR), Reranking, Keyword search et Security trimming.
Description
Le time to first token (TTFT) est une métrique de latence pour les systèmes d'IA générative. Elle mesure le temps écoulé entre l'envoi d'une requête par un utilisateur et l'apparition du premier token de la réponse. Elle s'exprime généralement en millisecondes et décrit la rapidité avec laquelle un modèle commence à répondre, et non la durée totale de la réponse complète.
Le TTFT sert à évaluer la réactivité. Dans les interfaces de conversation et autres scénarios interactifs, le temps d'attente avant l'apparition de la première sortie influence la fluidité ressentie par la personne qui utilise le système. La documentation de Microsoft sur les performances et la latence d'Azure OpenAI définit cette métrique comme l'intervalle entre l'envoi d'une invite et la réception du premier token. Elle établit aussi une relation simple : le temps de réponse total est égal au time to first token plus l'écart moyen entre les tokens, multiplié par le nombre de tokens générés. Le TTFT constitue donc une composante de la latence globale, la phase de génération qui suit représentant le reste.
Plusieurs facteurs influencent cette valeur. Selon la documentation, des invites plus volumineuses augmentent le délai du premier token, bien que la taille de l'invite compte généralement moins que la quantité de texte générée. Une charge élevée sur un déploiement et un grand nombre de requêtes simultanées peuvent aussi ralentir les réponses. Pour cette raison, une mesure isolée du TTFT est difficile à interpréter sans contexte. La documentation recommande de lire les métriques de latence avec une métrique de tokens, comme le nombre de tokens d'invite traités, afin de relier une réponse lente à la quantité de données d'entrée traitées.
Dans Azure Monitor, la métrique Time to Response correspond au time to first token et convient aux charges de travail en streaming. Une variante normalisée divise la latence du premier octet par le nombre de tokens de l'invite. Cette variante sert à comparer des invites de tailles différentes, et non à diagnostiquer une latence absolue. La documentation ne fournit aucune valeur cible concrète pour le TTFT ; les seuils acceptables dépendent donc de l'application et de ses utilisateurs.
Le streaming est étroitement lié à cette métrique. Il réduit l'attente avant la première sortie et améliore la réactivité perçue dans les interfaces de conversation, mais il ne modifie pas la durée de la réponse complète. Il compte moins pour les traitements par lots, où personne ne suit l'arrivée des résultats et où le temps d'achèvement total est le chiffre le plus pertinent. Le choix de la latence à optimiser dépend donc du fait que la charge de travail soit interactive ou orientée traitement par lots.
L'épisode du podcast M365.FM « Real-Time AI Sensitivity Labeling in Microsoft Purview » (12/05/2026) emploie ce terme dans un contexte de protection des données. L'épisode indique que le Time to First Token mesure la rapidité avec laquelle l'IA commence à analyser les données, et que Microsoft Purview fournit des résultats en millisecondes, de sorte que la protection s'applique presque dès qu'un fichier est enregistré ou partagé. Il présente cette réponse rapide comme un moyen de réduire le risque de fuites et d'erreurs, et cite des chiffres pour des modèles ajustés : une précision supérieure à 95 % pour les données de niveau 0 et un rappel supérieur à 90 %. Ces chiffres sont attribués à l'épisode.
En pratique, le TTFT est l'une des plusieurs mesures utilisées pour évaluer ou surveiller les charges de travail d'IA générative. Il décrit le début d'une réponse, tandis que l'écart entre les tokens et le nombre de tokens générés décrivent le reste. Considérer l'ensemble de ces éléments, ainsi que la taille de l'invite et la charge du déploiement, donne une vision plus complète des performances d'un déploiement de modèle.
Aperçu compilé avec l'IA à partir des épisodes M365.FM et des informations de cette page. Tu peux l'améliorer avec le bouton de modification ci-dessous.
| Type | Concept |
|---|
Articles sur Time to first token (TTFT) (2)
Articles qui traitent de Time to first token (TTFT) :
- La fin du marquage manuel : pourquoi l’IA en temps réel est indispensable à la gouvernance moderne des données
· Mirko Peters
Bienvenue sur le blog ! Si vous gérez des données d’entreprise, vous savez déjà que le volume d’informations non structurées croît à un rythme exponentiel. Organisatio… - The Death of Manual Tagging: Why Real-Time AI is Essential for Modern Data Governance
· Mirko Peters
Welcome back to the blog! If you manage enterprise data, you already know that the volume of unstructured information is growing at an exponential rate. Organizatio…
Questions fréquentes
Les questions marquées IA ont été rédigées avec l'IA à partir des informations de cette page.
Que mesure le time to first token (TTFT) ? (IA)
Il mesure le temps écoulé entre l'envoi d'une requête par un utilisateur à un système d'IA générative et l'apparition du premier token de la réponse. Il s'exprime généralement en millisecondes.
Comment le TTFT est-il lié au temps de réponse total ? (IA)
Selon la documentation de Microsoft sur les performances et la latence d'Azure OpenAI, le temps de réponse total est égal au time to first token plus l'écart moyen entre les tokens, multiplié par le nombre de tokens générés.
Le streaming réduit-il le time to first token ? (IA)
Le streaming réduit l'attente avant la première sortie et améliore la réactivité perçue dans les interfaces de conversation. Il ne modifie pas la durée de la réponse complète et compte moins pour les traitements par lots.
Community wiki
Short info above, community knowledge below: add practical tips, examples or corrections. New contributions are reviewed first; trusted members publish directly.
Experts et entreprises pour ce sujet
Personne n'a encore indiqué ce sujet. Ajoutez-le à votre profil.
Sources
- Azure OpenAI in Microsoft Foundry Models performance & latency – Microsoft Learn learn.microsoft.com
- Flux RSS : Time to first token (TTFT)
- Articles sur ce sujet: 2
Maintenu par Mirko Peters (Microsoft MVP) · Dernière mise à jour: