Time to first token (TTFT)
Concept
Uma métrica de latência para sistemas de IA generativa que mede o tempo entre o envio de uma solicitação pelo usuário e o aparecimento do primeiro token da resposta.
Também abordados
O episódio sobre Time to first token (TTFT) aborda também Named entity recognition (NER), Reciprocal rank fusion (RRF), Optical character recognition (OCR), Reranking, Keyword search e Security trimming.
Descrição
Time to first token (TTFT), ou tempo até o primeiro token, é uma métrica de latência para sistemas de IA generativa. Ela mede o tempo entre o envio de uma solicitação pelo usuário e o aparecimento do primeiro token da resposta. Normalmente é expressa em milissegundos e descreve a rapidez com que um modelo começa a responder, e não quanto tempo leva para concluir a resposta completa.
O TTFT é usado para avaliar a capacidade de resposta. Em interfaces de chat e outros cenários interativos, a espera antes de qualquer saída aparecer influencia a sensação de rapidez do sistema para quem o utiliza. A documentação de desempenho e latência do Azure OpenAI da Microsoft trata a métrica como o intervalo entre o envio de um prompt e o recebimento do primeiro token. Ela também estabelece uma relação simples: o tempo total de resposta é igual ao tempo até o primeiro token mais a lacuna média entre os tokens multiplicada pelo número de tokens gerados. Portanto, o TTFT é um componente da latência total, e a fase de geração que se segue responde pelo restante.
Vários fatores influenciam o valor. De acordo com a documentação, prompts maiores aumentam o atraso até o primeiro token, embora o tamanho do prompt normalmente importe menos do que a quantidade de texto gerada. Uma carga intensa em uma implantação e muitas solicitações simultâneas também podem desacelerar as respostas. Por isso, uma única medição de TTFT é difícil de interpretar sem contexto. A documentação recomenda analisar as métricas de latência em conjunto com uma métrica de tokens, como os tokens de prompt processados, para que uma resposta lenta possa ser relacionada à quantidade de entrada que foi processada.
No Azure Monitor, a métrica Time to Response corresponde ao tempo até o primeiro token e é adequada para cargas de trabalho de streaming. Uma variante normalizada divide a latência do primeiro byte pela contagem de tokens do prompt. Essa variante serve para comparar prompts de tamanhos diferentes, e não para diagnosticar a latência absoluta. A documentação não apresenta valores-alvo concretos para o TTFT, de modo que os limites aceitáveis dependem da aplicação e de seus usuários.
O streaming está intimamente ligado à métrica. O streaming reduz a espera pela primeira saída e melhora a percepção de capacidade de resposta em interfaces de chat, mas não altera quanto tempo leva a resposta completa. Ele é menos relevante para tarefas em lote, em que ninguém acompanha a saída chegando e o tempo total de conclusão é o dado mais pertinente. A escolha do número de latência a otimizar depende, portanto, de a carga de trabalho ser interativa ou orientada a lotes.
O episódio do M365.FM "Real-Time AI Sensitivity Labeling in Microsoft Purview" (2026-05-12) usa o termo em um contexto de proteção de dados. O episódio afirma que o Time to First Token mede a rapidez com que a IA começa a analisar os dados e que o Microsoft Purview entrega resultados em milissegundos, de modo que a proteção é aplicada quase imediatamente após um arquivo ser salvo ou compartilhado. Ele apresenta essa resposta rápida como uma forma de reduzir o risco de vazamentos e erros, e cita números para modelos ajustados de precisão superior a 95% para dados do Tier 0 e recall acima de 90%. Esses números são atribuídos ao episódio.
Na prática, o TTFT é uma das várias medidas usadas na avaliação ou no monitoramento de cargas de trabalho de IA generativa. Ele descreve o início de uma resposta, enquanto a lacuna entre os tokens e o número de tokens gerados descrevem o restante. Considerar todos esses fatores em conjunto, junto com o tamanho do prompt e a carga da implantação, oferece uma visão mais completa do desempenho de uma implantação de modelo.
Overview compiled with AI from M365.FM episodes and the facts on this page. You can improve it with the edit button below.
| Tipo | Concept |
|---|
Articles about Time to first token (TTFT) (2)
Artigos que tratam de Time to first token (TTFT):
- O fim da marcação manual: por que a IA em tempo real é essencial para a governança de dados moderna
· Mirko Peters
Bem-vindo de volta ao blog! Se você gerencia dados corporativos, já sabe que o volume de informações não estruturadas está crescendo em ritmo exponencial. Organizatio… - The Death of Manual Tagging: Why Real-Time AI is Essential for Modern Data Governance
· Mirko Peters
Welcome back to the blog! If you manage enterprise data, you already know that the volume of unstructured information is growing at an exponential rate. Organizatio…
Perguntas frequentes
Questions marked with AI were written with AI from the facts on this page.
O que mede o tempo até o primeiro token (TTFT)? (AI)
Ele mede o tempo entre o envio de uma solicitação pelo usuário a um sistema de IA generativa e o aparecimento do primeiro token da resposta. Normalmente é expresso em milissegundos.
Como o TTFT se relaciona com o tempo total de resposta? (AI)
De acordo com a documentação de desempenho e latência do Azure OpenAI da Microsoft, o tempo total de resposta é igual ao tempo até o primeiro token mais a lacuna média entre os tokens multiplicada pelo número de tokens gerados.
O streaming reduz o tempo até o primeiro token? (AI)
O streaming reduz a espera pela primeira saída e melhora a percepção de capacidade de resposta em interfaces de chat. Ele não altera quanto tempo leva a resposta completa e é menos relevante para tarefas em lote.
Community wiki
Short info above, community knowledge below: add practical tips, examples or corrections. New contributions are reviewed first; trusted members publish directly.
Especialistas e empresas para este tópico
Ninguém indicou ainda este tópico. Adicione-o ao seu perfil.
Sources
- Azure OpenAI in Microsoft Foundry Models performance & latency – Microsoft Learn learn.microsoft.com
- Feed RSS: Time to first token (TTFT)
- Articles on this topic: 2
Maintained by Mirko Peters (Microsoft MVP) · Last updated: