M365Con 2027 – conferência online gratuita · 11–22 Jan 2027 · 120 sessions m365con.net

Time to first token (TTFT)

Concept

Uma métrica de latência para sistemas de IA generativa que mede o tempo entre o envio de uma solicitação pelo usuário e o aparecimento do primeiro token da resposta.

✦ CONCEPTTime to first token(TTFT)M365.FM
Title graphic: Time to first token (TTFT) (Concept)

Também abordados

O episódio sobre Time to first token (TTFT) aborda também Named entity recognition (NER), Reciprocal rank fusion (RRF), Optical character recognition (OCR), Reranking, Keyword search e Security trimming.

Descrição

Time to first token (TTFT), ou tempo até o primeiro token, é uma métrica de latência para sistemas de IA generativa. Ela mede o tempo entre o envio de uma solicitação pelo usuário e o aparecimento do primeiro token da resposta. Normalmente é expressa em milissegundos e descreve a rapidez com que um modelo começa a responder, e não quanto tempo leva para concluir a resposta completa.

O TTFT é usado para avaliar a capacidade de resposta. Em interfaces de chat e outros cenários interativos, a espera antes de qualquer saída aparecer influencia a sensação de rapidez do sistema para quem o utiliza. A documentação de desempenho e latência do Azure OpenAI da Microsoft trata a métrica como o intervalo entre o envio de um prompt e o recebimento do primeiro token. Ela também estabelece uma relação simples: o tempo total de resposta é igual ao tempo até o primeiro token mais a lacuna média entre os tokens multiplicada pelo número de tokens gerados. Portanto, o TTFT é um componente da latência total, e a fase de geração que se segue responde pelo restante.

Vários fatores influenciam o valor. De acordo com a documentação, prompts maiores aumentam o atraso até o primeiro token, embora o tamanho do prompt normalmente importe menos do que a quantidade de texto gerada. Uma carga intensa em uma implantação e muitas solicitações simultâneas também podem desacelerar as respostas. Por isso, uma única medição de TTFT é difícil de interpretar sem contexto. A documentação recomenda analisar as métricas de latência em conjunto com uma métrica de tokens, como os tokens de prompt processados, para que uma resposta lenta possa ser relacionada à quantidade de entrada que foi processada.

No Azure Monitor, a métrica Time to Response corresponde ao tempo até o primeiro token e é adequada para cargas de trabalho de streaming. Uma variante normalizada divide a latência do primeiro byte pela contagem de tokens do prompt. Essa variante serve para comparar prompts de tamanhos diferentes, e não para diagnosticar a latência absoluta. A documentação não apresenta valores-alvo concretos para o TTFT, de modo que os limites aceitáveis dependem da aplicação e de seus usuários.

O streaming está intimamente ligado à métrica. O streaming reduz a espera pela primeira saída e melhora a percepção de capacidade de resposta em interfaces de chat, mas não altera quanto tempo leva a resposta completa. Ele é menos relevante para tarefas em lote, em que ninguém acompanha a saída chegando e o tempo total de conclusão é o dado mais pertinente. A escolha do número de latência a otimizar depende, portanto, de a carga de trabalho ser interativa ou orientada a lotes.

O episódio do M365.FM "Real-Time AI Sensitivity Labeling in Microsoft Purview" (2026-05-12) usa o termo em um contexto de proteção de dados. O episódio afirma que o Time to First Token mede a rapidez com que a IA começa a analisar os dados e que o Microsoft Purview entrega resultados em milissegundos, de modo que a proteção é aplicada quase imediatamente após um arquivo ser salvo ou compartilhado. Ele apresenta essa resposta rápida como uma forma de reduzir o risco de vazamentos e erros, e cita números para modelos ajustados de precisão superior a 95% para dados do Tier 0 e recall acima de 90%. Esses números são atribuídos ao episódio.

Na prática, o TTFT é uma das várias medidas usadas na avaliação ou no monitoramento de cargas de trabalho de IA generativa. Ele descreve o início de uma resposta, enquanto a lacuna entre os tokens e o número de tokens gerados descrevem o restante. Considerar todos esses fatores em conjunto, junto com o tamanho do prompt e a carga da implantação, oferece uma visão mais completa do desempenho de uma implantação de modelo.

Overview compiled with AI from M365.FM episodes and the facts on this page. You can improve it with the edit button below.

TipoConcept

Articles about Time to first token (TTFT) (2)

Artigos que tratam de Time to first token (TTFT):

Perguntas frequentes

Questions marked with AI were written with AI from the facts on this page.

O que mede o tempo até o primeiro token (TTFT)? (AI)

Ele mede o tempo entre o envio de uma solicitação pelo usuário a um sistema de IA generativa e o aparecimento do primeiro token da resposta. Normalmente é expresso em milissegundos.

Como o TTFT se relaciona com o tempo total de resposta? (AI)

De acordo com a documentação de desempenho e latência do Azure OpenAI da Microsoft, o tempo total de resposta é igual ao tempo até o primeiro token mais a lacuna média entre os tokens multiplicada pelo número de tokens gerados.

O streaming reduz o tempo até o primeiro token? (AI)

O streaming reduz a espera pela primeira saída e melhora a percepção de capacidade de resposta em interfaces de chat. Ele não altera quanto tempo leva a resposta completa e é menos relevante para tarefas em lote.

Glossário

Community wiki

Short info above, community knowledge below: add practical tips, examples or corrections. New contributions are reviewed first; trusted members publish directly.

Especialistas e empresas para este tópico

Ninguém indicou ainda este tópico. Adicione-o ao seu perfil.

Sources

Maintained by Mirko Peters (Microsoft MVP) · Last updated: