M365Con 2027 – conferenza online gratuita · 11–22 Jan 2027 · 120 sessions m365con.net

Time to first token (TTFT)

Concetto

Una metrica di latenza per i sistemi di IA generativa che misura il tempo trascorso tra l'invio di una richiesta da parte dell'utente e la comparsa del primo token della risposta.

✦ CONCETTOTime to first token(TTFT)M365.FM
Immagine del titolo: tempo al primo token (TTFT) (Concetto)

Trattati anche

L’episodio su Time to first token (TTFT) parla anche di Named entity recognition (NER), Reciprocal rank fusion (RRF), Optical character recognition (OCR), Reranking, Keyword search e Security trimming.

Descrizione

Time to first token (TTFT) è una metrica di latenza per i sistemi di IA generativa. Misura il tempo trascorso tra l'invio di una richiesta da parte dell'utente e la comparsa del primo token della risposta. Viene solitamente espresso in millisecondi e descrive quanto rapidamente un modello inizia a rispondere, non quanto tempo impiega a completare l'intera risposta.

TTFT viene utilizzato per valutare la reattività. Nelle interfacce di chat e in altri scenari interattivi, l'attesa prima della comparsa di un output influenza la velocità percepita del sistema da parte della persona che lo utilizza. La documentazione di Microsoft su prestazioni e latenza di Azure OpenAI definisce la metrica come l'intervallo tra l'invio di un prompt e la ricezione del primo token. Stabilisce inoltre una relazione semplice: il tempo di risposta totale è uguale al time to first token più il ritardo medio tra i token moltiplicato per il numero di token generati. TTFT è quindi una componente della latenza complessiva, e la fase di generazione che segue contribuisce al resto.

Diversi fattori influenzano il valore. Secondo la documentazione, prompt di dimensioni maggiori aumentano il ritardo del primo token, sebbene la dimensione del prompt di solito conti meno della quantità di testo generato. Anche un carico elevato su un deployment e un gran numero di richieste simultanee possono rallentare le risposte. Per questo motivo, una singola misurazione di TTFT è difficile da interpretare senza contesto. La documentazione raccomanda di leggere le metriche di latenza insieme a una metrica dei token, come i token del prompt elaborati, in modo da poter mettere in relazione una risposta lenta con la quantità di input elaborato.

In Azure Monitor, la metrica Time to Response corrisponde al time to first token e si adatta ai carichi di lavoro in streaming. Una variante normalizzata divide la latenza del primo byte per il numero di token del prompt. Questa variante è pensata per confrontare prompt di dimensioni diverse, non per diagnosticare la latenza assoluta. La documentazione non fornisce valori obiettivo concreti per TTFT, quindi le soglie accettabili dipendono dall'applicazione e dai suoi utenti.

Lo streaming è strettamente legato alla metrica. Lo streaming riduce l'attesa per il primo output e migliora la reattività percepita nelle interfacce di chat, ma non modifica il tempo necessario per completare l'intera risposta. Ha minore importanza per i job batch, dove nessuno osserva l'arrivo dell'output e il tempo di completamento totale è il dato più rilevante. La scelta di quale numero di latenza ottimizzare dipende quindi dal fatto che il carico di lavoro sia interattivo o orientato al batch.

L'episodio di M365.FM "Real-Time AI Sensitivity Labeling in Microsoft Purview" (2026-05-12) usa il termine in un contesto di protezione dei dati. L'episodio afferma che Time to First Token misura la rapidità con cui l'IA inizia ad analizzare i dati e che Microsoft Purview fornisce risultati in millisecondi, così che la protezione risulta applicata quasi subito dopo il salvataggio o la condivisione di un file. Presenta questa risposta rapida come un modo per ridurre il rischio di fughe di dati ed errori, e cita dati per modelli ottimizzati, con una precisione superiore al 95% per i dati di Tier 0 e un recall superiore al 90%. Questi dati sono attribuiti all'episodio.

Nella pratica, TTFT è una delle diverse misure utilizzate nella valutazione o nel monitoraggio dei carichi di lavoro di IA generativa. Descrive l'inizio di una risposta, mentre il ritardo tra i token e il numero di token generati descrivono il resto. Considerare tutti questi aspetti insieme, insieme alla dimensione del prompt e al carico del deployment, offre un quadro più completo delle prestazioni di un deployment di modello.

Panoramica compilata con l'AI dagli episodi di M365.FM e dai dati di questa pagina. Puoi migliorarla con il pulsante di modifica qui sotto.

TipoConcetto

Articoli su Time to first token (TTFT) (2)

Articoli che trattano di Time to first token (TTFT):

Domande frequenti

Le domande contrassegnate con AI sono state scritte con l'AI a partire dai fatti riportati in questa pagina.

Cosa misura il time to first token (TTFT)? (AI)

Misura il tempo trascorso tra l'invio di una richiesta da parte dell'utente a un sistema di IA generativa e la comparsa del primo token della risposta. Viene solitamente espresso in millisecondi.

Come si collega TTFT al tempo di risposta totale? (AI)

Secondo la documentazione di Microsoft su prestazioni e latenza di Azure OpenAI, il tempo di risposta totale è uguale al time to first token più il ritardo medio tra i token moltiplicato per il numero di token generati.

Lo streaming riduce il time to first token? (AI)

Lo streaming riduce l'attesa per il primo output e migliora la reattività percepita nelle interfacce di chat. Non modifica il tempo necessario per completare l'intera risposta e ha minore importanza per i job batch.

Glossario

Community wiki

Short info above, community knowledge below: add practical tips, examples or corrections. New contributions are reviewed first; trusted members publish directly.

Esperti e aziende per questo argomento

Nessuno ha ancora indicato questo argomento. Aggiungilo al tuo profilo.

Fonti

Mantenuto da Mirko Peters (Microsoft MVP) · Ultimo aggiornamento: