Time to first token (TTFT)
Concept
生成AIシステムのレイテンシ指標で、ユーザーがリクエストを送信してから回答の最初のトークンが表示されるまでの時間を測定するものです。
あわせて取り上げられたテーマ
Time to first token (TTFT)に関するエピソードでは、Named entity recognition (NER)、Reciprocal rank fusion (RRF)、Optical character recognition (OCR)、Reranking、Keyword search、Security trimmingも取り上げられています。
Description
最初のトークンまでの時間(TTFT)は、生成AIシステムのレイテンシ指標です。ユーザーがリクエストを送信してから、回答の最初のトークンが表示されるまでの時間を測定します。通常はミリ秒単位で表され、回答全体にかかる時間ではなく、モデルがどれだけ速く応答を開始するかを示します。
TTFTは応答性の評価に用いられます。チャットインターフェースなどの対話型のシナリオでは、何らかの出力が表示されるまでの待ち時間が、利用者にとってシステムの速さの感じ方を左右します。Microsoftの Azure OpenAI のパフォーマンスとレイテンシに関するドキュメントでは、この指標をプロンプトを送信してから最初のトークンを受信するまでの間隔として扱っています。また、単純な関係も示しています。総応答時間は、最初のトークンまでの時間に、トークン間の平均間隔を生成されたトークン数で掛けた値を加えたものに等しいとされています。したがってTTFTは全体のレイテンシの一要素であり、その後の生成フェーズが残りを占めます。
この値にはいくつかの要因が影響します。ドキュメントによると、プロンプトが大きいほど最初のトークンまでの遅延は増えますが、通常はプロンプトの大きさよりも生成されるテキストの量の方が影響は大きいとされています。デプロイメントへの高い負荷や同時リクエストの多さも応答を遅くする可能性があります。そのため、TTFTの単一の値だけでは、文脈なしに解釈することは困難です。ドキュメントでは、処理されたプロンプトトークンなどのトークン指標と合わせてレイテンシ指標を読むことを推奨しており、応答の遅さを入力量と関連付けて考えられるようにしています。
Azure Monitorでは、Time to Response指標が最初のトークンまでの時間に対応し、ストリーミングのワークロードに適しています。正規化されたバリアントは、最初のバイトまでのレイテンシをプロンプトのトークン数で割ったものです。このバリアントは、絶対的なレイテンシを診断するためではなく、異なるプロンプトサイズ間で比較するためのものです。ドキュメントではTTFTの具体的な目標値は示されていないため、許容される閾値はアプリケーションとその利用者によって異なります。
ストリーミングはこの指標と密接に関係しています。ストリーミングは最初の出力までの待ち時間を短縮し、チャットインターフェースでの体感的な応答性を向上させますが、回答全体にかかる時間は変わりません。出力が到着する様子を誰も見ていないバッチ処理では重要性は低く、全体の完了時間の方が関連性の高い数値となります。どのレイテンシの数値を最適化するかは、ワークロードが対話型かバッチ指向かによって決まります。
M365.FMのエピソード「Real-Time AI Sensitivity Labeling in Microsoft Purview」(2026-05-12)では、この用語をデータ保護の文脈で使用しています。このエピソードでは、Time to First Tokenは AI がデータの分析を開始する速さを測定するものであり、Microsoft Purviewは結果をミリ秒単位で提供するため、ファイルの保存や共有のほぼ直後に保護が適用されているように見えると説明しています。このような迅速な応答は、情報漏えいやミスのリスクを減らす手段として提示されており、調整済みモデルについて、Tier 0データで95%を超える適合率、90%を超える再現率という数値も挙げています。これらの数値はエピソードによるものとして示されています。
実際には、TTFTは生成AIのワークロードを評価または監視する際に用いられる複数の指標の一つです。TTFTは応答の開始を表し、トークン間の間隔や生成されたトークン数は応答の残りの部分を表します。これらすべてを、プロンプトのサイズやデプロイメントの負荷とあわせて考えることで、モデルのデプロイメントの性能をより正確に把握できます。
Overview compiled with AI from M365.FM episodes and the facts on this page. You can improve it with the edit button below.
| Type | Concept |
|---|
Articles about Time to first token (TTFT) (1)
Time to first token (TTFT)を扱った記事:
- The Death of Manual Tagging: Why Real-Time AI is Essential for Modern Data Governance
· Mirko Peters
Welcome back to the blog! If you manage enterprise data, you already know that the volume of unstructured information is growing at an exponential rate. Organizatio…
Frequently asked questions
Questions marked with AI were written with AI from the facts on this page.
最初のトークンまでの時間(TTFT)は何を測定しますか? (AI)
生成AIシステムにユーザーがリクエストを送信してから、回答の最初のトークンが表示されるまでの時間を測定します。通常はミリ秒単位で表されます。
TTFTは総応答時間とどのように関係していますか? (AI)
Microsoftの Azure OpenAI のパフォーマンスとレイテンシに関するドキュメントによると、総応答時間は、最初のトークンまでの時間に、トークン間の平均間隔を生成されたトークン数で掛けた値を加えたものに等しいとされています。
ストリーミングは最初のトークンまでの時間を短縮しますか? (AI)
ストリーミングは最初の出力までの待ち時間を短縮し、チャットインターフェースでの体感的な応答性を向上させます。回答全体にかかる時間は変わらず、バッチ処理では重要性は低くなります。
Community wiki
Short info above, community knowledge below: add practical tips, examples or corrections. New contributions are reviewed first; trusted members publish directly.
Experts and companies for this topic
Nobody has listed this topic yet. Add it to your profile.
Sources
- Azure OpenAI in Microsoft Foundry Models performance & latency – Microsoft Learn learn.microsoft.com
- RSSフィード: Time to first token (TTFT)
- Articles on this topic: 1
Maintained by Mirko Peters (Microsoft MVP) · Last updated: