deepseek-r1 TTFT

GPU・グラフィックボード

TTFTとは何を測っているのか|内訳を分けて2枚のGPUで実測すると、動く部分と動かない部分が分かれる

ローカルLLMのTTFTは、どの時点を「最初のトークン」と数えるか、未ロードから測ったかで値が桁で変わる。RTX 5060 Tiと5080で7モデルを実測すると、初回は95〜99%がモデルの読み込みだった。GPU差が素直に出る部分は、この指標にほとんど乗らない。
GPU・グラフィックボード

RTX 5080でTTFTが速いLLM 8モデル実測|phi4-mini 1194msが最速、リアルタイム対話の選定基準

TTFTとは、ユーザー送信から最初のトークンが返るまでの時間である。 チャットUIで「送信ボタンを押してから最初の文字が画面に出るまで」を短縮したいなら、見るべき指標はtok/sではなくTTFT (Time to First Token)。...
ローカルAI環境

deepseek-r1:8b の TTFT は llama3.1:8b の 4.5 倍

TTFTとは、リクエスト送信から最初のトークンが返るまでの応答時間である。 ローカルLLMの体感速度を決めるのは tokens/sec だけではありません。RTX 5080 で 7 モデルを横並び計測したところ、DeepSeek R1 8B...