GPU・グラフィックボード TTFTとは何を測っているのか|内訳を分けて2枚のGPUで実測すると、動く部分と動かない部分が分かれる
ローカルLLMのTTFTは、どの時点を「最初のトークン」と数えるか、未ロードから測ったかで値が桁で変わる。RTX 5060 Tiと5080で7モデルを実測すると、初回は95〜99%がモデルの読み込みだった。GPU差が素直に出る部分は、この指標にほとんど乗らない。
GPU・グラフィックボード
GPU・グラフィックボード
ローカルAI環境