TTFT ローカルLLM

TTFTとは、ユーザー入力から最初のトークンが返るまでの時間（ms）である。ローカルLLMの「体感速度」を決めているのは、tokens/secではなくTTFT（Time To First Token）。当サイトのRTX 5080実機計測では...