GPU・グラフィックボード RTX 5080 で測る ローカル LLM の TTFT｜mistral 7B 792ms / phi4-mini 840ms の 1 秒以下応答
TTFTとは、ユーザー入力から最初のトークンが返るまでの時間（ms）である。 ローカルLLMの「体感速度」を決めているのは、tokens/secではなくTTFT（Time To First Token）。当サイトのRTX 5080実機計測で...
2026.05.11
GPU・グラフィックボードローカルAI環境基礎知識