GPU・グラフィックボード deepseek-r1:8b の TTFT は llama3.1:8b の 4.5 倍
TTFTとは、リクエスト送信から最初のトークンが返るまでの応答時間である。 ローカルLLMの体感速度を決めるのは tokens/sec だけではありません。RTX 5080 で 7 モデルを横並び計測したところ、DeepSeek R1 8B...
2026.05.06
GPU・グラフィックボードローカルAI環境ローカルLLM