mistral 7b 応答速度

TTFTとは、ユーザー入力から最初のトークンが返るまでの時間（ms）である。 ローカルLLMの「体感速度」を決めているのは、tokens/secではなくTTFT（Time To First Token）。当サイトのRTX 5080実機計測で...