リアルタイム対話 LLM

TTFTとは、ユーザー送信から最初のトークンが返るまでの時間である。チャットUIで「送信ボタンを押してから最初の文字が画面に出るまで」を短縮したいなら、見るべき指標はtok/sではなくTTFT (Time to First Token)。当...