AI推論

AI推論で「メモリ帯域が効く」と言われるのはトークン生成の側です。一般的な単一〜小バッチでは、十分な長さのプロンプト処理は演算性能が、生成はメモリ帯域が先に上限を作ります。RTX 5080 と RTX 5060 Ti の比較に加え、同じカードでメモリクロックだけを下げた対照実験の実測値も載せています。