KVキャッシュ量子化

VRAM 12GB のGPUでローカルLLMと動画生成をどこまで回せるかを実測。収まるのは14Bクラスまでで、収まらなくなった後の速度はdenseとMoEで約8〜14倍割れる。コンテキストの上限はKVキャッシュの量子化でほぼ倍ずつ伸び、動画は解像度より先にフレーム数で止まる。