コンテキスト長

GPU・グラフィックボード

VRAM 12GBの壁はどこにあるか｜context・動画フレーム数・あふれた後の分かれ目を実測

VRAM 12GB のGPUでローカルLLMと動画生成をどこまで回せるかを実測。収まるのは14Bクラスまでで、収まらなくなった後の速度はdenseとMoEで約8〜14倍割れる。コンテキストの上限はKVキャッシュの量子化でほぼ倍ずつ伸び、動画は解像度より先にフレーム数で止まる。
2026.09.13 AIハードウェア図鑑
GPU・グラフィックボードローカルAI環境ローカルLLM
ローカルAI環境

指定できる文脈長と使える文脈長は違う｜Qwen3.8-27B を VRAM 16GB で実測

Qwen3.8-27B を VRAM 16GB 1枚で動かし、指定した文脈長が実際に使えるかを実測した。測った枠のうち 196,608 までは読み込みも生成も落ちず、262,144 だけが読み込みの途中で打ち切りになった。境目は専用VRAMの値には出ず、共有GPUメモリ側の増加として現れる。
2026.09.12 AIハードウェア図鑑
ローカルAI環境