KVキャッシュ量子化

ローカルLLM

LFM2.5-24B-A2BはVRAM 16GBで動くか｜文脈長ごとの使用量と速さ、Ollamaでの読み込み、Qwen3.6-35B-A3Bとの違い

LFM2.5-24B-A2BをVRAM 16GBのRTX 5060 Ti・5080で実測。文脈の長さごとのVRAM使用量、入力の処理と生成の速さ、Ollamaでの読み込み、Claude Codeでの作業結果を、16GBに載りきらないQwen3.6-35B-A3Bと比べた。
2026.10.15 AIハードウェア図鑑
ローカルLLM
LLM量子化・軽量化

Underdog Saluki 27BはVRAM何GBで動くか｜文脈長ごとの使用量、Ollama・LM Studioでの読み込み、Bonsai 2 27Bとの違い

Underdog Saluki 27B(Qwen3.8-27Bを8GB未満にしたGGUF、IQ2-mix)をRTX 5060 Ti・5080で実測。文脈の長さごとのVRAM、生成の速さ、Ollama・LM Studioでの読み込み、Claude Codeと税計算の結果をBonsai 2 27Bと並べた。
2026.10.10 AIハードウェア図鑑
LLM量子化・軽量化ローカルLLM
GPU・グラフィックボード

VRAM 12GBの壁はどこにあるか｜context・動画フレーム数・あふれた後の分かれ目を実測

VRAM 12GB のGPUでローカルLLMと動画生成をどこまで回せるかを実測。収まるのは14Bクラスまでで、収まらなくなった後の速度はdenseとMoEで約8〜14倍割れる。コンテキストの上限はKVキャッシュの量子化でほぼ倍ずつ伸びる。動画は9月9日の構成では168フレームで失敗したが、ComfyUIなどを更新した9月28日の構成では264フレームまで通った。
2026.09.13 AIハードウェア図鑑
GPU・グラフィックボードローカルAI環境ローカルLLM
ローカルLLM

Qwen3.8-27BのMTPは16GBで速くなるか｜有効化で増えるVRAMと、速くならない条件を実測

Qwen3.8-27BのMTP（マルチトークン予測）を16GBのGPU1枚で実測。有効化でのGPU使用量の増分と速度変化は対応したが、開始時の空きと実配置も同時に違うため、増分が原因とは判定できない。KVキャッシュの型を落とすと結果が変わる例も測った。
2026.09.05 AIハードウェア図鑑
ローカルLLM