LLM量子化・軽量化 Gemma 4 26B-A4BのQATをVRAM 16GBで動かす｜Ollamaとllama.cppのどちらを使うか
Ollama の qat タグ ( gemma4:26b-a4b-it-qat ) は RTX 5080 1 枚で 8K から 256K まで動いたが、この記事の Ollama の設定では、どの文脈長でも 16GB の GPU に全部は載らず、一部が CPU 側に回った。
2026.11.02
LLM量子化・軽量化ベンチマークローカルLLM