llama.cpp

LLM量子化・軽量化

Ternary Nemotron 3.5 LightningをVRAM 12GBで動かす｜長い文書でも速さは保てるか

RTX 4070 SUPER（VRAM 12GB）1枚でTernary Nemotron 3.5 Lightningを実測。文脈長368,640の設定でも全層をGPUに置く指定のまま動いた。29万トークンの入力は読み込みに約2分かかり、そのあとの生成は短い入力の約3割に落ちた。
2026.11.03 AIハードウェア図鑑
LLM量子化・軽量化ベンチマークローカルLLM
LLM量子化・軽量化

Gemma 4 26B-A4BのQATをVRAM 16GBで動かす｜Ollamaとllama.cppのどちらを使うか

Ollama の qat タグ ( gemma4:26b-a4b-it-qat ) は RTX 5080 1 枚で 8K から 256K まで動いたが、この記事の Ollama の設定では、どの文脈長でも 16GB の GPU に全部は載らず、一部が CPU 側に回った。
2026.11.02 AIハードウェア図鑑
LLM量子化・軽量化ベンチマークローカルLLM
ローカルLLM

LFM2.5-24B-A2BはVRAM 16GBで動くか｜文脈長ごとの使用量と速さ、Ollamaでの読み込み、Qwen3.6-35B-A3Bとの違い

LFM2.5-24B-A2BをVRAM 16GBのRTX 5060 Ti・5080で実測。文脈の長さごとのVRAM使用量、入力の処理と生成の速さ、Ollamaでの読み込み、Claude Codeでの作業結果を、16GBに載りきらないQwen3.6-35B-A3Bと比べた。
2026.10.15 AIハードウェア図鑑
ローカルLLM
LLM量子化・軽量化

Underdog Saluki 27BはVRAM何GBで動くか｜文脈長ごとの使用量、Ollama・LM Studioでの読み込み、Bonsai 2 27Bとの違い

Underdog Saluki 27B(Qwen3.8-27Bを8GB未満にしたGGUF、IQ2-mix)をRTX 5060 Ti・5080で実測。文脈の長さごとのVRAM、生成の速さ、Ollama・LM Studioでの読み込み、Claude Codeと税計算の結果をBonsai 2 27Bと並べた。
2026.10.10 AIハードウェア図鑑
LLM量子化・軽量化ローカルLLM
ローカルLLM

Qwen3.8-27BのNVFP4 GGUFをRTX 5080・5060 Tiで実測｜UD-IQ4_XSより速いのか、VRAM 16GBで文脈40Kまで比較

Qwen3.8-27BのNVFP4 GGUF 3本をRTX 5080・5060 Ti(VRAM 16GB)で実測。UD-IQ4_XSと生成・入力処理の速さ、共有メモリへのあふれを文脈40Kまで比べ、選び方をまとめた。RTX 4070 SUPERとClaude Codeでの結果も載せる。
2026.10.07 AIハードウェア図鑑
ローカルLLM
Strata

Strataで125BのQwen3.8-Flash-NextをVRAM 12GB・16GBで実測｜素のllama.cpp・27B・Claude Codeとも比較

VRAM 12GB・16GBのGPU 1枚とメインメモリ96GBの検証環境で、125BのQwen3.8-Flash-NextをStrataと素のllama.cppで実測。RTX 5080・5060 Ti・4070 SUPERでの速さ、2枚目のGPUの分け方、量子化の違い、Qwen3.8-27BやClaude Codeとの比較をまとめた。
2026.10.02 AIハードウェア図鑑
StrataローカルAI環境ローカルLLM
ローカルAI環境

llama-serverやOllamaを止めたのにVRAMが空かない｜Windowsで居残ったプロセスを見つけて止める方法

Windowsでllama-serverやOllamaを止めたのにVRAMが空かないときの対処。親だけが終わって居残った子のプロセスをPowerShellで見つけ、再起動せずに止める手順と、居残らせない起動の仕方・止め方をまとめた。止め方11通りで子が居残るかを試した結果も載せている。
2026.10.02 AIハードウェア図鑑
ローカルAI環境ローカルLLM
GPU・グラフィックボード

Bonsai 2 27BはVRAM 16GBで動くか｜公称5.9GBの中身と、専用ビルドが要る理由を実測

PrismML が公開した Bonsai 2 27B を RTX 5080 16GB 単体で実測。標準の llama.cpp では読み込めず専用ビルドが要ること、配布される PTQ1_0 と PQ2_0 でプロンプト処理と生成の差の出方が変わること、公称5.9GBがどのファイルの値かを整理した。
2026.09.19 AIハードウェア図鑑
GPU・グラフィックボードLLM量子化・軽量化ローカルLLM
ローカルLLM

指定できる文脈長と使える文脈長は違う｜Qwen3.8-27B を VRAM 16GB で実測

Qwen3.8-27B を VRAM 16GB 1枚で動かし、指定した文脈長が実際に使えるかを実測した。測った枠のうち 196,608 までは読み込みも生成も落ちず、262,144 だけが読み込みの途中で打ち切りになった。境目は専用VRAMの値には出ず、共有GPUメモリ側の増加として現れる。
2026.09.12 AIハードウェア図鑑
ローカルLLM
ローカルLLM

Qwen3.8-27BをVRAM 16GBで実測｜量子化3種の必要VRAMと起動オプションの差

Qwen3.8-27B の必要VRAMを、重み・KVキャッシュ・線形アテンション状態・計算バッファの内訳まで実測。量子化3種を16GBで動かし、起動オプションひとつで必要量が449MiB動くこと、載ったかどうかは生成速度と消費電力の組でしか判別できなかったことを RTX 5060 Ti・5080 で確かめた。
2026.08.15 AIハードウェア図鑑
ローカルLLM
次のページ