llama.cpp

GPU・グラフィックボード

MTP（マルチトークン予測）でローカルLLMは本当に速くなるか｜RTX 5080実測、非MoEで1.69倍・MoEは1.0〜1.4倍と構成次第

MTP（マルチトークン予測）でローカルLLMが何倍速くなるかをRTX 5080で実測。非MoEのgemma-4-12bは1.69倍、MoEは1.0〜1.4倍と量子化・GPU構成で振れる。効きを分けるのは1順伝播あたりのボトルネック（帯域/GPU間の受け渡し待ち）をMTPが薄められるか。llama.cppの実測で解説。
2026.06.22 AIハードウェア図鑑
GPU・グラフィックボードPC構成ローカルAI環境
GPU・グラフィックボード

ローカルLLM推論エンジン比較｜Ollama・llama.cpp・LM Studio・vLLMの選び方

Ollama, llama.cpp, LM Studio, vLLMの4大ローカルLLM推論エンジンを、速度・手軽さ・マルチGPU対応の3軸で徹底比較。RTX 5080+5060 Ti環境での実測データも交え、LM Studioのテンソル並列対応がもたらす影響や、あなたの環境に最適なエンジンの選び方を解説します。
2026.06.12 AIハードウェア図鑑
GPU・グラフィックボードローカルAI環境ローカルLLM
ローカルAI環境

llama.cppのGemma 4でRAMが枯渇する原因｜VRAM余裕でもOOMする仕組みと回避策【2026年】

VRAM 32GBのGPUにモデルを載せた。VRAM使用量はまだ余裕がある。なのに数回プロンプトを送っただけでプロセスが強制終了される。原因はGPUではなく、システムRAMの枯渇だった。 海外のRedditコミュニティ（r/LocalLLa...
2026.04.17 AIハードウェア図鑑
ローカルAI環境