ローカルLLM

ローカルLLM

RTX 5080でMoEの消費電力が低い理由|Ollamaで16GBに載りきらないgemma4:26b・qwen3.5:35b-a3b実測

RTX 5080でLLM 12モデル・アイドル・画像生成の消費電力をOllamaで実測。アイドル55W、推論104〜296W、画像生成230〜279W(定常区間の中央値)。16GBに載りきらないMoEの低電力は、Dense型を同じようにオフロードしても再現された。
ローカルLLM

llama.cppのGemma 4でRAMが枯渇する原因|VRAM余裕でもOOMする仕組みと回避策

VRAM 32GBのGPUにモデルを載せた。VRAM使用量はまだ余裕がある。なのに数回プロンプトを送っただけでプロセスが強制終了される。原因はGPUではなく、システムRAMの枯渇だった。 海外のRedditコミュニティ(r/LocalLLa...
ローカルLLM

llama.cppとは?ローカルLLM実行エンジンの仕組み・導入方法を初心者向けに解説

llama.cppはCPUでもLLMを動かせるMITライセンスのオープンソース推論エンジン。GGUF形式と量子化レベルの読み方、Ollama等との位置づけ、必要なRAM・VRAMの目安まで、ローカルLLM初心者が最初に知るべき内容を一次ソース付きで解説する。
ローカルLLM

Ollamaとは?ローカルLLMを動かす第一歩を初心者向けに解説

この記事では、Ollamaの基本から必要なPCスペック、モデルの選び方まで、初めてローカルLLMに触れる人が「自分のPCで動くのか」を判断できるように解説していくこの記事ではOllamaについて詳しく解説します。