ローカルLLM

ローカルLLM

Apple Core AIとは｜Core MLとは別に登場したオンデバイス推論基盤とMLX・ANEの関係

WWDC 2026で発表されたApple Core AIは、Core MLとは別に用意された生成AI・大規模モデル向けのオンデバイス推論基盤。Foundation Modelsでの位置づけ、MLX・ANEとの役割分担、M4 Max/iPhoneの公開ベンチ、Ollama/RTX勢のローカルLLM実行を整理する。
2026.06.21 AIハードウェア図鑑
ローカルLLM
ローカルLLM

巨大オープンモデルは手元で動くのか比較｜GLM-5.2・Kimi K2.6・Qwen3.5 122Bの必要メモリ早見表

GLM-5.2・Kimi K2.6・MiniMax M2.7・Qwen3.5 122Bといった巨大オープンモデルは自宅PCで動くのか。総パラメータでなく量子化後の必要メモリで見ると、122B約77GBから1T約340GBまで段差がある。家庭用GPUの限界と、現実的な消費者向けルートを早見表で整理します。
2026.06.20 AIハードウェア図鑑
ローカルLLM
ローカルLLM

GLM-5.2をローカルで動かせるか｜約750B級オープンウェイトに必要なメモリと、消費者向け単体マシンの限界

GLM-5.2は、2026年6月にMITライセンスでフルウェイトが公開されたオープンウェイトのコーディング向けモデル。長期のコーディングやエージェント用途で注目を集め、「重みが公開された＝自分のPCで動かせる」と受け取られがちです。ただ、こ...
2026.06.19 AIハードウェア図鑑
ローカルLLM
ローカルLLM

ローカルLLMのベンチマーク数値の読み取り方｜その「毎秒○トークン」は自分のPCでも出るのか

ローカルLLMをどれにするか選ぶとき、レビューやベンチ記事で見る「毎秒○トークン」「VRAM○GB」という数字が判断材料になる。ただ、その数字が手元のパソコンでそのまま出るとは限らない。実測では、同じモデルが16GBのGPU1枚で毎秒19ト...
2026.06.17 AIハードウェア図鑑
ローカルLLM
GPU・グラフィックボード

16GB VRAMで38%あふれる qwen3.5:35b-a3b、2枚目でオフロード解消し約1.9倍に｜RTX 5080+5060 Ti(Oculink)実測

RTX 5080単体では35B MoE（qwen3.5:35b-a3b）の約38%がCPUへあふれ65.99 tok/s。Oculink接続の2枚目GPUで全量VRAM化（オフロード0%）し、125.87 tok/sへ約1.9倍に。効く決め手はVRAM容量（あふれの解消）という当サイトの実測を解説します。
2026.06.17 AIハードウェア図鑑
GPU・グラフィックボードミニPC・小型PCローカルLLM
GPU・グラフィックボード

VRAMに収まらない大型LLMをRAMオフロードで動かす

VRAMに収まらない大型LLMを、層をCPUのRAMへ分割するRAMオフロード（-ngl指定）で動かす手法を解説。RTX 5080（VRAM 16GB）で12B〜35BクラスのモデルのGPU/CPU分割比とtokens/secを実測し、速度低下の構造的な原因をまとめた。
2026.06.16 AIハードウェア図鑑
GPU・グラフィックボードPC構成ローカルLLM
GPU・グラフィックボード

Ollamaを常駐・並列運用する実運用設定｜OLLAMA_NUM_PARALLEL・keep_alive・モデル切替時のVRAM挙動をRTX 5080で実測

Ollamaの常駐運用とは、モデルをVRAMに保持して再ロードを省く設定のこと。16GB級のGPUでOllamaを常駐・並列で回すとき、運用時に触る頻度が高い設定は3つ。keep_alive（APIリクエストのパラメータ。サーバー全体ではO...
2026.06.16 AIハードウェア図鑑
GPU・グラフィックボードローカルLLM
ComfyUI

DiffusionGemmaとは｜拡散方式の高速LLMをRTXローカルで動かす要件

DiffusionGemmaとは、テキストをブロック単位で並列に生成する拡散方式のオープンな言語モデルです。Google DeepMindが実験的モデルとして公開し、NVIDIAがGeForce RTX・DGX Spark向けに最適化。従来の逐次生成とは異なる高速なテキスト生成をローカルPCで実現する仕組みと要件を解説します。
2026.06.15 AIハードウェア図鑑
ComfyUIGPU・グラフィックボードローカルLLM
GPU・グラフィックボード

ローカルLLM推論エンジン比較｜Ollama・llama.cpp・LM Studio・vLLMの選び方

Ollama, llama.cpp, LM Studio, vLLMの4大ローカルLLM推論エンジンを、速度・手軽さ・マルチGPU対応の3軸で徹底比較。RTX 5080+5060 Ti環境での実測データも交え、LM Studioのテンソル並列対応がもたらす影響や、あなたの環境に最適なエンジンの選び方を解説します。
2026.06.12 AIハードウェア図鑑
GPU・グラフィックボードローカルLLM
GPU・グラフィックボード

Ollama 0.30系は本当に遅いのか？ RTX 5080／5060 Tiで速度低下とCPUオフロードの罠を検証

Ollama 0.30系は本当に遅いのか。RTX 5080/5060 Tiで0.23.3・0.30.6・0.30.7を実測比較。0.30.6のqwen3:8b速度低下は0.30.7で回復し、体感の正体はnum_ctx自動拡大・GPU配置・CPUオフロードだと切り分け、gemma4:12b対応も解説します。
2026.06.10 AIハードウェア図鑑
GPU・グラフィックボードPC構成ローカルLLM
次のページ