ローカルLLM

GPU・グラフィックボード

NightRunとは？OSを入れずにローカルLLMを起動するUEFIアプリ｜Raspberry Pi 5とx86 PC対応

NightRunとは、OSを起動せずローカルLLMだけを直接立ち上げるUEFIアプリケーション。NightRunは、USBメモリやmicroSDカードから起動して、Linuxカーネルもスケジューラもネットワークスタックも持たないまま、いきなりLLMのチャット画面まで到達する実験的なオープンソースプロジェクトです。
2026.08.01 AIハードウェア図鑑
GPU・グラフィックボードPC構成ローカルLLM
GPU・グラフィックボード

ローカルLLMを2枚のGPUのVRAMプールで動かす｜OCuLink接続の帯域ボトルネックを見極める

1枚に載らないローカルLLMを2枚のGPUで動かすとき、OCuLink接続では分割方式で速度が変わる。RTX 5080+5060 Ti(OCuLink)の実測では、単一生成でテンソル並列がレイヤー分割より速い場面があり、プロンプト処理では逆に遅かった。実機ベンチをもとに分割方式の選び方を解説する。
2026.07.25 AIハードウェア図鑑
GPU・グラフィックボードPC構成ローカルLLM
GPU・グラフィックボード

ローカルLLM常駐時のVRAM配分｜他のAI作業と同時に回すと重みとKVキャッシュで詰まる

ローカルLLMのVRAM配分とは、重み・KVキャッシュ・一時確保の3枠に容量を割り振る設計。それなのに、常駐させたまま画像生成を回した瞬間に生成が始まらなくなる。この症状の原因は「VRAMが足りない」ではなく「配分を決めていない」ことにあります。
2026.07.24 AIハードウェア図鑑
GPU・グラフィックボードPC構成ローカルLLM
PC構成

GPUなしでローカルLLMは実用的か｜CPUのみ推論をi7実機で検証

GPUなしのCPUだけでローカルLLMは実用的か。Core i7-14700F実機で1B〜35Bの生成速度・読み込み時間・ロード時のサイズを実測し、2026年9月にはqwen3.5・gemma4の現行モデルも追加。3〜8B級は実用域、27Bは2.97トークン/秒、MoEはサイズの割に生成が速い。
2026.07.23 AIハードウェア図鑑
PC構成ローカルLLM
GPU・グラフィックボード

Nemotron-3-Puzzle 75B-A9Bは手元のGPUで動かせるか

Nemotron-3-Puzzle 75B-A9Bとは、NVIDIAが圧縮したハイブリッドMoEの大規模言語モデル。「アクティブが9.3Bなら、手元の16GB GPUでも動くのでは」——そう考えて検索した人ほど、答えは期待とずれます。結論を先に置くと、このモデルを手元で気軽に動かすのは現時点で難しいです。
2026.07.22 AIハードウェア図鑑
GPU・グラフィックボードPC構成ローカルLLM
GPU・グラフィックボード

量子化で27B級LLMはVRAM 16GBに載るか｜1bit・Ternary圧縮の実力と精度の代償

27B級LLMは1bit・Ternary（三値）の極低ビット量子化なら、重みを約3.8〜7.2GBまで圧縮してVRAM 16GBに載せられます。ただし精度はFP16比で約9割前後に低下し、長文ではKVキャッシュ量が可否を左右するため、理想サイズと実行時ピークメモリの区別が要点になります。
2026.07.21 AIハードウェア図鑑
GPU・グラフィックボードLLM量子化・軽量化ローカルLLM
GPU・グラフィックボード

Nemotron 3 EmbedをVRAM 16GBで動かす｜RTX 5080実測の必要VRAM・速度・NVFP4

Nemotron 3 EmbedをRTX 5080(16GB)で実測。1B-BF16はロード約2.2GBで快適、8B-BF16単体は約15.7GB使用で大量処理には不向き。5080＋5060 Tiのデュアルで短文は現実的、NVFP4は約1GBでロード可だが推論は不安定。
2026.07.18 AIハードウェア図鑑
GPU・グラフィックボードローカルLLM
GPU・グラフィックボード

ローカルVLMでPDF・画像をJSON化｜オープンウェイトモデル／OSSツールの選び方と必要VRAM

ローカルVLMでPDF・画像をJSON化する方法を実行経路ごとに整理。Datalab lift等のオープンウェイトモデルとMarker/Docling等のOSSツールの選び方、4bit量子化で16GB GPUに収まるかを、公式lift-pdf経路とコミュニティGGUF経路を分けて解説します。
2026.07.16 AIハードウェア図鑑
GPU・グラフィックボードローカルLLM
GPU・グラフィックボード

手元のGPUでローカルLLMをファインチューニングできるか

VRAM 16GBのGPUでローカルLLMをファインチューニングできるか。フル微調整・LoRA・QLoRAの必要VRAMの違いから、16GBで狙えるモデルサイズ・学習時間・Unslothの使いどころまで整理します。
2026.07.10 AIハードウェア図鑑
GPU・グラフィックボードPC構成ローカルLLM
GPU・グラフィックボード

ローカルLLMで長文を扱うとVRAMはどれだけ増えるか｜16GBでKVキャッシュ膨張を実測し、あふれない設定を探る

KVキャッシュとは、LLMが処理済みトークンの中間状態を保持する作業メモリである。対応するマザーボードやGPUがあれば、ローカルAI環境は数分で立ち上がるところまで来ました。導入のハードルが下がった一方で、長い仕様書やソースコードを丸ごと貼り付けた瞬間に「VRAMが足りません」と落ちる。
2026.07.09 AIハードウェア図鑑
GPU・グラフィックボードPC構成ローカルLLM
次のページ