GPU・グラフィックボード

GPU・グラフィックボード

手元のGPUでローカルLLMをファインチューニングできるか

VRAM 16GBのGPUでローカルLLMをファインチューニングできるか。フル微調整・LoRA・QLoRAの必要VRAMの違いから、16GBで狙えるモデルサイズ・学習時間・Unslothの使いどころまで整理します。
GPU・グラフィックボード

ローカルLLMで長文を扱うとVRAMはどれだけ増えるか|16GBでKVキャッシュ膨張を実測し、あふれない設定を探る

KVキャッシュとは、LLMが処理済みトークンの中間状態を保持する作業メモリである。対応するマザーボードやGPUがあれば、ローカルAI環境は数分で立ち上がるところまで来ました。導入のハードルが下がった一方で、長い仕様書やソースコードを丸ごと貼り付けた瞬間に「VRAMが足りません」と落ちる。
GPU・グラフィックボード

Ornith-1.0をローカルで動かすには?9B〜397Bの必要VRAMとGPU選び【Dense/MoE別】

Ornith-1.0(DeepReinforce製、MITライセンス)を手元のGPUで動かす方法を解説。9B/31B Dense・35B/397B MoEのサイズ別メモリ目安を整理し、9B/35Bは当サイトのRTX 5080環境で実測。GPU選びとOllama起動手順も紹介します。
GPU・グラフィックボード

ローカルAIにシステムRAMは何GB必要か|LLM推論と画像生成の消費量を96GB実機で実測

参考資料 llama.cpp 公式リポジトリ(GitHub) Unsloth: Qwen3-Coder-30B-A3B-Instruct GGUF モデルカード(量子化別ファイルサイズ) ComfyUI 公式リポジトリ(GitHub) KitGuru: Geekom A9 Max 2026 Mini PC Revie…
GPU・グラフィックボード

RTX 50 SUPER(24GB)を待つべきか|LLMは速度・ComfyUIはできることが変わる【2026年6月】

噂のRTX 50 SUPER(VRAM 24GB)を待つべきか。RTX 5080・5060 Tiの16GB実測をもとに、LLMでは速度、ComfyUIの画像・動画では「できること」が変わる差を用途別に整理。24GBでも足りない大型モデルの線引きと、デュアルGPUという代替手段まで解説します(2026年6月時点)。
GPU・グラフィックボード

Nemotron 3 Nanoを16GBで実測|Mambaハイブリッドの生成速度とVRAM、Qwen3.6 35B-A3Bと比較(RTX 5080/5060 Ti)

NVIDIA Nemotron 3 Nano(4B/30B-A3B)をRTX 5080・5060 Ti(16GB)でローカル実測。Mamba-2系ハイブリッドの生成速度・VRAM・必要構成を別系統の活性3B級MoE qwen3.6:35b-a3bと比較。4Bは16GBで205 tok/s。
ComfyUI

Ideogram 4.0をローカルで動かす要件とライセンス|9.3BオープンウェイトをComfyUIで実行する

Ideogram 4.0は9.3Bのオープンウェイト画像モデル。FP8構成は合計約30GB前後で、VRAM 16GBでも動く範囲にある。ただし重みは非商用ライセンスで、収益化サイトへの生成画像の利用は別途許諾が要る。ローカル実行の構成とライセンスの線引きを配布元の条文に沿って整理する。
GPU・グラフィックボード

ComfyUI用の画像モデルGGUFをggufyで自作する|SDXL量子化のサイズ・VRAM・速度を実測

ComfyUIで使う画像モデルのGGUF量子化版を、単体ツールggufyで自作する手順と実測。SDXLでサイズ・所要時間・RAM(約90MB/ComfyUI内ノードは96GB+)を計測し、ComfyUIで実生成してVRAMと生成速度も実測。
GPU・グラフィックボード

ローカルLLMの量子化フォーマットの選び方|Q4_K_M〜Q8・QATを精度・サイズと16GB VRAMで見極める

量子化フォーマットとは、LLMの重みを低ビットに圧縮し容量と速度を稼ぐ方式。 Hugging Faceで同じモデルのページを開くと、量子化の種類がずらりと並びます。Q4_K_M、Q5_K_M、Q6_K、Q8_0、さらにQAT版――名前だけでは何がどう違うのか、すぐには判断できません。
ComfyUI

FLUX.2 Klein 9BをVRAM 16GBで実測|RTX 5080・5060 TiでQ8_0 GGUFの速度とVRAMを比較

Black Forest LabsのFLUX.2 Klein 9BをQ8_0 GGUF量子化でVRAM 16GBのRTX 5080とRTX 5060 Tiで実測。1024px・4ステップを1枚約8秒(5080)/14.5秒(5060Ti)で生成し、VRAM・消費電力・GPU使用率をseed付きで比較した。