GPU・グラフィックボード

GPU・グラフィックボード

16GB VRAMで38%あふれる qwen3.5:35b-a3b、2枚目でオフロード解消し約1.9倍に|RTX 5080+5060 Ti(Oculink)実測

RTX 5080単体では35B MoE(qwen3.5:35b-a3b)の約38%がCPUへあふれ65.99 tok/s。Oculink接続の2枚目GPUで全量VRAM化(オフロード0%)し、125.87 tok/sへ約1.9倍に。効く決め手はVRAM容量(あふれの解消)という当サイトの実測を解説します。
GPU・グラフィックボード

VRAMに収まらない大型LLMをRAMオフロードで動かす

VRAMに収まらない大型LLMを、層をCPUのRAMへ分割するRAMオフロード(-ngl指定)で動かす手法を解説。RTX 5080(VRAM 16GB)で12B〜35BクラスのモデルのGPU/CPU分割比とtokens/secを実測し、速度低下の構造的な原因をまとめた。
ComfyUI

Anima 2BでLoRAを学習する方法|TrainFlow・Citron・Standaloneを目的とVRAMで比較

Anima 2B 用の LoRA を自分で学習しようとすると、トレーナーが何種類も見つかって、どれを選べばいいのか迷いやすいところです。Anima TrainFlow、Citron、Anima Standalone Trainer、それに動...
GPU・グラフィックボード

Ollamaを常駐・並列運用する実運用設定|OLLAMA_NUM_PARALLEL・keep_alive・モデル切替時のVRAM挙動をRTX 5080で実測

Ollamaの常駐運用とは、モデルをVRAMに保持して再ロードを省く設定のこと。16GB級のGPUでOllamaを常駐・並列で回すとき、運用時に触る頻度が高い設定は3つ。keep_alive(APIリクエストのパラメータ。サーバー全体ではO...
ComfyUI

DiffusionGemmaとは|拡散方式の高速LLMをRTXローカルで動かす要件

DiffusionGemmaとは、テキストをブロック単位で並列に生成する拡散方式のオープンな言語モデルです。Google DeepMindが実験的モデルとして公開し、NVIDIAがGeForce RTX・DGX Spark向けに最適化。従来の逐次生成とは異なる高速なテキスト生成をローカルPCで実現する仕組みと要件を解説します。
GPU・グラフィックボード

Dell Pro 3とPro Precision 5の違いは?AIノートのNPUとVRAMを仕様から見極める

デルのAI対応ビジネスノートDell Pro 3とPro Precision 5の6機種を題材に、AI対応の正体であるNPUの性能差(同じPro 3でも16〜50 TOPS)と、ローカルでLLMや画像生成を動かすのに効くVRAMの違いを、RTX 5080での参考値も交えて用途別に整理します。
GPU・グラフィックボード

ローカルLLM推論エンジン比較|Ollama・llama.cpp・LM Studio・vLLMの選び方

Ollama, llama.cpp, LM Studio, vLLMの4大ローカルLLM推論エンジンを、速度・手軽さ・マルチGPU対応の3軸で徹底比較。RTX 5080+5060 Ti環境での実測データも交え、LM Studioのテンソル並列対応がもたらす影響や、あなたの環境に最適なエンジンの選び方を解説します。
GPU・グラフィックボード

Ollama 0.30系は本当に遅いのか? RTX 5080/5060 Tiで速度低下とCPUオフロードの罠を検証

Ollama 0.30系は本当に遅いのか。RTX 5080/5060 Tiで0.23.3・0.30.6・0.30.7を実測比較。0.30.6のqwen3:8b速度低下は0.30.7で回復し、体感の正体はnum_ctx自動拡大・GPU配置・CPUオフロードだと切り分け、gemma4:12b対応も解説します。
GPU・グラフィックボード

AIコーディング用ローカルLLMの必要スペック|RTX 5080実機で7B〜14B級のVRAMと速度を実測

AI支援コーディング向けPCはクラウドAPI型とローカルLLM型で要件が分かれます。Claude Code等はGPU不要でCPU・RAM・SSDが効き、ローカル併用はVRAM容量が律速。RTX 5080 16GB実機で7B〜14B級を実測し、用途・予算別の実用スペックを整理しました。
GPU・グラフィックボード

VRAM 16GBでローカルLLMのコンテキスト長はどこまで伸ばせるか|KVキャッシュ量子化の実測

長文入力でつまずくとき、モデル本体とは別に、コンテキスト側のKVキャッシュがVRAMを食い尽くしているのが主因になっていることがある。前回、VRAM 16GBのGPUでGemma 4 12Bを動かす記事を書いた。モデル本体さえ16GBに収ま...