ローカルAI環境

GPU・グラフィックボード

ローカルLLMのベンチマーク数値の読み取り方|その「毎秒○トークン」は自分のPCでも出るのか

ローカルLLMをどれにするか選ぶとき、レビューやベンチ記事で見る「毎秒○トークン」「VRAM○GB」という数字が判断材料になる。ただ、その数字が手元のパソコンでそのまま出るとは限らない。実測では、同じモデルが16GBのGPU1枚で毎秒19ト...
GPU・グラフィックボード

16GB VRAMで38%あふれる qwen3.5:35b-a3b、2枚目でオフロード解消し約1.9倍に|RTX 5080+5060 Ti(Oculink)実測

RTX 5080単体では35B MoE(qwen3.5:35b-a3b)の約38%がCPUへあふれ65.99 tok/s。Oculink接続の2枚目GPUで全量VRAM化(オフロード0%)し、125.87 tok/sへ約1.9倍に。効く決め手はVRAM容量(あふれの解消)という当サイトの実測を解説します。
GPU・グラフィックボード

VRAMに収まらない大型LLMをRAMオフロードで動かす

VRAMに収まらない大型LLMを、層をCPUのRAMへ分割するRAMオフロード(-ngl指定)で動かす手法を解説。RTX 5080(VRAM 16GB)で12B〜35BクラスのモデルのGPU/CPU分割比とtokens/secを実測し、速度低下の構造的な原因をまとめた。
GPU・グラフィックボード

Ollamaを常駐・並列運用する実運用設定|OLLAMA_NUM_PARALLEL・keep_alive・モデル切替時のVRAM挙動をRTX 5080で実測

Ollamaの常駐運用とは、モデルをVRAMに保持して再ロードを省く設定のこと。16GB級のGPUでOllamaを常駐・並列で回すとき、運用時に触る頻度が高い設定は3つ。keep_alive(APIリクエストのパラメータ。サーバー全体ではO...
GPU・グラフィックボード

DiffusionGemmaとは|拡散方式の高速LLMをRTXローカルで動かす要件

DiffusionGemmaとは、テキストをブロック単位で並列に生成する拡散方式のオープンな言語モデルです。Google DeepMindが実験的モデルとして公開し、NVIDIAがGeForce RTX・DGX Spark向けに最適化。従来の逐次生成とは異なる高速なテキスト生成をローカルPCで実現する仕組みと要件を解説します。
GPU・グラフィックボード

エントリー価格帯のAIノートPCは何ができるのか|Snapdragon C搭載機のNPUと割り切りどころ

300ドル以上をターゲットにしたエントリーAIノートPCで何ができるのか。NPUが担うのは字幕・ノイズ除去・写真補正・小型モデルの軽い推論まで、大規模ローカルLLMや高解像度生成はVRAMを積んだGPU機の領域です。Qualcomm発表のSnapdragon Cを例に、NPUの実用範囲とGPU機の住み分けを整理します。
GPU・グラフィックボード

Dell Pro 3とPro Precision 5の違いは?AIノートのNPUとVRAMを仕様から見極める

デルのAI対応ビジネスノートDell Pro 3とPro Precision 5の6機種を題材に、AI対応の正体であるNPUの性能差(同じPro 3でも16〜50 TOPS)と、ローカルでLLMや画像生成を動かすのに効くVRAMの違いを、RTX 5080での参考値も交えて用途別に整理します。
GPU・グラフィックボード

ローカルLLM推論エンジン比較|Ollama・llama.cpp・LM Studio・vLLMの選び方

Ollama, llama.cpp, LM Studio, vLLMの4大ローカルLLM推論エンジンを、速度・手軽さ・マルチGPU対応の3軸で徹底比較。RTX 5080+5060 Ti環境での実測データも交え、LM Studioのテンソル並列対応がもたらす影響や、あなたの環境に最適なエンジンの選び方を解説します。
GPU・グラフィックボード

Thunderbolt 5でローカルAIを外付け強化する選択肢

OWC Stack AIは、Thunderbolt 5でローカルAIを外付け強化するアクセラレータ兼ストレージハブ。2026年5月21日発表、価格・詳細スペックは未公開です。VRAMの壁を外付けで越える発想の意味と、TB5の帯域が内蔵直結に劣る現実を、eGPU/Oculink運用の実感から整理します。
GPU・グラフィックボード

Ollama 0.30系は本当に遅いのか? RTX 5080/5060 Tiで速度低下とCPUオフロードの罠を検証

Ollama 0.30系は本当に遅いのか。RTX 5080/5060 Tiで0.23.3・0.30.6・0.30.7を実測比較。0.30.6のqwen3:8b速度低下は0.30.7で回復し、体感の正体はnum_ctx自動拡大・GPU配置・CPUオフロードだと切り分け、gemma4:12b対応も解説します。