GPU・グラフィックボード

GPU・グラフィックボード

GLM-5.2をローカルで動かせるか|約750B級オープンウェイトに必要なメモリと、消費者向け単体マシンの限界

GLM-5.2は、2026年6月にMITライセンスでフルウェイトが公開されたオープンウェイトのコーディング向けモデル。長期のコーディングやエージェント用途で注目を集め、「重みが公開された=自分のPCで動かせる」と受け取られがちです。ただ、こ...
GPU・グラフィックボード

Aider 推奨スペック|repo-mapとgit連携が効くCLI、推論はBYOKでクラウドにもローカルにも

Aiderとは、ターミナルで動くオープンソースのAIペアプログラミングCLIである。 Aiderに必要なスペックを聞かれたときの答えは、一段ではなく二段構えになります。一段目はAider本体。これはコードを書くAI処理そのものではなく、リポジトリを読み解いてgitに変更を反映する作業を回す部分です。
GPU・グラフィックボード

ローカルLLMのベンチマーク数値の読み取り方|その「毎秒○トークン」は自分のPCでも出るのか

ローカルLLMをどれにするか選ぶとき、レビューやベンチ記事で見る「毎秒○トークン」「VRAM○GB」という数字が判断材料になる。ただ、その数字が手元のパソコンでそのまま出るとは限らない。実測では、同じモデルが16GBのGPU1枚で毎秒19ト...
GPU・グラフィックボード

16GB VRAMで38%あふれる qwen3.5:35b-a3b、2枚目でオフロード解消し約1.9倍に|RTX 5080+5060 Ti(Oculink)実測

RTX 5080単体では35B MoE(qwen3.5:35b-a3b)の約38%がCPUへあふれ65.99 tok/s。Oculink接続の2枚目GPUで全量VRAM化(オフロード0%)し、125.87 tok/sへ約1.9倍に。効く決め手はVRAM容量(あふれの解消)という当サイトの実測を解説します。
GPU・グラフィックボード

VRAMに収まらない大型LLMをRAMオフロードで動かす

VRAMに収まらない大型LLMを、層をCPUのRAMへ分割するRAMオフロード(-ngl指定)で動かす手法を解説。RTX 5080(VRAM 16GB)で12B〜35BクラスのモデルのGPU/CPU分割比とtokens/secを実測し、速度低下の構造的な原因をまとめた。
GPU・グラフィックボード

Anima 2BでLoRAを学習する方法|TrainFlow・Citron・Standaloneを目的とVRAMで比較

Anima 2B 用の LoRA を自分で学習しようとすると、トレーナーが何種類も見つかって、どれを選べばいいのか迷いやすいところです。Anima TrainFlow、Citron、Anima Standalone Trainer、それに動...
GPU・グラフィックボード

Ollamaを常駐・並列運用する実運用設定|OLLAMA_NUM_PARALLEL・keep_alive・モデル切替時のVRAM挙動をRTX 5080で実測

Ollamaの常駐運用とは、モデルをVRAMに保持して再ロードを省く設定のこと。16GB級のGPUでOllamaを常駐・並列で回すとき、運用時に触る頻度が高い設定は3つ。keep_alive(APIリクエストのパラメータ。サーバー全体ではO...
GPU・グラフィックボード

DiffusionGemmaとは|拡散方式の高速LLMをRTXローカルで動かす要件

DiffusionGemmaとは、テキストをブロック単位で並列に生成する拡散方式のオープンな言語モデルです。Google DeepMindが実験的モデルとして公開し、NVIDIAがGeForce RTX・DGX Spark向けに最適化。従来の逐次生成とは異なる高速なテキスト生成をローカルPCで実現する仕組みと要件を解説します。
GPU・グラフィックボード

エントリー価格帯のAIノートPCは何ができるのか|Snapdragon C搭載機のNPUと割り切りどころ

300ドル以上をターゲットにしたエントリーAIノートPCで何ができるのか。NPUが担うのは字幕・ノイズ除去・写真補正・小型モデルの軽い推論まで、大規模ローカルLLMや高解像度生成はVRAMを積んだGPU機の領域です。Qualcomm発表のSnapdragon Cを例に、NPUの実用範囲とGPU機の住み分けを整理します。
GPU・グラフィックボード

Dell Pro 3とPro Precision 5の違いは?AIノートのNPUとVRAMを仕様から見極める

デルのAI対応ビジネスノートDell Pro 3とPro Precision 5の6機種を題材に、AI対応の正体であるNPUの性能差(同じPro 3でも16〜50 TOPS)と、ローカルでLLMや画像生成を動かすのに効くVRAMの違いを、RTX 5080での参考値も交えて用途別に整理します。