GPU・グラフィックボード

GPU・グラフィックボード

ASUS UGen300はローカルLLMに使えるか｜Hailo-10H搭載USBアクセラレータで動くモデルの範囲

ASUS UGen300はHailo-10Hと専用メモリ8GBを積んだUSB接続のAIアクセラレータ。動かせるLLMはHailoが配布するコンパイル済みモデルに限られ、その範囲と速度、GPUとの使い分けを一次情報で整理する。
2026.08.16 AIハードウェア図鑑
GPU・グラフィックボードPC構成ローカルAI環境
GPU・グラフィックボード

TTFTとは何を測っているのか｜内訳を分けて2枚のGPUで実測すると、動く部分と動かない部分が分かれる

ローカルLLMのTTFTは、どの時点を「最初のトークン」と数えるか、未ロードから測ったかで値が桁で変わる。RTX 5060 Tiと5080で7モデルを実測すると、初回は95〜99%がモデルの読み込みだった。GPU差が素直に出る部分は、この指標にほとんど乗らない。
2026.08.15 AIハードウェア図鑑
GPU・グラフィックボードローカルAI環境
GPU・グラフィックボード

GPUがSSDを直接読む仕組み｜cuFileオープンソース化とローカルAIでモデルロードが速くなる条件

cuFileとは、GPUがストレージを直接読み書きするAPIである。「GPUがSSDを直接読む」と聞けば、ローカルLLMの起動が速くなるのでは、と期待したくなるところ。この記事の要点 cuFileはCPUのシステムメモリを介さずGPUメモリとストレージを直結させるAPI。
2026.08.11 AIハードウェア図鑑
GPU・グラフィックボードPC構成ローカルAI環境
GPU・グラフィックボード

AI推論でメモリ帯域はどこに効くか｜プロンプト処理と生成で詰まる場所が入れ替わる仕組み

AI推論で「メモリ帯域が効く」と言われるのはトークン生成の側です。一般的な単一〜小バッチでは、十分な長さのプロンプト処理は演算性能が、生成はメモリ帯域が先に上限を作ります。RTX 5080 と RTX 5060 Ti の比較に加え、同じカードでメモリクロックだけを下げた対照実験の実測値も載せています。
2026.08.10 AIハードウェア図鑑
GPU・グラフィックボードPC構成基礎知識
GPU・グラフィックボード

GPUのコア数はAI性能にどこまで効くか｜演算精度とメモリ帯域で変わる速度の出方

CUDAコア数が多いGPUほどAIが速いとは限りません。RTX 5080がRTX 4090に迫った実測を起点に、コア数・演算精度・メモリ帯域のどれがどのフェーズの速度を決めるのかを公式仕様と自前計測で切り分けます。VRAM容量は速度の目盛りではなく、載るか否かのゲートとして扱います。
2026.08.09 AIハードウェア図鑑
GPU・グラフィックボードPC構成ローカルAI環境
GPU・グラフィックボード

NightRunとは？OSを入れずにローカルLLMを起動するUEFIアプリ｜Raspberry Pi 5とx86 PC対応

NightRunとは、OSを起動せずローカルLLMだけを直接立ち上げるUEFIアプリケーション。NightRunは、USBメモリやmicroSDカードから起動して、Linuxカーネルもスケジューラもネットワークスタックも持たないまま、いきなりLLMのチャット画面まで到達する実験的なオープンソースプロジェクトです。
2026.08.01 AIハードウェア図鑑
GPU・グラフィックボードPC構成ローカルAI環境
GPU・グラフィックボード

AI用PCでCPUはどこまで重要か｜ローカルLLM・画像生成でGPUに予算を回す構成判断

AI用PCのCPUは、OSやモデル読み込み、前処理、GPUへの命令投入を担う土台役です。ローカルLLM・画像生成でCPUが効く場面と、GPU・VRAMへ予算を優先すべき構成判断を解説します。
2026.07.31 AIハードウェア図鑑
GPU・グラフィックボードPC構成基礎知識
GPU・グラフィックボード

ローカルLLMを2枚のGPUのVRAMプールで動かす｜OCuLink接続の帯域ボトルネックを見極める

1枚に載らないローカルLLMを2枚のGPUで動かすとき、OCuLink接続では分割方式で速度が変わる。RTX 5080+5060 Ti(OCuLink)の実測では、単一生成でテンソル並列がレイヤー分割より速い場面があり、プロンプト処理では逆に遅かった。実機ベンチをもとに分割方式の選び方を解説する。
2026.07.25 AIハードウェア図鑑
GPU・グラフィックボードPC構成ローカルLLM
GPU・グラフィックボード

ローカルLLM常駐時のVRAM配分｜他のAI作業と同時に回すと重みとKVキャッシュで詰まる

ローカルLLMのVRAM配分とは、重み・KVキャッシュ・一時確保の3枠に容量を割り振る設計。それなのに、常駐させたまま画像生成を回した瞬間に生成が始まらなくなる。この症状の原因は「VRAMが足りない」ではなく「配分を決めていない」ことにあります。
2026.07.24 AIハードウェア図鑑
GPU・グラフィックボードPC構成ローカルAI環境
GPU・グラフィックボード

Nemotron-3-Puzzle 75B-A9Bは手元のGPUで動かせるか

Nemotron-3-Puzzle 75B-A9Bとは、NVIDIAが圧縮したハイブリッドMoEの大規模言語モデル。「アクティブが9.3Bなら、手元の16GB GPUでも動くのでは」——そう考えて検索した人ほど、答えは期待とずれます。結論を先に置くと、このモデルを手元で気軽に動かすのは現時点で難しいです。
2026.07.22 AIハードウェア図鑑
GPU・グラフィックボードPC構成ローカルAI環境
次のページ