PC構成

GPU・グラフィックボード

NVIDIA DGX Sparkは買いか|16GB GPUを実測し公開ベンチと突き合わせて見えた、128GBが効く条件

DGX Spark(GB10)とRTX 5080/5060 Tiを同一のllama-bench条件で実測。VRAMに収まる範囲と収まらない範囲で優劣がどう変わるか、dense/MoEで結論が分かれる理由を実測値で示す。
GPU・グラフィックボード

2.6BのローカルLLMで128Kの文脈は張れるか|LFM2.5-2.6Bの必要VRAMを16GB GPUとCPUのみで実測

LFM2.5-2.6BをRTX 5060 TiとCPUのみで実測。131,072トークンを張っても必要VRAMは3,970 MiBで、KVキャッシュは1トークンあたり16.00 KiB。同条件の密なTransformerは16GBに収まらない。層構成が長文脈のメモリを決める仕組みを実測値で示す。
GPU・グラフィックボード

ASUS UGen300はローカルLLMに使えるか|Hailo-10H搭載USBアクセラレータで動くモデルの範囲

ASUS UGen300はHailo-10Hと専用メモリ8GBを積んだUSB接続のAIアクセラレータ。LLMはHailoがコンパイルして配布するモデルを使うのが基本になる。動かせるモデルの範囲と速度、GPUとの使い分けを一次情報で整理する。
PC構成

Muse Glimmer 30BをVRAM 16GBで動かす|全52層が載る条件とDFlashの効き方をRTX 5080・5060 Tiで実測

Meta の Muse Glimmer 30B を VRAM 16GB クラスで実測。公式想定は24GBだが、表示に使っていない16GB 1枚では全層を載せる指定で毎秒24.61トークン。層数・総コンテキスト指定・DFlash の効き方を llama.cpp b10356 で測った記録。
GPU・グラフィックボード

GPUがSSDを直接読む仕組み|cuFileオープンソース化とローカルAIでモデルロードが速くなる条件

cuFileとは、GPUがストレージを直接読み書きするAPIである。「GPUがSSDを直接読む」と聞けば、ローカルLLMの起動が速くなるのでは、と期待したくなるところ。この記事の要点 cuFileはCPUのシステムメモリを介さずGPUメモリとストレージを直結させるAPI。
GPU・グラフィックボード

AI推論でメモリ帯域はどこに効くか|プロンプト処理と生成で詰まる場所が入れ替わる仕組み

AI推論で「メモリ帯域が効く」と言われるのはトークン生成の側です。一般的な単一〜小バッチでは、十分な長さのプロンプト処理は演算性能が、生成はメモリ帯域が先に上限を作ります。RTX 5080 と RTX 5060 Ti の比較に加え、同じカードでメモリクロックだけを下げた対照実験の実測値も載せています。
GPU・グラフィックボード

GPUのコア数はAI性能にどこまで効くか|演算精度とメモリ帯域で変わる速度の出方

CUDAコア数が多いGPUほどAIが速いとは限りません。RTX 5080がRTX 4090に迫った実測を起点に、コア数・演算精度・メモリ帯域のどれがどのフェーズの速度を決めるのかを公式仕様と自前計測で切り分けます。VRAM容量は速度の目盛りではなく、載るか否かのゲートとして扱います。
GPU・グラフィックボード

NightRunとは?OSを入れずにローカルLLMを起動するUEFIアプリ|Raspberry Pi 5とx86 PC対応

NightRunとは、OSを起動せずローカルLLMだけを直接立ち上げるUEFIアプリケーション。NightRunは、USBメモリやmicroSDカードから起動して、Linuxカーネルもスケジューラもネットワークスタックも持たないまま、いきなりLLMのチャット画面まで到達する実験的なオープンソースプロジェクトです。
GPU・グラフィックボード

AI用PCでCPUはどこまで重要か|ローカルLLM・画像生成でGPUに予算を回す構成判断

AI用PCのCPUは、OSやモデル読み込み、前処理、GPUへの命令投入を担う土台役です。ローカルLLM・画像生成でCPUが効く場面と、GPU・VRAMへ予算を優先すべき構成判断を解説します。
GPU・グラフィックボード

ローカルLLMを2枚のGPUのVRAMプールで動かす|OCuLink接続の帯域ボトルネックを見極める

1枚に載らないローカルLLMを2枚のGPUで動かすとき、OCuLink接続では分割方式で速度が変わる。RTX 5080+5060 Ti(OCuLink)の実測では、単一生成でテンソル並列がレイヤー分割より速い場面があり、プロンプト処理では逆に遅かった。実機ベンチをもとに分割方式の選び方を解説する。