ローカルLLM

GPU・グラフィックボード

VRAM 32GBで何が変わるか｜16GBであふれる27〜35B級をカード2枚で全部載せて実測

27〜35B級の5モデルをQ4_K_M・コンテキスト8192で測ると、RTX 5080 16GBには収まらなかった。16GBのカード2枚で32GB分にして全部載せたときの速度と必要だった容量を実測し、単体32GBはRTX 5090の公称値だけを整理する。
2026.09.11 AIハードウェア図鑑
GPU・グラフィックボードローカルLLM
PC構成

ローカルLLM向け大容量メモリ機の選び方｜必要容量を満たしたらメモリ帯域を見る

小型の筐体に大容量の統合メモリを積む機械が、チップ数種と搭載機十数機種にまで増えた。選び方は必要な容量を決めてから公表メモリ帯域を見る順序になる。各社の公式仕様と、日本で買える機種の価格・入手性を2026年9月時点で整理した。帯域の公表値が見つからない製品もある。
2026.09.10 AIハードウェア図鑑
PC構成ミニPC・小型PCローカルLLM
ローカルLLM

Qwen3.8-27BのMTPは16GBで速くなるか｜有効化で増えるVRAMと、速くならない条件を実測

Qwen3.8-27BのMTP（マルチトークン予測）を16GBのGPU1枚で実測。有効化でのGPU使用量の増分と速度変化は対応したが、開始時の空きと実配置も同時に違うため、増分が原因とは判定できない。KVキャッシュの型を落とすと結果が変わる例も測った。
2026.09.05 AIハードウェア図鑑
ローカルLLM
GPU・グラフィックボード

VRAMに収まらないMoEモデルのデコードが約2倍になった｜FreeTokenとOllamaをRTX 5080で実測比較

VRAM 16GBに収まらない35B級のMoEモデルを、推論エンジンをFreeTokenに替えて実測した。デコードは約2倍になる一方で最初のトークンまでは遅く、約44〜50トークンで総時間が逆転する。RTX 5080での実測値と導入の条件をまとめた。
2026.08.24 AIハードウェア図鑑
GPU・グラフィックボードローカルLLM
ローカルLLM

「Qwen3.8-4B」は使えるか｜土台のQwen3.5-4Bと同条件でRTX 5080/5060 Ti実測

「Qwen3.8-4B」は公式のQwen3.8ではなくQwen3.5-4Bを土台にした第三者蒸留。RTX 5080と5060 Tiで土台と同条件比較すると、生成速度も必要VRAMもほぼ同じで、短答では思考トークンが中央値で約10分の1から30分の1だった。
2026.08.22 AIハードウェア図鑑
ローカルLLM
GPU・グラフィックボード

2.6BのローカルLLMで128Kの文脈は張れるか｜LFM2.5-2.6Bの必要VRAMを16GB GPUとCPUのみで実測

LFM2.5-2.6BをRTX 5060 TiとCPUのみで実測。131,072トークンを張っても必要VRAMは3,970 MiBで、KVキャッシュは1トークンあたり16.00 KiB。同条件の密なTransformerは16GBに収まらない。層構成が長文脈のメモリを決める仕組みを実測値で示す。
2026.08.21 AIハードウェア図鑑
GPU・グラフィックボードPC構成ローカルLLM
GPU・グラフィックボード

ASUS UGen300はローカルLLMに使えるか｜Hailo-10H搭載USBアクセラレータで動くモデルの範囲

ASUS UGen300はHailo-10Hと専用メモリ8GBを積んだUSB接続のAIアクセラレータ。LLMはHailoがコンパイルして配布するモデルを使うのが基本になる。動かせるモデルの範囲と速度、GPUとの使い分けを一次情報で整理する。
2026.08.16 AIハードウェア図鑑
GPU・グラフィックボードPC構成ローカルLLM
ローカルLLM

Qwen3.8-27BをVRAM 16GBで実測｜量子化3種の必要VRAMと起動オプションの差

Qwen3.8-27B の必要VRAMを、重み・KVキャッシュ・線形アテンション状態・計算バッファの内訳まで実測。量子化3種を16GBで動かし、起動オプションひとつで必要量が449MiB動くこと、載ったかどうかは生成速度と消費電力の組でしか判別できなかったことを RTX 5060 Ti・5080 で確かめた。
2026.08.15 AIハードウェア図鑑
ローカルLLM
GPU・グラフィックボード

TTFTとは何を測っているのか｜内訳を分けて2枚のGPUで実測すると、動く部分と動かない部分が分かれる

TTFT（Time To First Token）は、リクエストから最初のトークンが返るまでの時間。ただしローカルLLMでは、何を「最初」と数えるか、未ロードから測ったかで値が桁で変わる。RTX 5060 Tiと5080で7モデルを実測すると、初回は95〜99%がモデルの読み込みだった。
2026.08.15 AIハードウェア図鑑
GPU・グラフィックボードローカルLLM
ローカルLLM

ローカルLLMの学習ツールでVRAMはどれだけ変わるか｜Unsloth・LLaMA-Factory・素のTRLを同じ重みで実測

同じ重み・同じLoRA構成でUnsloth・LLaMA-Factory・素のTRLを実測比較。8BのQLoRAでピークVRAMは8.30/10.55/11.11 GiBと開いた。RTX 5080と5060 Tiでの速度差、2枚構成、Windows導入の可否まで実機で検証。
2026.08.06 AIハードウェア図鑑
ローカルLLM
次のページ