ローカルAI環境

GPU・グラフィックボード

2.6BのローカルLLMで128Kの文脈は張れるか|LFM2.5-2.6Bの必要VRAMを16GB GPUとCPUのみで実測

LFM2.5-2.6BをRTX 5060 TiとCPUのみで実測。131,072トークンを張っても必要VRAMは3,970 MiBで、KVキャッシュは1トークンあたり16.00 KiB。同条件の密なTransformerは16GBに収まらない。層構成が長文脈のメモリを決める仕組みを実測値で示す。
GPU・グラフィックボード

ASUS UGen300はローカルLLMに使えるか|Hailo-10H搭載USBアクセラレータで動くモデルの範囲

ASUS UGen300はHailo-10Hと専用メモリ8GBを積んだUSB接続のAIアクセラレータ。動かせるLLMはHailoが配布するコンパイル済みモデルに限られ、その範囲と速度、GPUとの使い分けを一次情報で整理する。
ComfyUI

MiniMax Music 3をVRAM 16GBで動かす|RTX 5080実測、ピークVRAMは必要量ではない

MiniMax Music 3をRTX 5080 16GBのComfyUI構成で実測。4条件はいずれも60秒指定の生成を完走したが、観測されたピークVRAMは必要量ではない。使えるVRAMを削る掃引、1曲の所要時間の内訳、日本語ボーカルの歌詞追従までを測定値で示す。
GPU・グラフィックボード

TTFTとは何を測っているのか|内訳を分けて2枚のGPUで実測すると、動く部分と動かない部分が分かれる

ローカルLLMのTTFTは、どの時点を「最初のトークン」と数えるか、未ロードから測ったかで値が桁で変わる。RTX 5060 Tiと5080で7モデルを実測すると、初回は95〜99%がモデルの読み込みだった。GPU差が素直に出る部分は、この指標にほとんど乗らない。
GPU・グラフィックボード

GPUがSSDを直接読む仕組み|cuFileオープンソース化とローカルAIでモデルロードが速くなる条件

cuFileとは、GPUがストレージを直接読み書きするAPIである。「GPUがSSDを直接読む」と聞けば、ローカルLLMの起動が速くなるのでは、と期待したくなるところ。この記事の要点 cuFileはCPUのシステムメモリを介さずGPUメモリとストレージを直結させるAPI。
ComfyUI

MiniMax H3をVRAM 16GBで動かす|ComfyUIでの導入手順とRTX 5080・5060 Ti実測

MiniMax H3をVRAM 16GBのRTX 5080・5060 Tiで実測。864×480・2.33秒が約66秒、1344×768の8秒動画は約21分30秒。ComfyUIでの導入手順とノード構成、FP8とINT8の速度差、システムRAMが約44GiB必要になる点までまとめた。
GPU・グラフィックボード

GPUのコア数はAI性能にどこまで効くか|演算精度とメモリ帯域で変わる速度の出方

CUDAコア数が多いGPUほどAIが速いとは限りません。RTX 5080がRTX 4090に迫った実測を起点に、コア数・演算精度・メモリ帯域のどれがどのフェーズの速度を決めるのかを公式仕様と自前計測で切り分けます。VRAM容量は速度の目盛りではなく、載るか否かのゲートとして扱います。
ローカルAI環境

ローカルLLMの学習ツールでVRAMはどれだけ変わるか|Unsloth・LLaMA-Factory・素のTRLを同じ重みで実測

同じ重み・同じLoRA構成でUnsloth・LLaMA-Factory・素のTRLを実測比較。8BのQLoRAでピークVRAMは8.30/10.55/11.11 GiBと開いた。RTX 5080と5060 Tiでの速度差、2枚構成、Windows導入の可否まで実機で検証。
GPU・グラフィックボード

NightRunとは?OSを入れずにローカルLLMを起動するUEFIアプリ|Raspberry Pi 5とx86 PC対応

NightRunとは、OSを起動せずローカルLLMだけを直接立ち上げるUEFIアプリケーション。NightRunは、USBメモリやmicroSDカードから起動して、Linuxカーネルもスケジューラもネットワークスタックも持たないまま、いきなりLLMのチャット画面まで到達する実験的なオープンソースプロジェクトです。
ローカルAI環境

ローカルLLM常駐中にWhisperで文字起こしを回すと何が詰まるか|VRAMは足りてもGPU計算の取り合いで遅くなる

ローカルLLMを常駐させたままWhisperで文字起こしを同時に回すと、VRAMは足りてもGPU計算の取り合いで両方が遅くなる仕組みを、RTX 5080の単体実測とGPUの時分割から整理。画像生成との詰まり方の違い、KVキャッシュ、turboとint8、GPU分離、確認の手順まで解説する。