GPU・グラフィックボード

GPUがSSDを直接読む仕組み|cuFileオープンソース化とローカルAIでモデルロードが速くなる条件

cuFileとは、GPUがストレージを直接読み書きするAPIである。「GPUがSSDを直接読む」と聞けば、ローカルLLMの起動が速くなるのでは、と期待したくなるところ。この記事の要点 cuFileはCPUのシステムメモリを介さずGPUメモリとストレージを直結させるAPI。
ベンチマーク

MiniMax H3 Turbo LoRAは何倍速い?|ComfyUIで4〜8ステップ・RTX 5080/5060 Ti実測

MiniMax H3のTurbo LoRAをVRAM 16GBで実測。配布元の約5倍はサンプリング部分の話で、総時間では1.47倍〜4.18倍と条件で動く。同じステップ数ではLoRAありが遅く、上乗せは設定が重いほど薄まる。RTX 5080と5060 Tiの差、画質が分かれる4ステップ、ライセンス条件まで。
GPU・グラフィックボード

AI推論でメモリ帯域はどこに効くか|プロンプト処理と生成で詰まる場所が入れ替わる仕組み

メモリ帯域とは、GPUが自身のVRAMとの間で1秒あたりに読み書きできるデータ量である。 ローカルLLMを動かしていて「長い文章を投げると最初の一文字が出るまで待たされる」「出始めてからの速度はモデルを変えると大きく動く」という差を体感したことはありませんか。この二つは原因が別で、前者は演算器の量、後者はメモリ帯域が…
ComfyUI

MiniMax H3をVRAM 16GBで動かす|ComfyUIでの導入手順とRTX 5080・5060 Ti実測

MiniMax H3をVRAM 16GBのRTX 5080・5060 Tiで実測。864×480・2.33秒が約66秒、1344×768の8秒動画は約21分30秒。ComfyUIでの導入手順とノード構成、FP8とINT8の速度差、システムRAMが約44GiB必要になる点までまとめた。
GPU・グラフィックボード

GPUのコア数はAI性能にどこまで効くか|演算精度とメモリ帯域で変わる速度の出方

CUDAコア数が多いGPUほどAIが速いとは限りません。RTX 5080がRTX 4090に迫った実測を起点に、コア数・演算精度・メモリ帯域のどれがどのフェーズの速度を決めるのかを公式仕様と自前計測で切り分けます。VRAM容量は速度の目盛りではなく、載るか否かのゲートとして扱います。
ローカルAI環境

ローカルLLMの学習ツールでVRAMはどれだけ変わるか|Unsloth・LLaMA-Factory・素のTRLを同じ重みで実測

同じ重み・同じLoRA構成でUnsloth・LLaMA-Factory・素のTRLを実測比較。8BのQLoRAでピークVRAMは8.30/10.55/11.11 GiBと開いた。RTX 5080と5060 Tiでの速度差、2枚構成、Windows導入の可否まで実機で検証。
GPU・グラフィックボード

NightRunとは?OSを入れずにローカルLLMを起動するUEFIアプリ|Raspberry Pi 5とx86 PC対応

NightRunとは、OSを起動せずローカルLLMだけを直接立ち上げるUEFIアプリケーション。NightRunは、USBメモリやmicroSDカードから起動して、Linuxカーネルもスケジューラもネットワークスタックも持たないまま、いきなりLLMのチャット画面まで到達する実験的なオープンソースプロジェクトです。
GPU・グラフィックボード

AI用PCでCPUはどこまで重要か|ローカルLLM・画像生成でGPUに予算を回す構成判断

AI用PCのCPUは、OSやモデル読み込み、前処理、GPUへの命令投入を担う土台役です。ローカルLLM・画像生成でCPUが効く場面と、GPU・VRAMへ予算を優先すべき構成判断を解説します。
ローカルAI環境

ローカルLLM常駐中にWhisperで文字起こしを回すと何が詰まるか|VRAMは足りてもGPU計算の取り合いで遅くなる

ローカルLLMを常駐させたままWhisperで文字起こしを同時に回すと、VRAMは足りてもGPU計算の取り合いで両方が遅くなる仕組みを、RTX 5080の単体実測とGPUの時分割から整理。画像生成との詰まり方の違い、KVキャッシュ、turboとint8、GPU分離、確認の手順まで解説する。
GPU・グラフィックボード

ローカルLLMを2枚のGPUのVRAMプールで動かす|OCuLink接続の帯域ボトルネックを見極める

1枚に載らないローカルLLMを2枚のGPUで動かすとき、OCuLink接続では分割方式で速度が変わる。RTX 5080+5060 Ti(OCuLink)の実測では、単一生成でテンソル並列がレイヤー分割より速い場面があり、プロンプト処理では逆に遅かった。実機ベンチをもとに分割方式の選び方を解説する。