この記事の要点
SDXL の画像生成と、新しい ComfyUI (画像や動画を作るソフト) での4ステップの動画生成は、12GB で動く。14B 級までの LLM (文章を作る AI) は、5本中4本が 12GB に全部載り、残る1本は一部があふれる。動画生成で測ったモデルは MiniMax H3 だけ。
Flux.1 Dev の重い画像生成で、最後まで生成できると確かめたのは、VRAM (GPU に載っているメモリ) が 16GB の RTX 5080 だけだ。
26B〜35B 級の LLM は、測った範囲では 12GB でも 16GB でもあふれる。16GB のカード2枚を合わせた構成なら、測った 27B〜35B 級の5本は全部載る。1枚に収まる 14B 級までの LLM は、Ollama (LLM を動かすソフト) の既定では2枚にしても片方のカードにしか載らない。SDXL は、ComfyUI に標準で入っている、計算を2枚で分け合う機能 (MultiGPU CFG Split) でも2枚の VRAM は合わさらない。種類の違う2枚で測ると、RTX 5080 1枚より遅くなる。
Flux.1 Dev とは別のモデルの FLUX.3 Image Klein (蒸留モデル・int8) は、16GB のカードで使える VRAM を 8GB 相当に抑えた模擬でも、最後まで生成できる。
用途別に見るVRAMの目安
まず作りたいもの (画像・動画・文章) を決めて、下の表でその行を見る。測った範囲では、SDXL の画像生成と、新しい ComfyUI で4ステップにした動画は 12GB で動き、14B 級までの LLM も多くが 12GB に全部載る。
GPU (グラフィックボード。グラボとも呼ぶ) の VRAM の容量は、どのモデルが載るかを決める。速さは、同じ容量でもカードによって違う。対象は NVIDIA GeForce RTX のカードで、AMD・Intel・Mac の GPU は扱わない。
どの容量で、どの用途が動いたか。判定は、画像と動画は最後まで生成できたか、LLM はモデルが全部 VRAM に載ったかで見ている。「あふれた」は、モデルの一部をメインメモリ (パソコン本体のメモリ) に置いた状態で、この記事の測定ではどれも止まらずに動いた。同じモデルなら、VRAM に載った割合が低いほど遅い傾向だった。「模擬」「仕組み」「見込み」と書いていない結果は実機で測ったもので、「模擬」は大きいカードで使える VRAM を抑えて試した結果、「仕組み」は動かさずに判断した結果。「見込み」は測っていないが、ほかの容量で動いたかどうかなどから判断したもの。32GB の列は 16GB のカード2枚を合わせた構成で、32GB を1枚で持つカードは測っていない。
| 用途 | 8GB | 12GB | 16GB | 32GB (16GB×2枚) |
|---|---|---|---|---|
| SDXL の画像生成 | 動く見込み | 動いた | 動いた | 動いた (VRAM は合わさらない) |
| Flux.1 Dev (FP8) の重い画像生成 | 動く見込み (遅い。メインメモリ次第) | 動く見込み (遅い。メインメモリ次第) | 動いた (RTX 5080) | CFG Split では2枚目は使われない (仕組み) |
| FLUX.3 Image Klein の蒸留モデル (int8) | 動いた (模擬) | 動く見込み | 動いた | CFG Split では2枚目は使われない (仕組み) |
| 動画生成 (MiniMax H3) | 未測定 (判断できる材料が無い) | 動いた (4ステップ) | 動いた | CFG Split では2枚目は使われない (仕組み) |
| 14B 級までの LLM (5モデル) | 14B 級はあふれる見込み | 4モデルは全部載った・1モデルはわずかにあふれた (載った割合 95%) | 全部載った | 全部載った (片方のカードだけに載る) |
| 22B 級の LLM (codestral:22b) | あふれる見込み | あふれた (載った割合 68%) | わずかにあふれた (載った割合 95%) | 全部載った (2枚に分けて載る) |
| 26B〜35B 級の LLM | あふれる見込み | あふれた | あふれた | 全部載った (27B〜35B 級の5モデル) |
画像と動画の「動いた」は、最後まで生成できたことを指す。
用途ごとに読むと、SDXL と動画生成 (MiniMax H3) は 12GB で動く。12GB の動画は、新しい ComfyUI 0.37.1 で4ステップに減らした作りで、メインメモリ96GB の測定機での結果だ (16GB は56フレーム・20ステップ)。14B 級までの LLM は、5モデル中4モデルが 12GB に全部載り、あふれるのは phi4:14b だけ。Flux.1 Dev (FP8) は、動くと確かめたのが 16GB の RTX 5080 だけだ。26B〜35B 級の LLM は、測った範囲では 12GB でも 16GB でもあふれるが止まらずに動き、速さはモデルによって大きく違う。16GB のカード2枚を合わせた構成なら、測った 27B〜35B 級の5モデルは全部載る。8GB はこれから買う容量としては、この記事で測った範囲の外にある。すでに持っているなら、模擬で最後まで生成できた FLUX.3 Image Klein の蒸留モデル (int8) から試せる。
32GB の列 (16GB のカード2枚) は、LLM と画像・動画で結果の意味が違う。LLM は Ollama 0.40.6 の既定の載せ方で、14B 級までの5モデルは片方のカードにしか載らず、codestral:22b は2枚に分けて全部載る。画像と動画は、ComfyUI に標準で入っている、生成の計算を2枚の GPU で分け合う機能 (MultiGPU CFG Split) を使った場合を指す。この機能は2枚目にもモデルの複製を置くので、VRAM は合わさらない。SDXL は動くが、RTX 5080 1枚より遅い (公式が対象外としている、種類の違う2枚での参考値)。Flux.1 Dev・FLUX.3 Image Klein・MiniMax H3 は、この記事の測定の設定 (cfg 1、または BasicGuider) では計算が1つしかなく、2枚目の GPU に仕事が回らない。測った条件と数値は「16GB のカード2枚を合わせた構成」の節にまとめた。
12GB・16GB で、もっと大きい LLM を使いたいとき
表のとおり、26B〜35B 級の LLM は 12GB でも 16GB でも VRAM からあふれる。もっと大きいモデルを使いたいなら、グラボを買い替える前に、メインメモリを使って動かす専用のソフトを試す手もある。Strata はその1つで、125B (約1,250億パラメータ) の Qwen3.8-Flash-Next を、VRAM 12GB 以上のグラボ1枚で動かせる。
メインメモリ 96GB の PC で Strata を動かすと、12GB の RTX 4070 SUPER でも 16GB の RTX 5060 Ti でも、文章を出す速さは毎秒60トークン前後で、12GB と 16GB でほとんど変わらなかった。
その代わり、メインメモリをたくさん使う。開発元の案内では、メインメモリは、コード向けに小さくした Coder なら 32GB、通常のサイズなら 64GB あれば動く。4〜8ビットの大きいサイズは、計算のたびに一部だけが選ばれて使われる部分 (エキスパート) を全部メインメモリに置くなら、形式によって約72〜136GB 要る。メインメモリに置ききれない分は SSD から読むので、大きく遅くなる。ディスクは通常のサイズで約80GB 空けておく (4〜8ビットはもっと要る)。この使い方で先に確かめるのは、VRAM よりメインメモリの量になる。動かせるモデルは限られ、README に挙がっているのは Qwen3.8-Flash-Next と Qwen3.6-35B-A3B など。測った量子化 (Q2_0) では、答えに中国語が混ざることもあった。
測った条件と詳しい結果はStrataで125BのQwen3.8-Flash-Nextを実測した記事にまとめた。
容量ごとの代表的なカード
NVIDIA の公称仕様で容量ごとに代表的な GPU を挙げると、8GB は RTX 5060、12GB は RTX 5070、16GB は RTX 5060 Ti 16GB・RTX 5070 Ti・RTX 5080、32GB は RTX 5090 になる。このうち測定に使ったのは RTX 5060 Ti 16GB と RTX 5080 で、12GB の測定にはこの一覧に無い前の世代の RTX 4070 SUPER を使った。
容量と一緒に、電源を確かめるときに要る消費電力の目安と推奨電源容量も確認しておく。VRAM はどれも GDDR7 で、消費電力の目安は NVIDIA が Total Graphics Power として載せている値。
| GPU | VRAM | 消費電力の目安 | 推奨電源容量 |
|---|---|---|---|
| RTX 5060 | 8GB | 145W | 550W |
| RTX 5060 Ti | 16GB / 8GB | 180W | 600W |
| RTX 5070 | 12GB | 250W | 650W |
| RTX 5070 Ti | 16GB | 300W | 750W |
| RTX 5080 | 16GB | 360W | 850W |
| RTX 5090 | 32GB | 575W | 1000W |
RTX 5060 Ti には 16GB と 8GB の2種類があり、NVIDIA の仕様では消費電力の目安と推奨電源容量が1つの欄に書かれている。16GB を選ぶなら、製品の表記で 16GB かどうかを確かめる。
画像生成をこれから始めるなら、ComfyUI の入れ方はComfyUIとは？必要スペックからAI画像生成の始め方まで初心者向けに解説が入り口になり、LLM を手元で動かす仕組みからならローカルLLMとは？自分のPCでAIを動かす仕組み・必要スペック・始め方をわかりやすく解説から入れる。
同じVRAMでもカードで速さが違う
容量が足りていれば、速さはカードによって違う。同じ 16GB でも RTX 5060 Ti は RTX 5080 の約2倍の時間がかかり (接続の違いも含む)、12GB の RTX 4070 SUPER は 16GB の RTX 5060 Ti より速い。
同じ設定の SDXL で、画像1枚にかかる時間を3枚のカードで比べた。seed (乱数の種) は回ごとに違うので、参考の比較になる。
| GPU | VRAM | 1枚の生成時間 |
|---|---|---|
| RTX 5080 | 16GB | 5.8秒 |
| RTX 4070 SUPER | 12GB | 8.4秒 |
| RTX 5060 Ti | 16GB | 11.6秒 |
待機時からの VRAM の増え方は、3枚ともほぼ同じ約7.7GiB だった (GiB は容量の単位で、1GiB は約1.07GB)。SDXL では容量が足りていたので、速さは容量では決まらなかった。
接続は、RTX 5080 が本体の PCIe 5.0 x16 で、RTX 5060 Ti と RTX 4070 SUPER は同じ OCuLink (GPU を外付けでつなぐ接続。PCIe 4.0 x4) の枠だった。そのため RTX 5080 と RTX 5060 Ti の差には、接続の違いも含まれうる。RTX 4070 SUPER と RTX 5060 Ti は、同じ接続どうしの比較になる。速さの差の原因 (CUDA コア数・世代・クロック・メモリ帯域・接続) は切り分けていない。メモリは RTX 4070 SUPER が GDDR6X、ほかの2枚は GDDR7。
画像生成に必要なVRAM
SDXL が中心なら 12GB で足りるケースがほとんど。Flux.1 Dev のような重いモデルまで使うなら、動くと確かめられたのは 16GB だ。
測った画像生成のモデルは、SDXL、Flux.1 Dev (FP8)、FLUX.3 Image Klein の3つ。動くかどうかとは別に、使ってよいかも確かめる。Flux.1 Dev は非商用のライセンスで配布されていて、モデルを商用で使うには別の許諾が要る。このモデルで作った画像は、ライセンスの条件の範囲で商用にも使える。FLUX.3 Image Klein のライセンスでは、作った画像を商用で使えるのは、関連会社を含めた年間換算の総収益が500万米ドル未満の利用者に限られる。それ以外の利用者が商用で使う場合は、別の許諾を確かめる。どちらのライセンスも、次のことを条件にしている。まず、コンテンツフィルタを入れて維持するか、公開するかどうかを問わず、配布・表示・送信などの前に、生成物に違法な内容や権利を侵害する内容がないかを確かめること。また、法律が求める場合は、AI で作った、または手を加えたと示すこと。FLUX.3 Image Klein では、これらの条件は、上の収益の条件に当てはまる利用者 (作った画像を商用で使える利用者) 向けの条項に書かれている。導入する前に、公式のライセンスを確かめる。
SDXL と Flux.1 Dev
SDXL は 12GB でも 16GB でも動いた (「SDXL の生成時間 (3枚のカード)」)。
Flux.1 Dev は 16GB の RTX 5080 で動き、生成中の VRAM の総使用量は約15.1GiB だった。これは GPU 全体で使われていた VRAM の合計で、Flux.1 Dev だけが使った量ではない。測ったのは FP8 に量子化したもので、量子化はモデルの数値を少ない桁で持ってサイズを小さくすることを指す。
生成時間は、2回目以降の生成 (warm) と最初の1回 (cold) で分けて記録している。
| GPU | 解像度 | warm の生成時間 | cold の生成時間 | VRAM ピーク |
|---|---|---|---|---|
| RTX 5080 (16GB) | 1280x720 | 20.5秒 | 69.6秒 | 約15.1GiB |
この約15.1GiB は 16GB のカードで測った GPU 全体の値で、必要量の下限ではない。16GB より小さい VRAM で Flux.1 Dev を動かした結果は測っていない。当サイトの測定記事にはこの測定のソフトのバージョンが書かれておらず、参考値として見る (細部は最後の節)。
別の条件 (1024×1024・ComfyUI 0.37.1) で測った画像生成のハード要件ガイドでは 14.8GiB だったが、条件が違うので並べて比べない。
8GB は模擬で試した
8GB の実機は測っていない。RTX 5060 Ti で ComfyUI が使う VRAM を約8GB に抑えた模擬では、FLUX.3 Image Klein の蒸留モデル (int8) が最後まで生成できた。蒸留モデルは少ない手順 (ステップ) で画像を作れるように調整したモデルで、int8 は数値を軽い形式で持たせたもの。
VRAM の抑え方は、ComfyUI に --reserve-vram 8 を付けて、OS やほかのソフトのために 8GiB を空けておく指定による。ComfyUI がモデルを VRAM にどれだけ置くかを決めるときの指定で、GPU が使う量を厳密に止める上限ではない。
| 設定 | GPU | 結果 | VRAM ピーク |
|---|---|---|---|
| 蒸留モデル int8・16ステップ | RTX 5060 Ti | 最後まで生成できた | 約8.0GiB |
nvidia-smi で見たピークの約8.0GiB は、空けた分を除いた残りの近くに張り付いた値で、必要な量ではない。模擬の速さは 8GB の GPU の速さを表さないので、秒数は載せていない。Klein は Flux.1 Dev とは別のモデルで、Flux.1 Dev を 8GB で動かせるかはこの模擬からは分からない。プロンプト拡張 (入力した文を AI が詳しく書き足す機能) は切り、前もってこの機能で書かせた千字を超える英語のシーン説明をそのまま入力した。公式のモデルカードは、短い文をそのまま入れず、プロンプト拡張か別の LLM で詳しいシーン説明にしてから使うよう求めている。公式のワークフローは蒸留モデルでこの機能を初めから使う設定で、その設定のままでは試していない。
SDXL と Flux.1 Dev を測った当サイトの測定記事はComfyUI推奨スペック実測ガイド｜VRAM 8・12・16GBとメモリ・CPUで、Klein の 16GB と 8GB 相当の結果はFLUX.3 Image KleinをVRAM 16GBで動かすに詳しい。
動画生成に必要なVRAM
16GB なら 56フレーム (約2.33秒) を通常の設定 (20ステップ) で作れる。12GB でも、新しい ComfyUI で 864x480・4ステップにした設定なら動き、メインメモリを 20GB 以上使う。
MiniMax H3 (映像と音声を同時に作る動画モデル) は、12GB でも 16GB でも動く。ただし、測った設定が違う。この記事で測った動画モデルは MiniMax H3 だけ。MiniMax H3 は独自のライセンスを付けて配布されている。その付属のライセンスでは、EU・英国・韓国・米国でのモデルの利用が許諾されておらず、作った動画をその地域で使ったり、配ったり、表示したりすることも許諾されていない。これらの地域で使う場合は、別の許諾を確かめる。また、作った動画などを公の場に出すときは機械生成だとはっきり示すことと、MiniMax H3 を使う商用の製品やサービスでは画面に「MiniMax H3」と目立つように表示することが求められ、年間の収益が2,000万米ドルを超える商用の製品やサービスでは、事前に別の書面の許諾を得ることも求められる。使う前に公式のライセンスを確かめる。
16GB では RTX 5080 と RTX 5060 Ti の両方で生成できる
56フレーム (約2.33秒)・20ステップの設定で、RTX 5080 と RTX 5060 Ti の両方が生成でき、RTX 5060 Ti は RTX 5080 の約2倍の時間がかかった。RTX 5080 は本体の PCIe 5.0 x16、RTX 5060 Ti は OCuLink の外付け (PCIe 4.0 x4) で、この約2倍にはつなぎ方の差も入っているかもしれない。測定の多くは1回だけで、seed (乱数の種) も回ごとに違う。そのため、この差はカードの速さの比を決める値ではなく、参考の比較になる。
解像度を2つ変えて、動画1本の生成時間を測った。
| 解像度 | 画素数 | RTX 5080 | RTX 5060 Ti |
|---|---|---|---|
| 864×480 | 0.41MP | 66.4秒 | 132.9秒 |
| 1344×768 | 1.03MP | 200.0秒 | 417.1秒 |
この 16GB の測定では、VRAM を上限近くまで使い、残りはメインメモリに置く制御が働いていた (MiniMax H3をVRAM 16GBで動かす｜ComfyUIでの導入手順とRTX 5080・5060 Ti実測 の記録による)。
RTX 5060 Ti の 1344×768 は、最初の測定の回では VRAM の確保に失敗して止まった。当サイトの測定記事は、ログ上はメモリ不足によるものではないと記録しており、原因は書いていない。417.1秒は、あとの測定の回で1回だけ最後まで生成できたときの値になる。
12GB では新しい ComfyUI と4ステップで動く
RTX 4070 SUPER では、新しい ComfyUI (0.37.1) と4ステップの設定なら、864x480・277フレームの動画まで動いた (ワークフローでの指定は264フレーム)。古い ComfyUI (0.31.1) の構成では、168フレームを指定した設定で最後まで生成できなかった。新しい構成で測ったピーク VRAM は、下の表のどちらのフレーム数でも約10.7GiB だった。古い構成からは ComfyUI・PyTorch・comfy-aimdo のバージョンが変わっていて、どれで結果が変わったかは切り分けていない。4ステップは、ComfyUI の公式の手引きが通常の設定とする20ステップより少ない。この設定でできた映像と音声の出来は評価していない。
フレーム数を延ばすと、時間とメモリの使い方はどう変わるか。
| 条件 | 回数 | 生成時間 | ピークVRAM | メインメモリ |
|---|---|---|---|---|
| 864x480・141フレーム | 2 | 88.1秒 | 約10.7GiB | 23.3GiB |
| 864x480・277フレーム | 1 | 201.4秒 | 約10.7GiB | 26.7GiB |
生成時間は中央値、ピークVRAM は nvidia-smi で見た GPU 全体の使用量の最大値、メインメモリは ComfyUI が使った量のピーク。
「MiniMax H3 の動画生成 (16GB)」と「MiniMax H3 の動画生成 (12GB)」は、ステップ数・ComfyUI のバージョン・フレーム数が違う。そのため秒数を並べて比べない。
メインメモリも使う
「MiniMax H3 の動画生成 (12GB)」の右端の列は、測定機 (メインメモリ96GB) で ComfyUI が使ったメインメモリの量で、フレーム数が増えると増えた。足りなくなる境目は測っていない。使う量は、ソフトのバージョンでも変わる。メインメモリの容量をどう選ぶかは、画像・動画生成で要るメインメモリの量を測った記事で詳しく見られる。
Wan や LTX など、ほかの動画モデルの要件はこの記事には含めていない。動画生成のハード全体は動画生成のハード要件ガイド、MiniMax H3 の導入手順と 16GB での実測はMiniMax H3をVRAM 16GBで動かす｜ComfyUIでの導入手順とRTX 5080・5060 Ti実測、12GB でフレーム数をどこまで延ばせるかはVRAM 12GBの壁はどこにあるか｜context・動画フレーム数・あふれた後の分かれ目を実測で追える。
LLMに必要なVRAM
14B 級までのモデルは、測った範囲では 12GB で多くが全部載り、16GB ならすべて載る。測った 22B 以上のモデルは 16GB でもあふれ、モデルによっては大きく遅くなる。そのときは「12GB・16GB で、もっと大きい LLM を使いたいとき」の方法もある。
LLM (文章を作る AI) は、モデルが VRAM に全部載るかどうかで速さが大きく変わる。測定は Ollama (LLM を手元の PC で動かすソフト) で行い、モデルは Q4_K_M (量子化の形式)、コンテキスト長 (一度に扱える文章の長さの上限) は 8,192 にそろえた。表の codestral:22b は codestral:22b-v0.1-q4_K_M のタグで取得したもの (今の codestral:22b は Q4_0 で、別の量子化になる)。
14B などはモデルの大きさで、14B は約140億パラメータを表す。同じ量子化の形式なら、数字が大きいほどモデルのデータは大きくなる。ただ、動かすときに使う VRAM はモデルの作りやコンテキスト長でも変わり、数字だけでは決まらない。「16GB のカードで LLM が使った VRAM」でも、14.7B の phi4:14b のほうが 14.8B の qwen3:14b より多く使った。速さは、LLM が文章を作るときの単位 (トークン) が毎秒いくつ出るかで表し、「毎秒○トークン」と書く。トークンの区切り方はモデルごとに違う。そのため、別のモデルどうしでは、毎秒のトークン数が同じでも、同じ量の日本語を書けるとは限らない。
16GB で全部載るモデル
16GB の RTX 5060 Ti では、9B 級が 6.5GiB、14B 級が約10GiB で全部載った。22B の codestral は、16GB でも一部があふれた。codestral は、Mistral AI が本番環境での利用を認めないライセンスで配布していて、使えるのはテスト・研究・個人利用・評価に限られる。商業活動の中でモデルや派生物、出力を提供することは、有償か無償かを問わず認められていない。
モデルが大きくなると、使う VRAM と載った割合はどう変わるか。
| モデル (Ollama のタグ) | パラメータ数 | VRAM使用量 | VRAMに載った割合 |
|---|---|---|---|
| qwen3.5:9b | 9.7B | 6.5GiB | 100% |
| phi4:14b | 14.7B | 10.1GiB | 100% |
| qwen3:14b | 14.8B | 9.9GiB | 100% |
| codestral:22b-v0.1-q4_K_M | 22.2B | 13.9GiB | 95% |
パラメータ数は測定時の Ollama の表示、VRAM 使用量は GPU 全体の値。9B 級の使用量だけを見て、8GB のカードに収まるとは決められない。測ったカードは画面出力に使っておらず、測定前の VRAM 使用量はほぼ0だった。画面出力も受け持つ構成では、そのぶん空きが減る。この測定はAI用PCの最低スペックガイドで行ったもので、16GB で動くモデルを広く探すならVRAM 16GBで動かすローカルLLM完全ガイドが先になる。
12GB と 16GB を同じ枠で比べる
同じ外付けの枠に、RTX 4070 SUPER 12GB と RTX 5060 Ti 16GB を差し替えて測った。12GB は RTX 4070 SUPER、16GB は RTX 5060 Ti。速さは1秒あたりに生成したトークン数。
| モデル | 12GB の速さ | 12GB で載った割合 | 16GB の速さ | 16GB で載った割合 |
|---|---|---|---|---|
| gemma3:12b | 48.9 | 100% | 45.5 | 100% |
| gemma4:12b | 47.4 | 100% | 44.4 | 100% |
| qwen3.5:9b | 72.2 | 100% | 64.6 | 100% |
| qwen3:14b | 47.1 | 100% | 43.6 | 100% |
| phi4:14b | 41.8 | 95% | 44.1 | 100% |
| gemma4:26b | 45.7 | 51% | 59.0 | 74% |
| qwen3-coder:30b | 40.9 | 53% | 67.3 | 75% |
| qwen3.5:35b-a3b | 44.7 | 41% | 54.6 | 59% |
| qwen3.6:35b-a3b | 45.9 | 41% | 49.9 | 59% |
14B 級までの5本は、16GB ではどれも全部載り、12GB でも4本が全部載った。その4本は、12GB の RTX 4070 SUPER のほうが約7〜12%速かった (カードの違いも含む)。phi4:14b だけは 12GB で一部があふれ、RTX 5060 Ti のほうがわずかに速かった。このわずかな差は、あふれたかどうかだけでは説明できない。
phi4:14b の 12GB の 95% は、「16GB のカードで LLM が使った VRAM」とは Ollama のバージョンが違う測定の値になる。
26B〜35B 級の4本は、どれも MoE (モデル全体は大きいが一度の計算に使う部分が小さい作り) で、12GB でも 16GB でもあふれた。あふれても動き、同じ機材の比較では 16GB のほうが速かった (12GB で毎秒40.9〜45.9トークン、16GB で毎秒49.9〜67.3トークン)。
Ollama の FAQ は、モデルが GPU とメインメモリの両方に部分的に載る状態があると説明している (ollama ps の Processor 欄で確かめられる)。あふれたモデルがこの状態で動いたことは、表の VRAM に載った割合で確かめた。速さの落ち方はモデルによって違い、MoE のほうが落ち方は小さく見えたが、作りが原因かは切り分けていない。同じ PC で 12GB と 16GB を比べた詳しい結果はRTX 4070 Super vs RTX 5060 Ti 16GB｜VRAM 12GBと16GBで差が出るモデル・出ないモデルを同条件で実測に載っている。
12GB であふれた dense のモデル
dense (MoE でない作り) の4本は、12GB であふれると毎秒3.93〜10.02トークンだった。
dense の4本が 12GB でどれだけ載り、どの速さで動いたか。
| モデル | VRAMに載った割合 | 速さ (トークン/秒) |
|---|---|---|
| codestral:22b-v0.1-q4_K_M | 68% | 10.02 |
| qwen3.5:27b | 54% | 4.93 |
| qwen3:32b | 47% | 4.07 |
| gemma4:31b | 42% | 3.93 |
この記事で測った dense の3本は、全部載っても MoE の2本より遅かった (「16GB 1枚と2枚構成の LLM の比較」)。そのため、この表と MoE の差は、あふれの影響だけを取り出した比較ではない。12GB のカードでどこからあふれるかは、VRAM 12GBの壁はどこにあるかがコンテキスト長まで含めて測っている。
16GB のカード2枚を合わせた構成
26B〜35B 級の LLM は、16GB のカード2枚を合わせた構成では全部載り (27B〜35B 級の5本)、16GB 1枚より速くなった。ただし、MoE の2本は測る前に前のモデルを外しておらず、速さの差は参考の比較になる。
同じモデルを、RTX 5080 の 16GB 1枚と、そこに RTX 5060 Ti を足した2枚構成で動かし、VRAM に載った割合と速さを比べた。表の「大きさ」は、動かしているときに Ollama が報告した値 (/api/ps の size) で、ファイルの大きさとは別。速さは1秒あたりのトークン数。MoE の qwen3-coder:30b は計算に使う部分が 3.3B、qwen3.6:35b-a3b は 3B。
| モデル | 作り | 大きさ | 1枚で載った割合 | 1枚の速さ | 2枚で載った割合 | 2枚の速さ |
|---|---|---|---|---|---|---|
| qwen3.5:27b | dense | 16.3 GiB | 78% | 12.8 | 100% | 30.1 |
| qwen3-coder:30b | MoE | 18.4 GiB | 74% | 72.5 | 100% | 157.8 |
| gemma4:31b | dense | 20.0 GiB | 61% | 7.5 | 100% | 25.7 |
| qwen3:32b | dense | 21.4 GiB | 64% | 7.4 | 100% | 25.9 |
| qwen3.6:35b-a3b | MoE | 21.9 GiB | 58% | 55.5 | 100% | 129.3 |
1枚と2枚では容量だけでなく演算資源も変わるので、速さの伸びを容量だけの効果とは言えない。2枚構成は全部載せたときとの対照として測ったもので、2枚目を買い足す提案ではない。gemma4:26b と qwen3.5:35b-a3b は、2枚構成では測っていない。2枚に載せたときの詳しい結果はVRAM 32GBで何が変わるか｜16GBであふれる27〜35B級をカード2枚で全部載せて実測で見られる。
1枚に収まる 14B 級までの5本と、16GB 1枚でわずかにあふれた codestral:22b も、2026年10月20日に新しい Ollama 0.40.6 で、RTX 5080 1枚と2枚構成で測った。Ollama の FAQ は、1枚の GPU に全部収まるモデルはその1枚に載せると説明している。この測定でも、14B 級までの5本は2枚構成で片方のカードだけに載った。どちらに載せるかは Ollama 任せで、今回は5本とも RTX 5060 Ti だった (起動時の空きは RTX 5060 Ti が 15,172MiB、RTX 5080 が 14,985MiB。こちらが選ばれた仕組みは確かめていない)。Ollama 0.40.6 の既定の載せ方では、1枚に収まるモデルを今回の2枚で動かしても速くはならず、速さを載せた4本は RTX 5060 Ti に載ったので RTX 5080 1枚より遅かった。全部の GPU に分けて載せる設定 (OLLAMA_SCHED_SPREAD) もあるが、試していない。codestral:22b は2枚に分けて全部載り、RTX 5080 1枚より少し速くなった。
| モデル | 1枚で載った割合 | 1枚の速さ | 2枚での載り方 | 2枚の速さ |
|---|---|---|---|---|
| qwen3.5:9b | 100% | 114.69 | RTX 5060 Ti だけ | 67.07 |
| gemma3:12b | 100% | 86.72 | RTX 5060 Ti だけ | 49.23 |
| gemma4:12b | 全部載った | — | RTX 5060 Ti だけ | — |
| phi4:14b | 100% | 81.77 | RTX 5060 Ti だけ | 44.53 |
| qwen3:14b | 100% | 80.25 | RTX 5060 Ti だけ | 43.47 |
| codestral:22b | 93.5% | 34.01 | 2枚に分けて | 38.46 |
速さは1秒あたりのトークン数。gemma4:12b は、この Ollama では補助のモデル (gemma4-assistant) を一緒に読み込み、次のトークンを先に予想して生成を速める仕組み (投機的デコード) が働いていた。ほかのモデルや以前の測定の速さとは比べられないので、表には速さを載せていない (速さを載せたのは残りの4本)。全部載ったかどうかは、Ollama のログに出た GPU に載せた層の数と、nvidia-smi の VRAM 使用量で確かめた。
画像生成では、ComfyUI 0.37.1 に標準で入っている MultiGPU CFG Split を SDXL で試した。この機能は2枚目の GPU にもモデルの複製を作り、プロンプトに沿った計算とネガティブプロンプト側の計算を GPU ごとに受け持たせる。2枚の VRAM がひとつになるわけではないので、拡散モデル1つが1枚に載らないとき、この機能で載るようにはならない。SDXL (cfg=7.0) では、2枚目の RTX 5060 Ti の VRAM 使用量 (GPU 全体) が約2.9GiB になり、生成時間は、同じ日に測った RTX 5080 1枚の5.67秒に対して、2枚では9.48秒と遅くなった (どちらも2回目以降の3回の中央値で、2枚の3回は8.0〜9.71秒)。「SDXL の生成時間 (3枚のカード)」は9月27日の測定で、RTX 5080 が5.8秒、RTX 5060 Ti が11.6秒。2枚の9.48秒は RTX 5060 Ti 1枚よりは短いが、日の違う参考の比較になる。遅くなった原因は切り分けていない。cfg を 1 にすると、ネガティブプロンプト側の計算を省くので、2枚目の GPU は計算に使われなかった。拡散モデル・テキストエンコーダ・VAE を置く GPU を選ぶノード (Select Model/CLIP/VAE Device) も ComfyUI の標準にあるが、試していない。ComfyUI の公式ドキュメントは、MultiGPU CFG Split を同じ種類の GPU 2枚 (例: RTX 5090 を2枚) で使うものとしていて、種類の違う GPU の組み合わせは対象外としている。今回の RTX 5080 と RTX 5060 Ti は種類の違う組み合わせなので、SDXL の結果は参考値になる。
この記事の Flux.1 Dev と FLUX.3 Image Klein の測定は cfg 1 で、MiniMax H3 のワークフローはプロンプトに沿った側だけを計算する作り (BasicGuider) になっている。どれも分け合う計算が1つしかないので、この機能では2枚目の GPU は使われない。この3つは2枚で動かしておらず、ComfyUI のプログラムの作りから判断した (「用途別の VRAM の目安」の表の「仕組み」)。cfg を上げてネガティブプロンプト側も計算する作りなら、SDXL と同じく2枚目にも計算が回りうる (その場合も VRAM は合わさらない)。FLUX.3 Image Klein の蒸留していない base は、配布元が CFG 3.5 で使うよう書いている。
グラボを選ぶ手順と電源の確認
容量を決めてからカードを選び、最後に電源を確かめる。
- 冒頭の表で、使いたい用途の行を見る。画像・動画は生成できる容量、LLM はモデルが全部載る容量が候補になる。32GB の列は 16GB のカード2枚での結果で、32GB のカード1枚では測っていない。LLM はあふれても動くが、あふれたときの速さはモデルで大きく違う。
- その容量を満たすカードの中から、速さと予算で選ぶ。カードの長さや厚みがケースに収まるかも、商品ページで確かめる。容量が大きいカードのほうが遅いこともある (「SDXL の生成時間 (3枚のカード)」)。
- 電源の容量を確かめる。
容量が決まったら、GPU の選定ツールで VRAM の容量と電源から候補を絞り込める。
電源の確認
NVIDIA が各 GPU に示す推奨電源容量 (「NVIDIA の公称仕様」の値) は、NVIDIA が基準にした PC での最小の目安で、構成によって変わる。今の電源ユニットの容量 (W) をラベルや仕様で確かめ、推奨電源容量以上かを見る。足りなければ、電源も予算に入れる。W 数のほかに、カードの補助電源の端子に合うケーブルが電源にあるかも確かめる。NVIDIA の仕様では、使う PCIe 8ピンのケーブルは、RTX 5060・RTX 5060 Ti が1本、RTX 5070・RTX 5070 Ti が2本、RTX 5080 が3本、RTX 5090 が4本。代わりに、カードが指定する対応電力の PCIe Gen 5 の電源ケーブル1本でつなぐこともできる。RTX 5070・RTX 5070 Ti・RTX 5080・RTX 5090 は、この8ピンのケーブルを、付属の変換アダプタを使ってつなぐ。
ただし RTX 5090 は、NVIDIA の資料の中で書き方が違う。仕様表と付属のユーザーガイドは、8ピン4本か 600W 以上の Gen 5 ケーブル1本で、電源は 1000W 以上としている。製品ページにある Founders Edition 向けの取り付けの案内には、8ピンは3本でも4本でもよく Gen 5 ケーブルは 450W 以上とあり、電源の確認欄には「850W Minimum」という見出しもある。「NVIDIA の公称仕様」には仕様表の値を載せた。買うカードのメーカーの仕様に従う。
NVIDIA は PCIe CEM 5.1 に準拠した電源を推奨しているので、電源の仕様欄で準拠の記載を確かめる。店頭で買うカードの多くはメーカー製で、その仕様は NVIDIA の値と異なることがある。買うカードのメーカーの表記も確かめておく。
16GB の RTX 5060 Ti・RTX 5070 Ti・RTX 5080 の違いはVRAM 16GB GPU を選ぶなら｜AI 用途別に比較、電源の選び方はAI用PCの電源（PSU）選び方、パソコン全体の選び方はAI用PC 購入ガイドで比べられる。
GPU が決まったら、次はメインメモリと SSD の容量と電源を決める。用途ごとの目安は生成AI向けパソコンの選び方にまとめた。
よくある質問
8GB のグラボで画像生成はできるか
すでに 8GB のカードを持っているなら、模擬で最後まで生成できた FLUX.3 Image Klein の蒸留モデル (int8) から、プロンプト拡張を切って試せる。そのときも短い文をそのまま入れず、別の LLM などで詳しいシーン説明にしてから入力する (公式のモデルカードの指定)。これから買う場合、この記事の測定で結果が出ているのは 12GB からになる。Flux.1 Dev は Klein とは別のモデルで、8GB での動作は測っていない。
12GB と 16GB で迷ったらどちらか
使う用途で決まる。SDXL と、ComfyUI 0.37.1 の4ステップの設定で測った MiniMax H3 の動画生成 (メインメモリ96GB の測定機) は 12GB で動く。14B 級までの LLM は、5本中4本が 12GB に全部載り、phi4:14b は一部があふれる。Flux.1 Dev で最後まで生成できると確かめたのは 16GB の RTX 5080 だけで、16GB 未満は測っておらず、表の Flux.1 Dev の 12GB は、メインメモリに逃がせば遅くなっても動くという見込み。26B〜35B 級の LLM は、測った範囲では 16GB 1枚でもあふれる。16GB のカード2枚を合わせた構成なら、測った5本は全部載る。容量が決まれば、GPU の選定ツールで候補を絞れる。
グラボを2枚にすれば VRAM は増えるか
LLM の推論では、16GB のカード2枚を合わせた構成なら、16GB 1枚であふれた 27B〜35B 級の5本が全部載る。Ollama がモデルを2枚に分けて載せた結果で、2枚の VRAM がひとつのメモリになるわけではない。測定機は2枚目のカードを別の電源 (750W) で動かしていて、「NVIDIA の公称仕様」の推奨電源容量は2枚を挿したときの目安ではない。1枚に収まる 14B 級までの LLM は、Ollama の既定では2枚にしても片方のカードにしか載らない。画像生成では、ComfyUI に標準で入っている MultiGPU CFG Split を SDXL で試したが、2枚目にもモデルの複製を載せる作りなので VRAM は合わさらない。生成時間も RTX 5080 1枚より遅くなる (公式が対象外としている種類の違う2枚での参考値)。モデルを置く GPU を選ぶ標準のノードは試していない。動画生成を2枚で動かした結果と、32GB を1枚で持つカードの結果は無い。
電源は何 W 必要か
NVIDIA の推奨電源容量が最小の目安になり、実際に要る量は PC の構成で変わる。手元の電源ユニットの容量はラベルや仕様に書かれているので、それと各 GPU の値 (「NVIDIA の公称仕様」) を見比べ、補助電源のケーブルが足りるかも確かめる。
測定の条件と注意点
この記事の実測の数値は、当サイトの各測定記事の測定機・設定で、2026年6月11日から10月20日に測ったもの (NVIDIA の公称仕様の表は除く)。測定機は Intel Core i7-14700F・メインメモリ96GB・Windows の1台。ComfyUI・Ollama・PyTorch には、2026年10月19日の時点で、測定に使ったものより新しいバージョンが出ている。これらのソフトで測った数値は、新しいバージョンで測り直したものではない。
表ごとの条件
条件の全部は、各節でリンクした当サイトの測定記事に載せている。ここには、結果の読み方に関わるものだけを挙げる。
- 「用途別の VRAM の目安」: 新しく測ったものではなく、この記事のほかの表と測定記事の結果を容量ごとにまとめた。8GB と 12GB の「見込み」は測っておらず、ほかの容量の結果、モデルが使った VRAM の量、ComfyUI の README の説明 (VRAM に収まらない分をメインメモリへ逃がして動かす) から判断した。32GB の列のうち、Flux.1 Dev・FLUX.3 Image Klein・MiniMax H3 は動かさずに判断した。codestral:22b の 16GB の 95% は RTX 5060 Ti (Ollama 0.34.4) の値で、2枚構成の表の 93.5% は RTX 5080 (Ollama 0.40.6) の別の測定。
- 「SDXL の生成時間 (3枚のカード)」: 1280x720・30ステップ・cfg 7.0、拡散モデルとテキストエンコーダは FP8 で保持。2026年9月27〜28日に ComfyUI 0.37.1 で、各カード5回測り、初回を除く4回の中央値をとった。seed は回ごとに変わっていたので、同じ画像を作って比べたものではない。
- 「Flux.1 Dev (FP8) の測定」: 2026年6月11日、1280x720・20ステップ。cold 1回と warm 2回で、表の warm は2回の平均。測定記事の「約15.4GB」は、MiB の値 (15,424) を1000で割って GB と書いたもので、GiB に直すと約15.1GiB。ソフトのバージョンが記録に残っていないので参考値。
- 「8GB 相当の模擬 (FLUX.3 Image Klein)」: 2026年10月16日、1024×1024・16ステップ、蒸留モデルとテキストエンコーダを int8、ComfyUI 0.41.0。4回とも最後まで生成できた。
- LLM の表: どれも Ollama で、設定はコンテキスト長 8,192・思考モードなし・seed 42・生成の上限512トークン、temperature などはモデルの既定値のままで、3回の中央値 (0.40.6 の測定だけ、ばらつきが大きかったモデルは5回)。Ollama 0.40.6 の測定では、モデルを替えるたびに前のモデルを VRAM から外してから測った。Ollama のバージョンと測った日は、「12GB と 16GB の LLM の比較」が 0.32.3 (2026年8月17日〜9月9日)、「12GB であふれた dense の LLM」が 0.32.3 (2026年9月9日)、「16GB 1枚と2枚構成の LLM の比較」が 0.32.3 (2026年8月17日〜9月8日)、「16GB のカードで LLM が使った VRAM」が 0.34.4 (2026年9月27〜28日)、「1枚に収まる LLM と codestral:22b の2枚構成」が 0.40.6 (2026年10月20日)。
- 「12GB と 16GB の LLM の比較」「12GB であふれた dense の LLM」と、「16GB 1枚と2枚構成の LLM の比較」の MoE の2モデルは、モデルを替えるときに前のモデルを VRAM から外していないので、参考の比較になる。
- Ollama のモデルは、同じタグ名のまま中身が更新されることがある。qwen3.6:35b-a3b は、今取得すると測定時のものとは違う。
- 「MiniMax H3 の動画生成 (16GB)」: 2026年8月9日、ComfyUI 0.31.1、56フレーム・20ステップ、拡散モデルは FP8、テキストエンコーダは NVFP4 (12GB も同じ)。RTX 5080 の 864×480 は5回の中央値で、ほかは1回の値。
- 「MiniMax H3 の動画生成 (12GB)」: 2026年9月28日、ComfyUI 0.37.1、4ステップ。フレーム数は保存した動画に入っていた実際の数で、指定した数より少し多くなる (136→141、264→277)。
- SDXL の2枚構成: 2026年10月20日、ComfyUI 0.37.1 で、「SDXL の生成時間 (3枚のカード)」と同じ設定に MultiGPU CFG Split を足して測った。
- Strata: 2026年10月3日、Strata 0.1.31 と 0.1.35、量子化 Q2_0。RTX 4070 SUPER と RTX 5060 Ti は同じ OCuLink の枠につなぎ、入力の長さ 1K〜32K で、生成の速さはそれぞれ3回の中央値。2026年10月21日の時点で、Strata は 0.2.2 まで出ていて、新しいバージョンでは速さが変わりうる。
結果を読むときの注意
- 接続: RTX 5080 は本体の PCIe 5.0 x16、RTX 5060 Ti は OCuLink の外付け (PCIe 4.0 x4) に常設し、RTX 4070 SUPER は測定のときに同じ OCuLink の枠へ差し替えて使う。接続の違いが入るのは RTX 5080 と RTX 5060 Ti の比較 (SDXL と動画生成の 16GB) と、RTX 5080 に外付けの RTX 5060 Ti を足した2枚構成で、その影響は切り分けていない。RTX 4070 SUPER と RTX 5060 Ti の間に接続の差は無い。12GB の動画生成、8GB 相当の模擬、Strata の 12GB と 16GB の速さも外付けの接続での値で、パソコン内部に挿した場合と同じとは限らない。
- 8GB の結果は ComfyUI の使える VRAM を抑えた模擬だけで、8GB のカードで測った値は無い。
- 32GB は 16GB のカード2枚を合わせた構成で、1枚と2枚では容量だけでなく演算資源・帯域・カード間の分割も変わる。32GB の1枚のカードは測っていない。
- RTX 5060・RTX 5070・RTX 5070 Ti・RTX 5090 は測っておらず、仕様は NVIDIA の公称値。
- LLM の速さは答えを書いている間の速さで、読み込みや最初の文字が出るまでの時間を含まない。コンテキスト長を延ばすと VRAM を余計に使うので、同じモデルが載るとは限らない。当サイトの測定記事では、RTX 4070 SUPER で qwen3:14b のコンテキスト長を 40,960 にすると、VRAM に載った割合が 63% に下がった。
- 動画生成の 16GB と 12GB の表は、条件が違う。RTX 5060 Ti の 1344×768 は、最初の測定の回では VRAM の確保で止まっている。
- Flux.1 Dev の値は参考値で、16GB より小さい VRAM では動かしていない。
- 結果はメインメモリ96GB の測定機でのもので、ほかの容量で同じになるかは測っていない。
測定機の構成と各カードのつなぎ方は検証環境で確かめられ、ほかの実測はAIハードウェア実測データベースから探せる。
参考資料
- NVIDIA GeForce RTX 5060 Family 仕様
- NVIDIA GeForce RTX 5070 Family 仕様
- NVIDIA GeForce RTX 5080 仕様
- NVIDIA GeForce RTX 5090 仕様
- NVIDIA GeForce RTX 5090 ユーザーガイド
- Ollama FAQ
- MiniMax H3 Community License
- ComfyUI MiniMax H3 ガイド
- ComfyUI MultiGPU のノードのドキュメント
- FLUX.3 Image Klein モデルカード (ComfyUI 用)
- Stable Diffusion XL (SDXL) base 1.0 モデルカード
- CreativeML Open RAIL++-M License (SDXL)
- FLUX.1 [dev] Non-Commercial License
- FLUX Kommunity License (FLUX.3 Image Klein)
- Mistral AI Non-Production License (codestral)
