AI用途の2枚目GPUとは、速度でなくVRAM容量と同時実行を増やす手段である。
2枚目のGPUを足しても、1つのモデルの生成速度はほとんど上がりません。むしろ小さいモデルでは落ちる場合すらあります。それでも2枚化に意味があるのは、単体では載らない大きいモデルが動くようになり、LLM推論と画像生成のように別々の処理を同時に回せるようになるからです。この記事では、RTX 5080にRTX 5060 TiをOCuLink外付けで足した実機構成で、その「速くはならないが載る・同時にこなせる」という2枚目の効果を、当サイトの検証環境の数値で確かめていきます。基礎知識から接続構成、推論エンジンごとの帯域の効き方、そして実測データまで、AI用途でGPUを2枚にすべきか迷う読者が、用途に応じて判断できるところまで一本で扱います。
- 2枚目GPUの主効果は「1タスクの高速化」ではなく「VRAM容量を足す」「別タスクを同時実行する」の2つ
- OCuLink(PCIe 4.0 x4)の狭い帯域でも、llama.cppやOllamaのレイヤー分割推論なら実用に足る
- テンソル並列(vLLM)や学習はGPU間の通信量が桁違いに多く、帯域が効くため外付け2枚とは別扱い
- AI用途でGPU2枚は「必要」なのか — 結論から
- 2枚化の効果を3つに分ける(載る・同時実行・速くする)
- OCuLink外付け(DEG1)で2枚目をつなぐ構成
- レイヤー分割推論(llama.cpp/Ollama)は帯域に鈍感
- テンソル並列(vLLM)と学習は別物 — 帯域が効く領域
- 実測①|単体 vs 2枚のトークン生成速度
- VRAMに「載る」ことの効果を実測で見る
- 同時実行スループット — 2つのタスクを並行で回す
- 2枚目でボトルネックはCPU側へ移る
- VRAM容量と帯域がローカルAIの律速という業界文脈
- エンタープライズの多GPUワークステーションとの対比
- 2枚目を足すべき人・不要な人
- まとめ
- よくある質問
- 参考資料
AI用途でGPU2枚は「必要」なのか — 結論から
「必要かどうか」は用途で割れます。ChatGPTやClaudeをブラウザやAPIで使うだけなら、そもそも高性能なGPUは要りません。ローカルで8Bや14Bクラスのモデルを1つ動かす程度なら、VRAM 16GBの単体GPUで足ります。ここに2枚目を足しても、体感が大きく変わることは少ないでしょう。
一方で、単体16GBには収まらない大きめのモデルを動かしたい、あるいはLLMの推論を回しながら別のGPUで画像生成も並行させたい、という段階に入ると話が変わります。ここで2枚目がはじめて効いてきます。効き方は「速くなる」ではなく「載る」「同時に回せる」という方向です。
産業全体のトレンドも、AI性能を伸ばす方向はGPUとVRAMの積み増しに向かっています。HP Z8 Fury G6iのようなプロ向けAIワークステーションは、1基のXeonに最大4枚のNVIDIA RTX PRO 6000 Blackwell Max-Qを組み合わせ、合計384GBという桁違いのVRAMに到達します。数百GB級のVRAMを1筐体に詰め込むのは、大きなモデルを丸ごと載せ、複数の処理を同時にさばくため。加えて、テンソル並列やパイプライン並列、学習、推論サーバーの多重化といった目的も企業側にはあります。個人がこの規模を再現するのは非現実的ですが、容量と同時実行のためにGPUを足すという一点は、個人の2枚化とも重なります。
単体16GBで足りる用途/2枚目が効く用途の線引き
単体16GBで足りるのは、次のような使い方です。8B前後のモデルでチャットやコード補完を回す。SDXLやそれに近い画像生成を1枚ずつ生成する。API経由のクラウドLLMを使い、ローカルGPUは補助的にしか使わない。こうした用途では、GPUのVRAMが枯渇せず処理が1つで完結するため、2枚目の出番がありません。
2枚目が効いてくるのは、VRAMが足りなくなった瞬間からです。量子化しても16GBに収まらない大型モデルを動かしたい。長い文脈を扱ってKVキャッシュ(会話履歴の途中計算をVRAMに保持する領域)が膨らみ、あふれてしまう。あるいはLLMサーバーを常駐させたまま、別途ComfyUIで画像生成も走らせたい。片方のGPUが手一杯のとき、もう1枚あれば処理を逃がせます。ここが分岐点です。用途がどちら側にあるかを見極めれば、2枚目を買うべきかの判断はかなりはっきりします。
2枚化の効果を3つに分ける(載る・同時実行・速くする)
2枚目の話が噛み合わないのは、「速くなる」「容量が増える」「同時にできる」がひとまとめに語られるからです。この3つを分けて考えると、2枚化の実像がくっきりします。
1つ目は「載る」。VRAMは各GPUに物理的に分かれていますが、レイヤー分割という方式を使えば、モデルの前半の層を1枚目に、後半の層を2枚目に置いて、単体では収まらないサイズのモデルを動かせます。RTX 5080(16GB)とRTX 5060 Ti(16GB)を組み合わせれば、レイヤー分割で層を各GPUに振り分けることで、合わせて最大32GB相当を「配置領域」として使える計算です。ここで注意したいのが、これは各GPU個別に16GBが2枚あるという意味で、1枚で32GBを持つGPUとは別物だという点。モデルは層ごとに分かれて各GPUに載り、GPUをまたぐ「プール」として振る舞います。
2つ目は「同時実行」。2枚あれば、1枚目でLLM推論を回しながら、2枚目で画像生成を走らせる、といった別々のワークロードを並行してさばけます。合計のスループット(単位時間あたりの処理量)を稼ぐ使い方で、これは1枚ではできません。
3つ目が「速くする」。ここが誤解されやすいところです。1つのモデルの推論を2枚に分けても、生成速度は素直に2倍になりません。理由は次のH3で説明しますが、レイヤー分割では処理がバケツリレーのように進むため、片方が計算している間、もう片方は待っている時間が生まれます。速度を求めて2枚目を足すのは、方向がずれています。
なぜ「2枚=2倍速」にならないのか(分割方式で挙動が変わる)
GPUを2枚使う分け方には、大きく「レイヤー分割」と「テンソル並列」の2種類があります。挙動がまったく違うため、どちらを使うかで2枚目の意味も別物です。
レイヤー分割は、モデルの層をグループに分けて各GPUに配置します。トークンを1つ生成するとき、データは1枚目の層を通ってから2枚目の層へ渡り、そこを通り終えて結果が出ます。パイプライン(流れ作業)のように直列で処理が進むため、2枚目が計算しているとき1枚目は次の入力を待っている、という構図になります。両方のGPUが同時にフル稼働するわけではないので、速度は足し算になりません。単体で収まるモデルなら、むしろ層をまたぐぶんのオーバーヘッドで少し遅くなることもあります。
テンソル並列は、1つの層の計算そのものを2枚で分担します。理屈上は並列に計算できて速くなりますが、層ごとにGPU同士が計算結果をつき合わせる通信(all-reduce)が発生し、その通信量が膨大です。これを支えるには非常に太いGPU間接続が要ります。データセンター向けのNVLink級(900GB/s前後)を前提とした方式で、後述するようにOCuLink外付けの狭い帯域とは相性が良くありません。
つまり「2枚で2倍速」を実現するにはテンソル並列が必要で、それには外付け2枚では届かない帯域が要る。だからOCuLink構成で個人が2枚化する場合、狙うのは速度ではなく容量と同時実行になる、というのがこの記事の骨格です。
OCuLink外付け(DEG1)で2枚目をつなぐ構成
2枚目を内蔵スロットに挿せない場合の選択肢が、OCuLinkによる外付けです。OCuLinkはPCIe 4.0 x4の信号を外部に引き出す規格で、帯域は64Gbps、実効でおよそ8GB/sを提供します。マザーボード上のM.2スロットやOCuLinkポートから信号を取り、外付けのGPUドックへつなぐ形です。
当サイトの検証環境では、Minisforum DEG1という外付けGPUドックを使っています。DEG1はOCuLink 4i(PCIe 4.0 x4)のアップリンクとPCIe x16スロットを備え、GPUの電源はATXまたはSFX電源を別途つなぐ構成です。実売はおよそ109〜139ドルで、比較的安価に2枚目の置き場所を用意できます。検証機の電源は、メイン850WとOCuLink側専用750Wの2系統を独立させています。GPU負荷時に電力が足りないとPCが落ちるため、外付け側にも余裕のある電源を割り当てるのが安全策です。
接続後は、2枚目が正しく認識されているかを確認します。Windows・Linuxとも、まずはnvidia-smiでGPUが2基見えているかをチェックするのが基本です。
# GPUが2基認識されているか確認
nvidia-smi --query-gpu=index,name,memory.total --format=csv
# 出力例(2基が見えていればOK)
# index, name, memory.total
# 0, NVIDIA GeForce RTX 5080, 16384 MiB
# 1, NVIDIA GeForce RTX 5060 Ti, 16384 MiB
Ollamaで2枚に載っているかは、モデルを起動したあとに稼働状態を見ると分かります。
# Ollamaが認識しているGPUと、モデルのVRAM配置を確認
ollama ps
# size_vram が両GPUに分散していればレイヤー分割で載っている
OCuLinkはThunderbolt経由の外付けと比べると中間コントローラが少なく、一般にプロトコルのオーバーヘッドを抑えやすい点が利点です。準ダイレクトなPCIe接続として扱えます。ただし帯域そのものは内蔵のPCIe x16より狭い。この「狭さ」が何にとって問題になり、何にとって問題にならないのかを次章で切り分けます。
OCuLink x4の帯域が問題になる場面・ならない場面
帯域8GB/sという数字だけを見ると心もとなく映りますが、効くかどうかは「GPU間でどれだけデータをやり取りするか」で決まります。
問題になりにくいのは、モデルのロードとレイヤー分割推論です。モデルをVRAMに読み込むときは一度だけ大きなデータが流れますが、これは起動時の一過性のコスト。推論中に層をまたいで転送されるのは、各トークンの中間データ(活性値)だけで、モデルの重み全体を毎回やり取りするわけではありません。転送量は活性値のぶんに限られる(その大きさはモデルやバッチ、文脈長で変わります)ため、8GB/sの帯域でも詰まりにくいのです。
問題になりやすいのは、テンソル並列と学習です。テンソル並列は層ごとに大量の通信が走り、学習では勾配(モデルを更新するための微分値)を頻繁にやり取りします。どちらもGPU間の通信量が桁違いに多く、x4の帯域では通信待ちがボトルネックになりかねません。同じ2枚構成でも、レイヤー分割推論なら帯域の狭さはほぼ表面化せず、テンソル並列や学習なら表面化する。用途によって帯域の効き方が正反対になるのがOCuLink外付けの勘所です。
レイヤー分割推論(llama.cpp/Ollama)は帯域に鈍感
ローカルでLLMを動かす人の多くが使うllama.cppやOllamaは、既定の多GPUモードがレイヤー分割です。これがOCuLink外付けと相性が良い理由を、もう少し掘り下げます。
レイヤー分割では、モデルの各層をGPUに順番に割り当てます。たとえば前半の層をRTX 5080に、後半の層をRTX 5060 Tiに置く。トークン生成のとき、データは5080側の層を通過し、その出力だけがOCuLink経由で5060 Ti側へ渡り、残りの層を通って結果になります。ここで転送されるのは層の境界の活性値のみで、モデルの重み(パラメータ本体)はGPU間を移動しません。重みは最初に各GPUのVRAMへ配置されたまま動かないので、推論中の転送量は活性値のぶんだけに抑えられます。
この転送量の小ささが、帯域の狭さを吸収します。llama.cppの多GPUに関する公式ドキュメントも、レイヤー分割ではGPU間通信が小さく、PCIe接続とNVLinkのような高速接続との実測差はわずかだと説明しています。
Split the model across your GPUs by layers. This is the default. The amount of data transferred between GPUs is small, so a fast interconnect between GPUs is not required.
llama.cpp 公式ドキュメント「Multi-GPU support」より(要旨・拙訳)
具体的な数字でも、2枚のRTX 3090をOllamaで動かした事例では、PCIe接続とNVLinkの速度差はおおむね1〜3%程度に留まると報告されています。GPU間を太いケーブルで直結しても、少なくともこの構成のレイヤー分割推論ではほとんど変わらなかったということ。だからこそ、内蔵x16より狭いOCuLink x4でも「実用に足る」と言えます。
レイヤー分割で「単体では載らないモデル」が動く仕組み
レイヤー分割のいちばんの恩恵は、速度ではなく容量です。単体16GBには重みが収まらないモデルでも、層を2枚に分けて配置すれば、各GPUの16GBを合わせて置き場所を作れます。単純加算で32GB相当まで、モデルと文脈を載せられる計算です。
ここで起きるのは、CPUオフロードの回避です。VRAMに収まりきらないモデルを単体GPUで無理に動かすと、あふれた部分(モデルの一部の層やKVキャッシュ)はシステムRAM(CPU側のメモリ)へ逃がされ、その計算をCPUが肩代わりします。こうしたCPUオフロードが起きると、推論速度が大きく落ちます。GPUに比べてCPUの処理は遅く、しかもデータがGPUとRAMを往復するためです。2枚目を足してVRAMの置き場所を増やせば、このオフロードが解消され、モデルがGPUだけで動くようになります。
つまり「載る」ことは、副次的に「オフロードで遅くなっていた状態から解放される」という速度改善も連れてきます。ただしこれは「2枚で純粋に速くなった」のとは違う。単体であふれていたモデルが、2枚でようやくGPU内に収まった結果です。次のパートの実測で、この現象を具体的な数値で確認します。
テンソル並列(vLLM)と学習は別物 — 帯域が効く領域
レイヤー分割が帯域に鈍感なのに対して、テンソル並列と学習は帯域が効く領域です。混同すると「OCuLink外付けでvLLMを回せば速い」という誤った期待につながるため、線引きをはっきりさせます。
vLLMなどが使うテンソル並列は、1つの層の行列計算を複数GPUで分担する方式です。各GPUが担当ぶんを計算したあと、結果を全GPUで突き合わせるall-reduce通信が層ごとに走ります。この通信は頻度も量も多く、GPU間接続が細いと通信待ちで全体が停滞します。vLLMのマルチGPU構成に関する解説でも、テンソル並列はNVLink級の帯域を前提としており、PCIe Gen4のような相対的に低い帯域では大型モデルのスループットが落ちうると位置づけられています。NVLink級はおよそ900GB/s、PCIe Gen4がおよそ64GB/s。二桁違う世界です。OCuLink x4はさらにその下の約8GB/sですから、テンソル並列を外付けで回すのは筋が良くありません。
学習・ファインチューニングも同様です。勾配の同期でGPU間通信が大量に発生するため、帯域が律速になりやすい。個人がOCuLink外付けの2枚でやるべきは、帯域に鈍感なレイヤー分割推論であって、帯域が効くテンソル並列や本格的な学習は、この構成の得意分野ではありません。断定を避けて言えば、外付けx4でもテンソル並列や小規模な学習が「動かない」わけではなく、帯域が効くために評価軸が別になる、ということです。
個人がOCuLink外付けでやるべきでない用途
外付け2枚で無理をしないほうがいい用途を、あらかじめ整理しておきます。まず、vLLMのテンソル並列で大型モデルの推論スループットを最大化したいケース。これはGPU間の太い接続がある環境でこそ生きる方式で、OCuLink x4では通信がボトルネックになりやすいでしょう。次に、複数GPUをまたいだ本格的な学習・ファインチューニング。勾配同期の通信が帯域を食うため、外付けの狭い帯域では効率が落ちます。
逆に言えば、これら以外のローカルLLM推論(llama.cpp/Ollamaのレイヤー分割)や、GPUごとに別ワークロードを割り当てる同時実行は、外付け2枚の得意分野です。目的が「大きいモデルを載せて推論する」「別々の処理を並行させる」なら外付け2枚が向き、「1モデルをテンソル並列で最速化する」「マルチGPU学習を回す」なら向かない。この線引きを持っておくと、構成選びで迷いません。
実測①|単体 vs 2枚のトークン生成速度
ここからは当サイトの検証環境の数値で確かめます。検証環境はRTX 5080(16GB)を内蔵、RTX 5060 Ti(16GB)をOCuLink外付けで接続した2枚構成。計測はOllama 0.30.7、NVIDIA driver 610.47、計測日は2026年7月5日です。thinkモードは全モデルでthink=falseに統一し、各モデルを複数回計測した中央値を採用しています。まず確認したいのは、単体16GBに収まるサイズのモデルで、2枚目を足すとトークン生成速度がどう動くかです。
結論を数値で言うと、単体で収まるモデルは2枚化で速くなりません。むしろ落ちます。以下は単体GPUで完結するサイズのモデルについて、RTX 5080単体と、RTX 5080+5060 Ti(OCuLink)の2枚構成を並べたものです。
| モデル | RTX 5080 単体 (tokens/sec) |
5080+5060 Ti 2枚 (tokens/sec) |
単体VRAM使用量 (GPU全体) |
|---|---|---|---|
| Llama 3.2 3B(Ollama: llama3.2:3b) | 233.2 | 151.7 | 4946MiB(4.83GiB) |
| Mistral 7B(Ollama: mistral:7b) | 146.7 | 86.1 | 7344MiB(7.17GiB) |
| Llama 3.1 8B(Ollama: llama3.1:8b) | 130.4 | 75.1 | 7639MiB(7.46GiB) |
| Gemma 4 12B(Ollama: gemma4:12b) | 75.9 | 44.5 | 9626MiB(9.40GiB) |
| Phi-4 14B(Ollama: phi4:14b) | 75.4 | 44.3 | 11426MiB(11.16GiB) |
| Codestral 22B(Ollama: codestral:22b) | 53.5 | 40.2 | 15021MiB(14.67GiB) |
どのモデルも、単体のほうが速い結果でした。Llama 3.1 8B(Ollama: llama3.1:8b)は単体130.4 tok/sに対し2枚では75.1 tok/s、Mistral 7B(Ollama: mistral:7b)は146.7から86.1へと下がっています。これはレイヤー分割の性質どおりです。単体16GBに収まるモデルをわざわざ2枚に分けると、層をまたぐパイプラインの待ち時間が加わり、しかも2枚目のRTX 5060 Ti(CUDAコア4608基、メモリ帯域448GB/s)はRTX 5080(CUDAコア10752基、帯域約960GB/s)より処理能力が低いため、全体のペースが遅いGPUに引っ張られます。表のVRAM使用量は、いずれも単体16GBの範囲に収まっている点にも注目してください。あふれていないモデルには、2枚目の置き場所は不要なのです。
なお、VRAM使用量はnvidia-smiのmemory.usedに由来するGPU全体の使用量で、デスクトップ表示などのベースラインを含みます。モデル単体のロード増分ではない点に留意してください。
「2枚で速くならない」を数字で確認する
この結果は、記事冒頭で述べた「2枚目は速くする手段ではない」を実測で裏づけるものです。単一モデルの推論速度を上げたいなら、2枚目を足すよりも、より強い単体GPUへ載せ替えるほうが直接的です。RTX 5080単体で足りているモデルにRTX 5060 Tiを外付けで足しても、速度面のリターンはありません。
一方で、この表には収めなかった大型モデルでは、単体と2枚の関係が逆転します。単体16GBからあふれてCPUオフロードが起きているモデルでは、2枚化でオフロードが解消され、むしろ2枚のほうが速くなる。同じ「単体 vs 2枚」の比較でも、モデルが16GBに収まるか、あふれるかで結論が反転するということです。その逆転がどれだけの効き方をするのか、どのサイズ・量子化から2枚目が要るのかは、VRAMに「載る」ことの効果として次のパートで実測を見ていきます。
VRAMに「載る」ことの効果を実測で見る
速度が反転する境界線。それを分けるのは、モデルが16GBに収まるか、あふれるか。この一点に尽きます。前パートでは16GBに収まるモデルを2枚に分けると、かえってパイプライン待ちで遅くなる例を見ました。ここでは逆の側、単体16GBからあふれるモデルで2枚目がどう効くかを、当サイトの検証環境(RTX 5080単体、およびRTX 5060 TiをOCuLink接続で追加した2枚構成/num_ctx=4096)の実測で確認します。
当サイトの検証は全モデル think=false で統一し、各3回計測の中央値、計測日は2026年7月上旬です。まず数字を並べます。
| モデル | 単体 RTX 5080 | 2枚(OCuLink接続) | 単体時の傾向 |
|---|---|---|---|
| Qwen3.5 35B-A3B(Ollama: qwen3.5:35b-a3b)(MoE・Q4級) | 66.3 tok/s | 122.4 tok/s | 15.46GiB付近まで占有、あふれ気味 |
| qwen3.6:35b-a3b(MoE・Q4級) | 67.7 tok/s | 123.8 tok/s | 15.43GiB付近、あふれ気味 |
| Ornith-1.0-35B(Q4_K_M) | 73.1 tok/s | 125.9 tok/s | 15.15GiB付近、あふれ気味 |
| Gemma 4 26B(Ollama: gemma4:26b)(MoE・総25.2B / 活性3.8B) | 65.6 tok/s | 101.3 tok/s | 15.51GiB付近、限界ぎりぎり |
| Codestral 22B(Ollama: codestral:22b)(Dense) | 53.5 tok/s | 40.2 tok/s | 14.67GiB、16GBに収まる |
35B級のMoEモデル(Qwen3.5 35B-A3B(Ollama: qwen3.5:35b-a3b)、qwen3.6:35b-a3b、Ornith-1.0-35B)は、単体では60〜70 tok/s台にとどまっていたのが、2枚化で120 tok/s前後まで伸びています。おおむね1.7〜1.9倍。これは「2枚だから2倍速い」のではなく、単体16GBでは一部がCPU側へあふれて遅くなっていたのが、2枚化でGPUだけに載りきり、本来の速度に戻ったという解釈が自然です。速くなった主因は「2枚にしたこと」ではなく「モデルがGPUだけで収まるようになったこと」です。表のtok/sはGPU占有が回復した結果であって、帯域の低いOCuLink x4が足を引っ張っていないことも同時に示しています。
対照的なのがCodestral 22B(Ollama: codestral:22b)です。単体で14.67GiBと16GBに収まっており、こちらは単体53.5 tok/sに対し2枚では40.2 tok/sと下がりました。あふれていないモデルを分割すれば、層をまたぐ待ちが乗るだけ。載せ替える理由がないわけです。
ここでのVRAM値はいずれもnvidia-smiのmemory.used、つまりデスクトップ表示などを含むGPU全体の使用量です。モデル単体のロード増分とは別物である点は前パートと同じ。実測で確認できたのは記載のモデル・設定の範囲であり、それ以上のサイズや文脈長は未検証と考えてください。
どのモデルサイズ/量子化から2枚目が要るか
境界の目安を整理します。14B級までのモデルはQ4量子化なら16GBに余裕を持って収まり、2枚目は不要。26〜32BのDenseモデルをQ4で動かすと、文脈を伸ばした途端に16GBの縁に達し、あふれ始めます。35BクラスのMoE(A3B型)は、1トークンで計算に使う活性パラメータが小さいぶん速度は出ますが、全エキスパートの重みは保持が要るので格納量は総パラメータ数と量子化で決まります。qwen3.5:35b-a3b の Q4_K_M は約24〜27GBあり、16GB 1枚には全量が載りません。上表の15GiB台はGPU側に載った分で、残りはCPUへオフロードされた状態です。速度が出ていても常駐しているとは限らないので、2枚目の効き方はここで変わります。
量子化を1段深くして押し込む手もありますが、精度への影響とのトレードオフになります。「16GBに収めるために品質を削る」か「2枚目で余裕を持って載せる」かは、用途次第の判断です。
ollama ps でGPU割合(size_vram/size)を確認し、すべてがGPUに載っていなければ一部があふれています。同時実行スループット — 2つのタスクを並行で回す
2枚目のもう一つの主効果が同時実行。1枚のGPUで大きなモデルを速くすることはできませんが、2枚あれば別々のワークロードをそれぞれのGPUに割り当て、互いを待たせずに走らせられます。片方でローカルLLMの推論を回しながら、もう片方で画像生成を並行させる。こうした「稼働率を上げる」使い方です。
実装は難しくありません。GPUを明示的に固定するだけです。
set CUDA_VISIBLE_DEVICES=0
ollama serve
set CUDA_VISIBLE_DEVICES=1
python main.py # ComfyUI 等のワークフロー
デバイス番号はドライバの認識順で変わることがあるため、nvidia-smi -L でどのGPUがどの番号かを先に確認しておくのが安全です。番号を取り違えると意図と逆のGPUに載ってしまいます。また、GPUの指定方法は使うソフトウェアやそのバージョンで異なり、環境変数だけでは期待どおりに割り当たらない場合もあります。導入するツールのドキュメントで指定方法を確認してください。
なお、本記事で速度実測を示したのはLLM推論のtok/sだけです。LLM推論と画像生成を同時に回したときの合計スループットや、画像生成そのものの秒数は測定条件が別軸になるため、ここでは数値を断定しません。ご自身が同時に走らせたい具体的なモデルの組み合わせで確認するのが確実です。原理として言えるのは、レイヤー分割の推論が帯域に鈍感なのと同じく、GPUを分けて別タスクに割り当てる構成もOCuLink x4の帯域では律速になりにくい、ということ。各GPUは受け持ちを独立して処理するため、GPU間で大量のデータをやり取りしないからです。
LLM推論+画像生成を分けて回すユースケース
具体的な場面を挙げます。コーディング補助のためにローカルLLMを常駐させておき(当サイトの検証環境ではqwen3-coder:30bが145.3 tok/sと快適でした)、その裏でComfyUIのバッチ画像生成を流す。LLMが5080、画像生成が5060 Ti、というふうに住み分ければ、片方の重い処理がもう片方をブロックしません。単体GPUだと画像生成中はLLMが待たされ、対話のレスポンスが途切れる。2枚構成はこの「待ち」を消せるのが実利です。
クラウドの従量課金と手元の2枚構成、どちらが安いかは使用時間で変わります。継続的に回すなら手元のほうが総額で有利になりやすい一方、たまにしか使わないならクラウドで十分。この費用対効果の比較は姉妹サイトのGLM-5.2はローカルではなくクラウドで使うべきかで、料金の目安を含めて整理しています。
2枚目でボトルネックはCPU側へ移る
GPUを増やすと、次に効いてくるのはGPUの外側。この視点はエンタープライズのAIインフラ設計でも同じ方向で語られています。GPUの稼働率を上げようとすると、モデルの前後で走るCPU側の処理(プロンプトの前処理、ツール実行、データの整形、トークナイズ)が相対的に重みを増し、そこで詰まるとせっかくのGPUが遊ぶ、という構図です。
個人環境でも縮図は起きます。当サイトの検証環境のCPUはIntel Core i7-14700Fで、LLM推論を回すだけなら十分な性能。ただしエージェント型のワークフローでコード実行やファイル操作を挟むと、その待ち時間はGPUではなくCPUとストレージが決めます。2枚目を足してGPU側に余裕を作ったなら、次に見るべきはCPUのコア数・メモリ帯域・SSDの速度、という順番になります。
OCuLink x4帯域と同時実行時のCPU負荷
OCuLink(PCIe 4.0 x4)の帯域は約8GB/s。内部スロットのPCIe x16と比べれば狭いのは事実です。ただしレイヤー分割推論や、GPUを分けた同時実行では、GPU間・GPU-ホスト間で流れるデータが小さいため、この8GB/sが問題になる場面は限られます。むしろ同時実行時に効いてくるのは、2つのタスクへデータを供給し続けるCPUとメモリの余力のほう。帯域を心配する前に、CPUが両方のパイプラインを回しきれているかを見るのが実態に合った順序です。
VRAM容量と帯域がローカルAIの律速という業界文脈
ローカルAIの頭打ちがどこにあるか。多くの場面で答えはメモリです。モデルが載るかどうか、そして載ったモデルへ十分な速度でデータを送れるか。VRAMの容量と帯域が、ローカル推論の実効性能を大きく左右します。次世代のメモリ技術が容量と帯域を伸ばす方向へ進んでいるのも、AIワークロードのボトルネックがそこにあることの裏返しです。
この業界の向きと、個人が「2枚目でVRAMを足す」という判断は同じベクトルを向いています。高速な大容量メモリを1枚のGPUに積めるのが理想ですが、コンシューマ向けの現実的な選択肢では容量に上限がある。だから容量が足りないなら、GPUをもう1枚足して合算で稼ぐ、という近似解になります。
個人がHBMを使えない中でVRAMを増やす方法
データセンター級の高帯域メモリは個人には手が届きません。手元でできるのは、GDDR7を積んだコンシューマGPUを組み合わせ、レイヤー分割で「載る量」を増やすこと。RTX 5080(16GB・256bit・約960GB/s)とRTX 5060 Ti(16GB・128bit・448GB/s)を組み合わせれば、単純加算で32GB相当のモデル領域を確保できます。ここで注意したいのは、これはあくまでレイヤー分割で層を振り分けた結果の合算であって、1枚で32GBを扱えるわけではない点。各GPUはそれぞれ16GBずつを受け持ちます。
エンタープライズの多GPUワークステーションとの対比
「GPUを増やしてVRAMを合算する」という発想は、個人だけのものではありません。プロ向けの現場では、もっと大規模に同じことをやっています。StorageReviewがレビューしたHP Z8 Fury G6iは、1基のXeon 600プロセッサに最大4枚のNVIDIA RTX PRO 6000 Blackwell Max-Qを組み合わせ、合計384GBものVRAMに到達する構成です。RTX PRO 6000 Max-Qは1枚あたり96GB GDDR7・300Wで、送風型クーラーゆえ密集搭載に向きます。
価格帯はまるで違います。レビュー機(64コアのXeon 696X+RTX PRO 6000 Max-Q 2枚で合計192GB VRAM)は52,139ドル、システムの開始価格でも約7,900ドル。CPU側もIntel Xeon 600シリーズはフラッグシップで86コア・128本のPCIe 5.0レーンに達し、多数のGPUを束ねる土台になっています。個人の2枚構成とは桁が違う世界です。
企業構成と個人2枚構成で共通する狙い
スケールは違えど、重なる部分があります。個人のOCuLink外付け2枚で効くのは「より大きなモデルを載せる」「複数のワークロードを同時に回す」の2点。企業が数百GB級のVRAMを1筐体に詰めるのは、これに加えてテンソル並列やパイプライン並列による大規模な推論・学習まで視野に入れるためです。狙いが丸ごと同じというより、容量と同時実行のためにGPUを積むという発想の一部が、価格帯を越えて共通している、と捉えるのが正確です。個人は、エンタープライズ構成のうち容量・同時実行にあたる部分を、外付けドックで安価に近似しているといえます。
2枚目を足すべき人・不要な人
用途別に判断を整理します。ここまでの実測と原理を、増設是非の早見表に落とし込みます。
| 主な用途 | 2枚目の要否 | 理由 |
|---|---|---|
| Claude CodeなどAPI型ツール、14B級までのローカルモデル | 不要 | 単体16GBに収まり、速度も十分 |
| 26〜35B級のモデルを文脈長込みで載せたい | 効く | 16GBからあふれる分を合算VRAMで解消 |
| LLM推論と画像生成を並行で回したい | 効く | 各GPUに別タスクを割り当て待ちを消せる |
| 単一モデルの推論速度を上げたい | 効かない | レイヤー分割は速度が比例しない。上位単体GPUが正解 |
| vLLMのテンソル並列や本格的な学習 | 不向き | NVLink級の帯域を要し、OCuLink x4では律速 |
どの行に当てはまるかで、答えは機械的に決まります。曖昧なのは「26〜35B級を載せたい」層で、ここが2枚化の最も分かりやすい恩恵を受けます。逆に、単一モデルを速くしたい人が2枚目に投資しても報われません。
| 検証構成 | RTX 5080(VRAM 16GB)+ RTX 5060 Ti(VRAM 16GB) |
|---|---|
| 2枚目の接続 | OCuLink(PCIe 4.0 x4/約8GB/s)+ Minisforum DEG1 |
| 電源 | メイン850W + OCuLink専用750W(2系統独立) |
| 2枚目が効く用途 | 16GB超のモデルを載せる/別ワークロードの同時実行 |
| 2枚目が効かない用途 | 16GBに収まる単一モデルの推論高速化 |
予算別の現実的な選び方(2枚目 vs 単体上位)
手持ちがRTX 5080やRTX 5060 Tiで、追加予算がGPU1枚分あるとします。選択肢は2つ。既存GPUを残して安価な16GBカードを2枚目に足すか、単体の上位GPUへ載せ替えるか。大きいモデルを載せたい・同時実行したいなら、2枚目の追加が合理的。合算VRAMと並行処理が直接効きます。一方、1タスクを速くしたい・構成をシンプルに保ちたいなら、24GBや32GBクラスの単体上位への載せ替えが素直な答えです。RTX 5060 Ti 16GBは実売9万円台から手が届き、OCuLink外付けなら既存機のケースやマザーを選ばず追加できるのも、2枚目を足しやすい理由になっています。
まとめ
AI用途にGPUは2枚必要か——答えは用途で割れます。2枚目は単一モデルの推論を速くする手段ではありません。当サイトの検証環境でも、16GBに収まるモデルを2枚に分けるとパイプライン待ちでむしろ遅くなりました。効くのは、単体16GBからあふれる26〜35B級を合算VRAMで載せきる場面(35B級MoEで単体60〜70 tok/sが2枚化で120 tok/s前後へ回復)と、LLM推論と画像生成のような別ワークロードを各GPUに分けて同時に回す場面です。
OCuLink(PCIe 4.0 x4・約8GB/s)の狭い帯域は、レイヤー分割推論や同時実行では律速になりにくく、2枚目の外付けが現実的な選択肢になります。ただしvLLMのテンソル並列や学習はNVLink級の帯域を要するため別物。ここに外付け2枚を持ち込むのは避けるべきです。
次の一歩は単純です。まずollama psで、今使っているモデルが単体16GBに収まっているかを確認する。収まっているなら2枚目は要りません。あふれているか、より大きなモデルを載せたい・同時に別タスクを回したいなら、2枚目が効く領域にいます。用途を早見表に当てはめて、増設の是非を決めてください。
よくある質問
Q. OCuLink x4だと2枚目のGPUは遅くなりますか?
用途によります。llama.cpp/Ollamaのレイヤー分割推論では、GPU間で流れるのは各層の境界の活性値だけで、モデルの重み全体を毎回転送するわけではありません。転送量が小さいぶん帯域の影響も出にくく、一部の実測ではPCIe接続とNVLinkの差が1〜3%程度にとどまった例も報告されています。約8GB/sのOCuLink x4でも実用に足ります。一方、テンソル並列や学習は大量の相互通信が走るため、帯域が効いて遅くなります。用途で分けて考えてください。
Q. VRAM 16GB×2は32GBとして使えますか?
1枚で32GBを扱えるわけではありません。RTX 5080(16GB)とRTX 5060 Ti(16GB)は、レイヤー分割でモデルの層を各GPUに振り分けた結果として、合算で32GB相当の領域を確保できます。各GPUはそれぞれ16GBずつを受け持つ形。単一の巨大テンソルが連続した32GBを要求する処理では、合算した容量を1枚ぶんのようには扱えません。
Q. 2枚目を足せば生成は速くなりますか?
単体16GBに収まるモデルなら、速くなりません。むしろ層をまたぐ待ちが加わり、当サイトの検証環境でも下がった例があります。速度を上げたいなら、より強い単体GPUへの載せ替えが直接的です。2枚目が速く見えるのは、単体であふれてCPUオフロードが起きていたモデルが、載りきって本来の速度に戻る場合だけです。
Q. vLLMのテンソル並列でも外付け2枚は使えますか?
技術的に動かせても推奨しません。テンソル並列は各層でall-reduceが走り、GPU間の通信量が多いため、NVLinkなどの高速接続で本領を発揮します。PCIe接続やOCuLink x4(約8GB/s)でも動作はしますが、大型モデルほどスループットが大きく落ちます。外付け2枚が生きるのはレイヤー分割推論や、GPUを分けた同時実行のほうです。
Q. どのモデルサイズから2枚目が必要になりますか?
目安として、14B級までのモデルはQ4量子化なら16GBに余裕を持って収まり、2枚目は不要です。26〜32BのDenseモデルは文脈長を伸ばすと16GBの縁に達します。35B級のMoE型(A3B等)は活性パラメータが小さく速度は出ますが、重み全体は総パラメータ数で決まるため16GB 1枚には全量が載らず、CPUオフロードを伴います(qwen3.5:35b-a3b の Q4_K_M で約24〜27GB)。ご自身のモデルでollama psのGPU割合を確認するのが確実です。
2枚目を挿す前提のマザーボード・PCIeレーンの選び方は、AI用PCのマザーボードとPCIeレーンの選び方で詳しく整理しています。
参考資料
- NVIDIA公式: GeForce RTX 5080 – 製品仕様
- llama.cpp公式ドキュメント: Multi-GPU(レイヤー分割の挙動)
- Minisforum公式: DEG1 eGPU Dock – 製品情報
- NVIDIA公式: RTX PRO 6000 Blackwell Max-Q Workstation Edition
- StorageReview: HP Z8 Fury G6i Review(多GPUワークステーション実機レビュー)
当サイトはAmazonアソシエイト・プログラムの参加者です。Amazonのアソシエイトとして、当サイトは適格販売により収入を得ています。

