RTX 4070 SUPERと5060 Ti 16GBを比較｜ローカルAIでVRAM 12GBはどこまで使えるか実測

RTX 4070 SUPERでできること、VRAM 12GBで足りなくなること

ここで比べるのは、ローカルAI (自分の PC の中で動かす文章生成や画像生成の AI) に使ったときの結果で、ゲームの性能は扱わない。RTX 4070 SUPER の VRAM (GPU に載っているメモリ) は 12GB で、これは NVIDIA の公称仕様 (2026年10月1日確認) の値だ。比べる相手は RTX 5060 Ti 16GB にした。

AI のモデル名に付いている「9B」「35B」のような数字は、モデルの大きさを表す。大きいモデルほど VRAM に載りにくい。

次の表は、やりたいことごとに RTX 4070 SUPER 12GB で測った結果をまとめたもの。

LLM のうち、両方のカードで VRAM に全部載った4モデルでは、速さの差は1割前後だった。測った中で RTX 4070 SUPER に載りきらなかった LLM では、どれも RTX 5060 Ti 16GB のほうが速く、モデルによっては差が大きく開いた。SDXL の画像生成の差は、この1割前後とは別に測っている (「画像生成（SDXL）の速さ」の節)。同じ 14B でも phi4:14b は RTX 4070 SUPER の VRAM に 95% しか載らず、速さは RTX 5060 Ti 16GB がやや上だった (差は小さい)。

表の数字は、外付けドックにつないだ同じ PC で、カードだけを差し替えて測った値だ。PC の中に直接挿した場合の値ではない。一部は測った日が違い、条件は「測定の条件と、測っていないこと」の節にまとめた。

手元にすでに RTX 4070 SUPER があり、使い方が、この記事で VRAM に全部載った 9B〜14B の LLM と SDXL の画像生成の範囲に収まっているなら、この測定では RTX 5060 Ti 16GB に替えて速くなる結果は出ていない (ほかの 16GB のカードは測っていない)。この記事で測った 26B〜35B のような大きめの LLM を使いたくなったときや、使うモデルで長い文脈が 12GB に載りきらなくなったときが、16GB を考える目安になる。

RTX 4070 (無印) や RTX 5070 も VRAM は同じ 12GB なので、どのモデルが 12GB に載るかの目安にはなる。速さはこの記事の測定に入っておらず、そのまま当てはめられない (RTX 4070 (無印) はよくある質問で補足する)。ローカル LLM の仕組みと、Ollama を使う基本の構成は、ローカルLLMの始め方で説明している。

中古のRTX 4070 SUPERを選ぶ前に

中古の RTX 4070 SUPER を買うかは、使い方が 12GB に収まるかと、新品の近い候補 (RTX 5060 Ti 16GB・RTX 5070) の価格との差で決まる。先にGPU 選びのツールで新品の参考価格 (ツールに載せた時点の値) を見て、中古の提示価格と並べると判断しやすい。最新の価格と在庫は、ツールからたどった各ショップで確かめる。

中古品は1枚ごとに使われ方・保証の有無・付属品が違い、同じ型番でも値段がそろわない。そのため、この記事では値段を挙げない。

買う前に確かめる点は4つある。

• 使い方が 12GB に収まるか: この記事で VRAM に全部載った 9B〜14B の LLM 4モデルは、文脈を短めにした設定で 12GB に収まった。SDXL の画像生成も、この記事の設定で 12GB のカードで動いた。この記事で測った 26B〜35B の LLM も使うなら、16GB が候補になる。長い文脈は、使うモデルによって 12GB に載る長さが違う (qwen3:14b では 16GB のほうが長かった)。
• 電源: NVIDIA が示す RTX 4070 SUPER の必要な電源容量は 650W。これは NVIDIA が基準にした PC での最小値で、必要な容量は PC の構成によって変わる。容量に加えて、補助電源のつなぎ方も確かめる。NVIDIA の基準の設計では、8ピンの補助電源ケーブル2本を付属のアダプターでつなぐか、300W 以上に対応した PCIe Gen 5 のケーブル1本でつなぐ。メーカー製のカードは端子が違うことがあるので、その型番の仕様と、中古品にアダプターなどの付属品がそろっているかを出品情報で確かめる。
• ケースに入るか: NVIDIA の仕様は Founders Edition かリファレンス設計のカードが前提で、メーカー製のカードは長さや補助電源がメーカーごとに違うことがある。中古で探すカードもメーカー製なら、そのカードの全長・高さ・厚み (何スロット分を使うか) をケースが対応する寸法と比べ、補助電源のケーブルを挿す余裕があるかも確かめる (NVIDIA は Founders Edition について、電源ケーブル用に 36mm の余裕を見込むよう案内している)。
• 保証: 保証期間が残っているかに加えて、その保証をメーカー・代理店・販売店のどこが出しているか、中古で買った人も使えるか (購入の証明が付くか) を確かめる。届いた後に返品できるかも出品情報で見る。

同じ 12GB を、より手ごろなカードで始める道もある。その選択肢は RTX 3060 12GB でローカルAIを始める場合の記事で扱っている。

近いRTX 50シリーズとの違い

RTX 4070 SUPER と RTX 4070 Ti SUPER は RTX 40 シリーズの製品で、RTX 5070・RTX 5060 Ti・RTX 5070 Ti は NVIDIA Blackwell 世代の RTX 50 シリーズにあたる。次の表は、この5つの VRAM と電源まわりの仕様を並べたもの。

数値は NVIDIA の公称仕様 (2026年10月1日確認) で、メーカー製のカードでは違うことがある。消費電力の目安 (TGP) はメーカーが示す電力の仕様で、この記事で測った AI の利用時の消費電力ではない。必要な電源容量は NVIDIA が基準にした PC での最小値で、実際に必要な容量はシステム構成によって変わる。RTX 5060 Ti には VRAM 8GB の版もあり、この記事で測ったのは 16GB版だけになる。

次の表は、やりたいことごとの候補。

測っていない3機種について言えるのは、仕様表にある VRAM と電源の違いまでだ。

現行の RTX 5070・RTX 5060 Ti 16GB・RTX 5070 Ti の参考価格と在庫の表示は、この3枚で絞り込んだ GPU 選定ツールでまとめて見られる。買う前の最新の価格と在庫は、各ショップで確かめる。

状況によっては、別の比べ方のほうが答えに近い。

• 16GB の3枚 (RTX 5060 Ti・5070 Ti・5080) を並べて比べたい: VRAM 16GB の GPU を AI の用途別に比べた記事
• 24GB まで広げたい: 中古 RTX 3090 24GB を新品 16GB と比べた記事
• GPU 単体でなく、完成品の PC ごと選びたい: VRAM 16GB の PC を3つの価格帯で比べた記事

同じ PC で比べた生成速度

ここから先は実測の詳細だ。2枚は同じ PC・同じ外付けドック (OCuLink という接続方式) にカードを差し替えて測った。同じ PC・同じモデル・同じリクエストの設定で比べた参考の比較で、RTX 5060 Ti の回は KV キャッシュの形式と Flash Attention の設定をログで確かめられていないため、実行の条件がすべて同じだったとまでは言えない。速さは毎秒何トークン生成できたか (トークンは文字のかたまり) で、答えを書いている間の速さだ。モデルの読み込みや入力を読む時間、最初の文字が出るまでの待ち時間は含まない。値は、Ollama の /api/generate が返す、生成したトークン数 (eval_count) を生成にかかった時間 (eval_duration) で割ったもので、3回の中央値を載せた。トークンの区切り方はモデルごとに違うので、同じモデルどうしでカードを比べる数字として読む。

「VRAM に載った割合」は、この記事での呼び名で、Ollama (ローカル LLM を動かすソフト) の /api/ps が実行中のモデルについて返す size (バイト数。モデル名の「9B」「35B」とは別の値) に対する size_vram (VRAM 使用量) の割合 (size_vram ÷ size) を指す。Ollama が返す値を使ったこの記事独自の指標で、重みだけが VRAM に載った割合でも、プロセス全体の実際のメモリ使用量そのものでもない。Ollama はモデルが VRAM に載りきらないとき、GPU とメインメモリの両方に分けて載せて動かす。100% を下回った行は、一部がメインメモリに置かれた状態で動いている。100% は Ollama の報告で size と size_vram が同じ値だった状態のことで、メインメモリをまったく使っていないという意味ではない。同じモデルでも num_ctx (文脈の長さの設定) を大きくすると、この割合が下がることがある (「VRAM に全部載せたまま設定できた文脈の長さ（num_ctx）」の節)。

両方のカードで全部載った4モデルでは、RTX 4070 SUPER が約7〜12% 上回った。RTX 4070 SUPER で載った割合が 100% を下回った5モデルでは、どれも RTX 5060 Ti 16GB のほうが速かった。

差の大きさはモデルによって違う。phi4:14b では約5%、qwen3.6:35b-a3b では約1割、qwen3-coder:30b では約1.6倍だった。RTX 5060 Ti 16GB でも、26B〜35B の4モデルは載った割合が 100% に届いていない。

この表と図が言えるのは、1台の PC・1つのプロンプトで測った範囲までだ。外付けドック経由の値で、PC のマザーボードに直接挿した場合の値ではない (直接挿したときの接続の幅はカードとスロットで違い、RTX 5060 Ti はカード側が最大 x8)。RTX 5060 Ti の phi4:14b・qwen3:14b・qwen3.6:35b-a3b の3モデルは、RTX 4070 SUPER と測った日が約3週間違う (Ollama の版とリクエストの設定は同じ)。

phi4:14b の差 (毎秒41.8トークンと44.1トークン) は小さく、3回の中央値なので幅を持って読む必要がある。順番が入れ替わった理由はこの測定では切り分けておらず、この記事で測った9モデル以外 (同じ大きさでも作りの違うモデル) にはそのまま当てはめられない。

メモリの種類とバス幅

2枚のメモリの仕様は次の表のとおり (NVIDIA の公称仕様、2026年10月1日確認)。

メモリの種類が違うので、バス幅の数字だけでは読み出しの速さの大小は決まらない。全部載る範囲と載りきらない範囲で順番が入れ替わった理由も、メモリの仕様の違いとして説明できるかはこの測定では切り分けていない。

VRAM からあふれた後の速さはモデルの作りによって大きく分かれる。その分かれ目は、動画のフレーム数と、あふれた後の速さの分かれ目まで測った記事で詳しく扱っている。

VRAM に全部載せたまま設定できた文脈の長さ（num_ctx）

num_ctx は、モデルが一度に扱える文脈の枠の長さ (トークン数) の設定だ。この枠には、入力した文章だけでなく、指示や会話の履歴、モデルが書く答えも入る。文脈を長くするほど KV キャッシュ (文脈を覚えておくためのメモリ) が大きくなり、これも VRAM に置かれる。

測り方は、num_ctx を2,048単位の二分探索で動かし、そのたびに短い文 (「Hello」) を入れて数トークンだけ答えさせて、Ollama が報告した VRAM に載った割合が 100% になる最大の値を探すというもの。探索は4,096と131,072から始め、131,072 でも 100% だったものはそこで止めている。各値は1回ずつの測定で、2,048 より細かい刻みでは確かめていない。その長さの文章を実際に入れて枠を埋めた試験でもない。Ollama は Flash Attention を有効にし、同時に読み込むモデルと同時に受ける処理をそれぞれ1つにして、KV キャッシュの形式だけを表のとおりに切り替えた。各点の前には、読み込んでいたモデルをすべて外してから測っている。値は Ollama が報告した文脈長で、探索の上限は131,072にした。2枚とも2026年9月9日に測った。

この値は「VRAM に全部載せたまま設定できた最大の値」だ。これより大きい値を指定すると、一部がメインメモリに置かれることがある。たとえば RTX 4070 SUPER で qwen3:14b を KV キャッシュ f16 で動かしたとき、num_ctx 10,240 では載った割合が 93.5%、40,960 として読み込まれたときは 62.7% だった。ただし、モデル側の上限より大きい値を指定しても、その長さで読み込まれるとは限らない。この 40,960 も、67,584 や 131,072 を指定したときに Ollama が報告した長さで、次の表の 40,960 も同じ理由による。

qwen3:14b では、KV キャッシュが f16 のとき 8,192 対 34,816 で、4.25倍の開きがあった。KV キャッシュを q8_0・q4_0 (少ないビット数で持って小さくした形式) にすると、12GB でも値が伸びた。KV キャッシュを小さくすると答えの質に影響することがあり、Ollama の説明では q4_0 は文脈が長いほど精度の低下が目立ちやすいとされる。この記事では質の違いは測っていない。

RTX 5060 Ti 16GB の q8_0・q4_0 にある 40,960 は、VRAM の限界ではなく、この測定で Ollama が読み込んだ qwen3:14b の文脈の上限だ。Qwen3-14B の設定ファイルにある最大の文脈長 (max_position_embeddings) は 40,960 で、この測定でも num_ctx を 40,960 より大きく指定すると、Ollama の報告する文脈長は 40,960 だった。モデルカードでは、もともと扱える長さを 32,768 とし、YaRN という拡張を使えば 131,072 まで扱えるとしている (この測定では YaRN は使っていない)。

gemma4:12b と qwen3.5:9b は、どちらのカードでも測定範囲の上限 (131,072) かその近くまで届いた。131,072 は測った範囲の端で、そこで止まったという意味ではない。その長さの文脈をモデルが実際にうまく扱えるか (出力の質) と、長い文脈を入れたときの速さは、この測定には含まれていない。

KV キャッシュを小さくする設定の効き方は、VRAM 16GB で KV キャッシュの量子化を詳しく測った記事で追っている。

画像生成（SDXL）の速さ

SDXL (Stable Diffusion XL Base 1.0) は、Stability AI が開発した、文章から画像を作る拡散モデルだ。これを ComfyUI で 1280×720・30ステップで5枚続けて作り、1枚目 (ComfyUI の準備ができてから最初の1枚) と、モデルを読み込み済みの2枚目以降4枚の中央値を並べた。

2枚目以降は、RTX 4070 SUPER が 8.42秒、RTX 5060 Ti 16GB が 11.64秒だった。VRAM 使用量の最大は、生成中におよそ0.25秒おきに読んだカード全体の使用量 (ほかのソフトの分も含む) の最大で、どちらも約7.8GiB だった。読む間隔が粗いので、本当の最大を取り逃していることがある。12GB のカードでこの設定のまま生成できたことは確かめたが、モデルの全部が同時に VRAM に載っていたかまでは見ていない。1枚目はモデルの読み込みを含むため、外付け接続の帯域の影響を受けうる。

これは SDXL 1つ・1つの解像度と設定での値だ。UNet とテキストエンコーダーの重みを FP8 で持つ設定 (ComfyUI の起動オプション --fp8_e4m3fn-unet と --fp8_e4m3fn-text-enc) で測っていて、ほかの精度の設定とは比べていない。サンプラーは Euler (scheduler は normal)、CFG 7.0、1回に1枚で、5枚とも同じプロンプトを使い、seed は1枚ごとにランダムに変わる (値は記録していない)。そのため、2枚のカードで同じ画像を作った比較ではなく、上の設定での参考の比較だ。できた画像の質や、FP8 の設定による質の違いは見ていない。秒数はジョブを送ってから完了を確かめるまでの時間で、ComfyUI 自体の起動時間は含まない。ほかの画像生成モデル、もっと高い解像度、LoRA を足した場合、毎回プロンプトを変えた場合は測っていない。RTX 4070 SUPER は2026年9月28日、RTX 5060 Ti 16GB は2026年9月27日に、同じ手順と同じ ComfyUI の環境で測った。

Strata で 125B の MoE モデルを VRAM 12GB と 16GB で動かした結果 (メインメモリ 96GB)

この記事の LLM は Ollama で測り、26B〜35B の MoE モデルは VRAM に載りきらない分をメインメモリに置いて動いた。MoE のモデルを GPU 1枚とメインメモリで動かすためのエンジンもあり、その1つの Strata で、言語モデルの本体が 125B の MoE モデル Qwen3.8-Flash-Next を2026年10月3日に測った。この記事と同じ PC と外付けドックで、RTX 4070 SUPER と RTX 5060 Ti 16GB を差し替えている。

モデルは ISTA-DASLab が公開している Qwen3.8-Flash-Next-GSQ-RCO-GGUF の Q2_0 で、測定には Strata v0.1.31 を使った (記事を書いた2026年10月3日には、入力の処理を速くする変更などを含む v0.1.38 が出ている。この記事の値は v0.1.31 のもの)。両方のカードで、文脈の上限 65,536トークン・KV キャッシュ 8ビット (一部を VRAM に常駐させ、残りをメインメモリから読む設定)・思考なし・答えは 256トークン・サンプリングをせず毎回いちばん確率の高いトークンを選ぶ設定 (greedy) にそろえた。Strata は答えを書くときに MTP という先読みの仕組み (1回に最大3トークンを先読みする設定) を使っていて、生成速度はそれを使ったときの値だ。

入力は、Strata のリポジトリに入っているコミュニティ製のベンチ (strata-bench.py) が作るコード系の文章で、前の入力を再利用して処理が省かれないよう、毎回先頭に違う語を入れてある。入力 (プロンプト) 側の速さは、入力のトークン数を、送ってから最初の文字が返るまでの時間で割った値で、入力の処理のほかにサーバー側の待ち時間なども含む。生成速度は、最初の文字が返ってから最後までのトークン数と時間から求めた値だ。どちらも API から返ってきた応答の時刻で測った。入力を約1,100・約4,200・約31,600トークンにして各3回測った中央値は、生成速度が RTX 4070 SUPER で毎秒57.4〜68.6トークン、RTX 5060 Ti 16GB で毎秒58.5〜70.8トークンと同じ程度で、入力側の速さは RTX 4070 SUPER が1〜2割遅かった。Ollama で測った 26B〜35B では RTX 5060 Ti 16GB のほうが速かったが、エンジンもモデルも違うので、この記事の速さの表とは並べられない。2枚は VRAM の量のほかに計算の速さやメモリの帯域も違い、生成が近かったことも、入力側の速さが RTX 4070 SUPER で遅かったことも、VRAM の量だけで決まったとは言えず、原因は切り分けていない。

Strata の README によると、Strata はエキスパート (MoE の部品) を全部メインメモリに置き、呼ばれることの多いものを GPU にも置く。ここで挙げた値は、メインメモリ 96GB の PC でエキスパートを全部メインメモリに置けた状態のものだ。メインメモリが足りない PC では Strata は low-RAM モードで動く。v0.1.35 の資料 (docs/DETAILS.md) では、GPU に置けないエキスパートをメインメモリに収められればそこに置き、収められなければ SSD 上のファイルから読み、後者では GPU が小さいとかなり遅くなるとされている (この記事ではどちらも測っていない)。約13万トークンの長い入力での速さ、量子化の違い、Qwen3.8-27B との比較は、Strata で Qwen3.8-Flash-Next を VRAM 12GB・16GB で実測した記事にまとめた。

まとめ

この記事で VRAM に全部載った 9B〜14B の LLM と SDXL の画像生成が中心なら、この測定では RTX 4070 SUPER の 12GB で動き、RTX 4070 SUPER のほうが速かった。この使い方なら、中古の RTX 4070 SUPER と新品の RTX 5070 を価格で比べることになる。手元に RTX 4070 SUPER があるなら、この範囲では RTX 5060 Ti 16GB に替えて速くなる結果は出ていない。

この記事で測った 26B〜35B の LLM も使いたいなら、16GB の RTX 5060 Ti が候補になる。ただし 16GB でも、この4モデルは一部があふれ、メインメモリと分けて動いた。この記事で使った PC はメインメモリが 96GB あり、これらのモデルに必要なメインメモリの量は測っていない。長い文脈は、使うモデルによって 12GB に載る長さが違う。どちらの場合も、新品の参考価格はGPU 選定ツールで見て、最新の価格は各ショップで確かめてから決める。

速さや文脈の長さの実測値は、いずれも外付けドックにつないで測った値で (仕様表の数値は NVIDIA の公称値)、RTX 5060 Ti の一部のモデルは別の日に測った。ほかの機種の速さは測っていない。

測定の条件と、測っていないこと

測定に使った PC は Intel Core i7-14700F・メインメモリ96GB・Windows。2枚とも同じ OCuLink の外付けドック (MINISFORUM DEG1、PCIe 4.0 x4) にカードを差し替えて測り、測っているカード1枚だけをモデルの置き場に使った。LLM は、モデルを読み込む前後のカードごとの VRAM 使用量 (nvidia-smi) の増え方で、測っているカードに載ったことを確かめた (RTX 5060 Ti の8月17日の回は、測定中のカードごとの VRAM 使用量の記録から確かめた)。画像生成は、ComfyUI が表示する実行デバイスと nvidia-smi の GPU 名が一致することを確かめた。この PC の詳しい構成は検証環境のページにまとめてある。

LLM は Ollama 0.32.3 で、各モデル Q4_K_M (重みを少ないビット数で持った形式)・num_ctx 8,192・生成の上限 512トークン (num_predict)・思考モードなし・同じプロンプト (日本語の文章だけで、画像などは入れていない) で測り、3回の中央値を取った。プロンプトは「以下の質問に日本語で詳しく回答してください。AIの進化が社会に与える影響について、技術的な観点と経済的な観点の両方から説明してください。具体的な事例を含めてください。」だ。Ollama の /api/generate に seed 42 を指定し、temperature などの生成の設定は上書きせずモデルの既定のままにした。3回はモデルを読み込んだまま続けている。モデルを切り替えるときに前のモデルを外す操作はしておらず、同時に読み込むモデルを1つにした Ollama の設定に任せた (この設定は、RTX 4070 SUPER の回はログで確かめたが、RTX 5060 Ti の回は記録が無い)。速さの表の RTX 4070 SUPER の gemma4:26b だけは、続けて測った回の後に単独で測り直した回を載せた (続けて測った回は毎秒45.05トークンで、差は小さい)。RTX 4070 SUPER は2026年9月9日、RTX 5060 Ti 16GB は2026年9月8日の回 (ただし RTX 5060 Ti の phi4:14b・qwen3:14b・qwen3.6:35b-a3b の3モデルだけは2026年8月17日の回) になる。Ollama の版とリクエストの設定はどの回も同じだ。KV キャッシュの形式と Flash Attention は、RTX 4070 SUPER の回はサーバーのログで f16・有効を確かめたが、RTX 5060 Ti の回はログが残っていない。

Ollama のモデルは、同じタグ名のまま後から中身が更新されることがある。この記事では、両方のカードで同じ版のモデルを使ったことを照合している。照合に使った digest (先頭12桁) は次のとおり。

画像生成は ComfyUI 0.37.1 (PyTorch 2.14.0+cu130) で測った。プロンプトは「professional technology illustration, AI interface concept, clean minimalist design, blue and white color scheme, business software, high quality, 4k, sharp」、ネガティブプロンプトは「text, watermark, blurry, low quality, distorted, nsfw, cartoon, anime, sketch, draft, ugly, deformed」で、チェックポイントは sd_xl_base_1.0 だけを使った (refiner は使わず、VAE はチェックポイントに入っているもの)。完了は、ComfyUI の履歴をおよそ0.25秒おきに問い合わせて確かめた。LLM の測定時の NVIDIA のドライバーは 610.47 (画像生成の回はドライバーの版を記録していない)。カードのメーカー型番とクロックの設定は記録していない。数値の見方はベンチマーク数値の読み取り方で解説している。

本記事の実測値は、LLM が2026年8月17日〜9月9日、画像生成が2026年9月27日〜28日に、この節に書いた条件で測ったもの。「Strata で 125B の MoE モデルを VRAM 12GB と 16GB で動かした結果 (メインメモリ 96GB)」の節の値だけは、2026年10月3日に同じ PC と外付けドックで、Ollama ではなく Strata v0.1.31 を使って測った。この節に書いた LLM の条件 (版・量子化・num_ctx など) は Ollama の測定のもので、Strata の条件は Strata の節に書いた。Strata の測定では、Strata の --gpu で使うカードを1枚に絞って起動した。RTX 4070 SUPER の回は、起動の前にカードの名前を確かめ、測定中はカードごとの VRAM 使用量を 30 秒おきに記録した。

この記事で測っていないことは次のとおり。

• RTX 5070・RTX 5070 Ti・RTX 4070 Ti SUPER・RTX 4070 (無印)・RTX 5060 の速さ
• この記事で測ったモデル以外 (MoE でない 26B〜35B 級のモデルなど、同じ大きさでも作りの違うモデル)
• 回答やコードの質 (この記事は速さと VRAM への載り方だけを測った)
• LLM に画像などを入れたときの速さと VRAM の使い方 (文章だけで測った)
• PC のマザーボードに直接挿したときの値
• 動画生成と学習 (動画は VRAM 12GB の壁を測った記事で扱っている)
• Ollama で長い文脈を入れたときの速さと、出力の質 (Strata の節は入力約31,600トークンまでの速さだけを測った)
• GPU 2枚の構成
• 長時間運転したときの温度とクロック

よくある質問

中古の RTX 4070 SUPER と新品の RTX 5060 Ti 16GB はどちらを選べばよいか

この記事で VRAM に全部載った 9B〜14B の LLM 4モデルと SDXL の画像生成が中心なら、この測定では RTX 4070 SUPER のほうが速く、12GB のカードで動いた (LLM の4モデルは文脈を短めにした設定で VRAM に全部載った。同じ 14B でも phi4:14b は少しあふれ、RTX 5060 Ti 16GB がやや速かった)。この記事で測った 26B〜35B の LLM 4モデルは、16GB の RTX 5060 Ti のほうが VRAM に多く載り、4モデルとも速かった (16GB でも一部はあふれた)。長い文脈は、qwen3:14b では 16GB のほうが VRAM に全部載せたまま指定できた長さが長かったが、長い文脈での速さは Ollama では測っていない。中古は状態と保証が1枚ごとに違うので、新品の価格と並べて決めることになる。

RTX 4070 (無印) でも同じ結果になるか

RTX 4070 (無印) も VRAM 12GB・メモリバス幅192-bit だが、メモリの種類は GDDR6 と GDDR6X の2種類があり、CUDA コアは5,888 (RTX 4070 SUPER は7,168) と違う (NVIDIA の公称仕様、2026年10月1日確認)。この記事では測っていない。VRAM に載る量の傾向は参考になるが、速さはそのまま当てはめられない。

RTX 5060 (8GB) と比べるとどうか

RTX 5060 は VRAM 8GB (GDDR7)・メモリバス幅128-bit で (NVIDIA の公称仕様、2026年10月1日確認)、12GB の RTX 4070 SUPER より載る量が少ない。速さは測っていない。

16GB あればモデルは全部載るか

全部は載らない。この測定でも、16GB の RTX 5060 Ti で 26B〜35B の4モデルは VRAM に載った割合が 59〜75% にとどまり、一部をメインメモリに置いて、GPU とメインメモリの両方を使って動いた。

GPU を2枚にすれば 12GB でも足りるか

この記事は1枚ずつの測定で、2枚構成の結果は含まない。対応するソフトでモデルを2枚の GPU に分けて置く構成 (2枚の VRAM が自動で1つにまとまるわけではない) は、2枚構成を扱った記事で測っている。

参考資料

• NVIDIA GeForce RTX 4070 Family 仕様
• NVIDIA GeForce RTX 5060 Family 仕様
• NVIDIA GeForce RTX 5070 Family 仕様
• NVIDIA GeForce RTX 50 Series
• Ollama FAQ
• Ollama API: 実行中のモデルの一覧 (/api/ps)
• Qwen3-14B モデルカード (Hugging Face)
• Stable Diffusion XL Base 1.0 モデルカード (Hugging Face)