RTX 3060 12GBで始めるローカルAI｜3万円台で買える12GBは何が動くか、8GBとの差と物足りなくなる境界

ローカルAIを試してみたいが、いきなり高いGPUを買うのはためらう。そんなときに最初の一枚として名前が挙がり続けているのが、RTX 3060の12GB版だ。2021年発売のミドルクラスながら、いまも中古でおおむね3万円前後〜3万円台後半で手に入り、しかも当時としては多めの12GBのVRAMを積んでいる。ローカルLLMや画像生成を「まず動かして感触をつかむ」段階では、この12GBが効いてくる。

この記事では、RTX 3060 12GBで実際に何が動くのかを、よく混同される8GBの廉価カードとの差を軸に整理する。そのうえで、どこで物足りなくなり、次にどのクラスへ進めばいいのかまでを示す。ローカルLLMとは何かから一歩進んで、最初のGPUを選ぶための記事だ。

RTX 3060 12GBはローカルAIの「定番エントリー」

RTX 3060 12GBはNVIDIAのAmpere世代のミドルクラスだ。AI用途でまず効くのは「載るか載らないか」を決めるVRAMの容量で、3060はここに12GBを積む。ただし、載った後の処理速度にはメモリ帯域や演算性能、ソフトウェア実装も効いてくる。参考としてスペックを挙げると、12GBのGDDR6メモリを192bitのバス幅で接続し、メモリ帯域は約360GB/s、CUDAコアは3,584基、カード消費電力（TGP）は170Wと控えめだ。発売は2021年で、当時の上位モデルだったRTX 3070（8GB）や3080（10GB）よりもVRAMが多いという珍しい構成で、この12GBが3060を長く生き残らせている。

価格の手頃さも大きい。2026年7月時点の中古相場は、個人売買でおおむね3万円前後〜3万円台後半、保証付きの中古ショップで3万5000〜5万円前後が目安だ（2万円台は訳あり品や安値の出物に限られやすい）。ローカルAIを始める最低スペックガイドでも扱うように、CUDAが扱いやすく情報も多い12GBという条件では、ローカルAI入門の手頃な定番だ（同じ12GBではRTX 2060 12GBやRX 6700 XTがより安い場合もある。ただしRTX 3060は、RTX 2060 12GB（Turing世代）より新しいAmpere世代で性能面にも余裕があり、RX 6700 XTよりCUDA前提のアプリや情報を使いやすい。そのバランスから定番候補になっている）。まず手を動かして、ローカルAIが自分の使い方に合うかを見極める段階には向いている。

12GBで何が動くか（8GBとの差）

ローカルAIでよく比較されるのが、同価格帯にある8GBのカードとの差だ。VRAMが8GBか12GBかで、動かせるものの範囲がはっきり変わる。目安を並べる。数値はモデルや量子化（Q4など、モデルを軽くする設定）・設定で変わるため、幅を持たせて見る必要がある。

ざっくり言えば、8GBでも8B級やSDXLは動くが文脈や設定に制約が出やすいのに対し、3060の12GBは「8B級をVRAMに余裕をもって回し、SDXLの画像生成も素直な設定で扱える」ラインにある。Ollamaでローカルにモデルを入れて動かす入門や、ComfyUIで画像生成を始める入門を、無理なく試せるのがこのクラスだ。実際、8GBでは工夫して大きめのモデルを動かすような一手間が要る場面でも、12GBなら素直に載ることが多い。

具体的にどんなモデルが動くか

「12GBで動く」と言われてもイメージしにくいので、代表的なモデルのVRAM消費の目安を挙げる。実際の消費は量子化や文脈長で上下するため、あくまで目安であり構成で変わる。

• 7〜8B級のLLM（Q4量子化）：モデル本体はおおむね5GB前後。実行時はKVキャッシュや処理領域が加わるが、12GBなら8GBカードより文脈や設定に余裕を持たせやすい。日常の質問応答・要約・軽いコーディング補助はこのあたりで足りる。
• 12〜14B級のLLM（Q4量子化）：モデル本体はおおむね8〜10GB前後。実行時の追加領域を含めると12GBの上限に近く、短めの文脈ならGPU内に収められても、文脈長や実装によっては一部オフロードが必要になる。8GBカードではここが厳しくなる。
• SDXLの画像生成：おおむね6〜8GB。標準的な解像度なら素直に回る。
• FLUX.1 dev系の画像モデル：量子化モデルやNunchaku等の省メモリ実装で生成する。生成自体は可能だが、使えるノードや速度に制約があり、12GBより16GB以上のほうが設定の余裕を持たせやすい。

同じモデルでも、量子化を強めれば12GBに載り、弱めればあふれる。3060で少し大きめのモデルを狙うときは、この調整が効いてくる。詳しくは量子化フォーマットの選び方で扱っている。

速度は控えめ — 帯域360GB/sの意味

容量の話とは別に、速度は正直に見ておきたい。ローカルLLMの生成速度は、モデルの重みをメモリから読み出す作業の比重が大きく、メモリ帯域の広さが効く。3060の帯域は約360GB/sで、これは新しめの上位カードと比べると控えめな水準だ。参考までに、当サイトでベンチしてきたRTX 5080の公称メモリ帯域は960GB/sで、単純な帯域だけでも約2.7倍の差がある（NVIDIA公式の比較ページに記載。個別の製品ページにはバス幅までしか載っていない）。

つまり3060 12GBは「動くけれど速くはない」クラスだと理解しておくのが正確だ。モデルをGPU内に収められる範囲は12GBの容量によって大きく広がるが、返答が返ってくるまでの速さは新しい世代に譲る。試すぶんには十分でも、長文を何度も生成し続けるような使い方だと、待ち時間が気になってくる。ここは容量とは別の軸として押さえておきたい。

物足りなくなる境界 — 何が無理か

入口として優秀な一方で、3060 12GBには明確な上限がある。次のような使い方に踏み込むと、12GBの壁に当たる。

• dense 24B〜32B級の大型LLM：Q4でも12GBに全体を収めるのは難しく、CPUオフロードを使うと速度が大きく落ちやすい。MoEモデルは実際に計算するパラメータ数が少ない場合があるが、必要メモリはモデルごとに異なる。たとえばgpt-oss-20bも公式の目安は16GBで、12GB環境ではオフロードや追加の省メモリ化が前提になる。
• 長い文脈：文脈（会話やプロンプトの長さ）を伸ばすほど、それを保持するデータ（KVキャッシュ）がVRAMを食う。12GBでは早めに頭打ちになる。
• 速度重視の常用：帯域が控えめなぶん、日常的に速さを求める使い方には向かない。

これらが必要になったら、それは3060が役目を終えたのではなく、次のクラスへ進む合図だ。VRAMの容量ごとに何ができるかはVRAMとはや16GBで動くモデルの早見表で見通しが立つ。3060はあくまで「まず試す」ための一枚で、本命を見極めるための踏み台と考えると失敗が少ない。

ローカルAI主目的なら8GBより12GBを優先しやすい

予算が近いとき、新品の8GBカードと中古の3060 12GBで迷うことがある。ローカルAIを主目的にするなら、判断軸はシンプルだ。8GBは中型LLMや、追加ノード・高解像度・バッチ処理を使う画像生成ワークフローでVRAM不足に突き当たりやすく、「動かせるものの範囲」が12GBより一段狭い。新品の安心感はあるが、AI用途では容量の差がそのまま「できること」の差になる。

逆に、ゲームが主目的でAIはたまに、という使い方なら新品8GBにも十分な理由がある。この記事の読者のように「ローカルAIをやりたい」のが動機なら、同じ予算で12GBを取りにいくほうが、後悔は少ない。中古であることのリスク（保証の弱さ・使用歴の不明さ）は、状態の記載や動作確認、可能ならショップの保証付き個体を選ぶことで下げられる。

中古で買うときに確認すること

現在は中古流通が中心になるため、購入前に見ておきたい点をまとめる。

• 使用歴と状態：出品情報の使用期間・動作確認の記載を見る。極端に安い個体は、動作不良・訳あり条件・欠品・保証の有無を慎重に確認する。可能なら短期でも保証のあるショップ個体を選ぶ。
• 補助電源とサイズ：3060の多くは補助電源8ピン×1で足りるが、サイズはモデルによって差が大きい（コンパクトな2スロット・全長200mm前後もあれば、2.5〜2.7スロット・全長300mm超の大型OCモデルもある）。中古で買うときは搭載モデル名を確認し、手持ちケースの全長・スロット厚に収まるか、電源に8ピンPCIeの空きがあるかを見ておきたい。TGP 170Wと比較的低く、電源容量の要求も上位カードほど厳しくない。この扱いやすさは入門機の利点だ。
• 保証の有無：フリマ個体はメーカー保証切れが基本。初めての一枚で不安が残るなら、多少高くてもショップ保証付きが安心につながる。

買うべき人・次の一歩

RTX 3060 12GBが向く人：ローカルAIを初めて触る人、予算を最優先したい人、8B級のLLMやSDXLの画像生成が動けば当面満足という人。まず自分の使い方に合うかを、小さな投資で見極めたい段階の人に向いている。

最初から上を狙ったほうがいい人：毎日がっつり使う本命機にしたい人、速度が欲しい人、最初から中〜大型モデルを扱いたい人。こうした場合はRTX 5060 Ti 16GBクラスから入るほうが結果的に近道になる。さらに大型モデルや学習まで視野に入れるなら、24GBを狙う中古RTX 3090や、新品で24GBのAMD RX 7900 XTXという選択肢もある（ただしROCm対応の確認が要り、CUDA中心の環境ではNVIDIAのほうが導入しやすい）。3060で入口を体験してから、必要になった容量を見極めて上のクラスへ進む、という順序は理にかなっている。

よくある質問

Q. 新品のRTX 5060 8GBと中古の3060 12GB、ローカルAIならどっち？
A. 二軸で考えたい。RTX 5060 8GBは公称帯域が約448GB/sと3060の約360GB/sより広く新世代機能もあるため、8GB以内に収まる処理では速度で有利になりやすい。一方、8GBを超えるモデルや画像生成ワークフローでは3060の12GB容量が効く。AI用途だから一律に3060が上とは限らず、扱う処理が8GBに収まるかで選ぶのが実際的だ（価格帯も異なるため実売確認を）。

Q. 画像生成はどこまでできる？
A. SDXLは素直に動く。FLUX.1 dev系（12B）も、量子化モデルやNunchaku等の省メモリ実装を使えば生成できる。ただし大きな解像度やバッチ処理には余裕が乏しく、そこは16GB以上のほうが設定に余裕がある。

Q. これから何年くらい戦える？
A. 用途による。小型モデルの入門用途なら当面使えるが、モデルはどんどん大きくなる傾向にあるため、大型モデルを追いかけたいなら早めに上のクラスを検討することになる。「入口」として割り切るのが現実的だ。

Q. 電源はどれくらい必要？
A. NVIDIAの推奨システム電力は550Wで、一般的な構成では目安になる。ただしCPU構成や搭載機器、電源の品質・経年でも必要容量は変わる。上位カードほど電源を選ばないのは、入門機としての利点だ。

購入候補と価格の目安

入口として3060 12GBを選ぶ場合と、最初から一段上を狙う場合の候補を挙げる。価格は変動するので最新の実売を確認すること。

参考資料

• NVIDIA公式: GeForce RTX 3060 ファミリー（VRAM・CUDAコア・カード消費電力などの仕様）
• TechPowerUp GPU Database: GeForce RTX 3060 12GB（詳細スペック）
• プライスランク: GeForce RTX 3060 中古価格の比較（2026年時点の相場参照）
• オークファン: RTX 3060 落札相場（中古実売の目安）
• NVIDIA公式: GeForce RTX 50シリーズ（RTX 5060 の仕様・帯域448GB/s）
• Qwen公式: Qwen3-8B GGUF（Q4_K_M のモデルサイズ確認）
• Qwen公式: Qwen3-14B GGUF（Q4_K_M ≈ 約9GB）
• OpenAI公式: gpt-oss-20b モデルカード（約20.9B・目安16GB）
• Nunchaku（SVDQuant）: FLUX.1向け4bit省メモリ推論エンジン
• AMD公式: ROCm on Radeon Windows 互換性（RX 7900 XTX＝RDNA3/gfx1100）