RTX 5080 16GBで12B〜14B級ローカルLLMを比較｜4モデルのVRAM・速度・ピーク電力実測

この記事では、モデル名の上で12B〜14BとされるローカルLLMを「12B〜14B級」と呼ぶ。名前に付く数字はサイズクラスの呼称で、実際のパラメータ数とは厳密には一致しない（Gemma 4 12Bは公称11.95B、Qwen3 14Bは14.8B）。

VRAM 16GBのGPUを用意したとき、この帯のモデルをどう選ぶか。当サイトの検証環境で4本を同一条件で測ったところ、この4本のあいだでは生成速度にほとんど差が付きませんでした。差が出たのはVRAM使用量とピーク電力です。この記事は、個別のモデル名ではなく何を基準に選ぶかを軸に、判断に使える数字を並べます。

基準1: VRAM 16GBに全層が載るか

最初に決まるのは容量です。1枚のGPUに全体が収まればGPU上で完結します。収まらない場合は、構成に応じて複数GPUへの分散やCPU側への退避（オフロード）が起きます。とくにCPUオフロードが入ると速度は大きく落ちるため、この境目が選定の一番外側の枠になります。

4本をRTX 5060 Ti 16GBで測ったときのVRAM使用量です。このカードはOSの画面表示を担当していないため、表示由来のVRAM使用が乗りにくい。容量判定にはこちらを使います。

残りは、このカードが nvidia-smi 上で報告する総VRAM 16,311MiB（約15.93GiB）から引いた値です。製品表記の「16GB」をそのまま16.00GiBとして引いた数ではありません。この4本は、いずれも余裕を持って収まりました。ただし必要なVRAMはパラメータ数と量子化だけで決まるわけではなく、レイヤー構成やアテンションの方式、埋め込み層の大きさ、ランタイム側のバッファでも変わります。同じ12B〜14B級でも別のモデルが同じように収まるとは限らないので、新しいモデルを試すときは実際に読み込んで確認してください。

逆に載りきらない場合は、動かないのではなく遅くなります。VRAMが足りないときの挙動と対処はVRAM不足でLLMが起動しないときのOOMリスクと対処で扱っています。

基準2: 生成速度はモデルで変わるか

この4本については、ほとんど変わりませんでした。RTX 5080 16GBで同一条件（Ollama 0.32.3・num_ctx=8192・think=false・出力512トークン・同一プロンプト・3回の中央値）で測った値です。

生成速度の開きは最大で1.9%。公称12Bと14Bの2クラスにまたがる4本ですが、速度はほぼ横並びでした。512トークンを出し切るまでの合計で見ても6.82〜7.18秒、開きは約5%に収まります。

つまりこの4本から選ぶなら、速いモデルを探すという選び方はあまり意味を持ちません。判断は次の基準へ移ります。別のモデルを候補に入れる場合は、同じように差が小さいとは限らないので測り直してください。

なお、モデルが読み込まれていない状態から呼ぶと、この値は4本とも6.10〜8.02秒まで跳ね上がります。中身はほぼモデルの読み込み時間（5.98〜7.89秒）です。今回のように入力が52トークンと短い場合、未ロードからの待ち時間はほとんどがモデルの読み込みで占められました。この再ロード待ちは OLLAMA_KEEP_ALIVE で常駐させれば避けられます。入力が長くなればプロンプト処理の側も効いてくるため、常に読み込みが支配的とは限りません。常駐運用の設定はOllamaを常駐・並列運用する実運用設定で扱っています。

基準3: VRAM使用量とピーク電力——ここで差が出る

速度差が小さかったため、今回測ったハードウェア面の指標ではVRAM使用量とピーク電力に差が出ました。RTX 5080で、生成中のカード単体のボード電力を連続サンプリングし、その最大値を取った値です。

ピーク電力は最小と最大で44.1Wの差。VRAMは8.35GiBと10.12GiBで1.8GiB近く違います。速度が1.9%しか変わらないので、ハードウェア面で4本を分けているのはこの2つでした（生成品質は測っていません。後述）。

RTX 5080のTotal Graphics Powerはメーカー公称360Wで、今回の最大301.7Wは公称の約84%にあたります。NVIDIAは必要システム電源を850Wとしていますが、これは特定の構成を基準にした値で、実際の必要容量はCPUや周辺構成、カードメーカーによって変わります。手元のカードの推奨値も確認してください。

基準4: 1ランク下のGPUではどうなるか

同じ16GBでもGPUが変われば速度は変わります。RTX 5060 Ti 16GBで同じ4本を測った値です。

4本とも全層常駐したうえで、速度はRTX 5080比で12Bの2本が約61%、14Bの2本が約57%でした。パラメータ数が多い側で比が下がる形になっていますが、4本の観測なので、この比率を他のモデルへそのまま当てはめることはできません。

ピーク電力は155.2〜174.2Wと、RTX 5080の6割程度でした。今回の4本はRTX 5080 16GBとRTX 5060 Ti 16GBの両方で全層常駐し、差が出たのは生成速度とピーク電力でした。

VRAMが12GBの世代（RTX 5070やRTX 4070 SUPERなど）になると話が変わります。14Bの2本は num_ctx=8192 の時点で9.90〜10.12GiBを使っており、12GB GPUなら残りは約2GiB前後まで小さくなります。そこにOSの画面表示や常駐プロセスのぶんも乗るため、実際の余裕は使う環境で変わります。8GB世代については、今回16GBカードで測った使用量が最小でも8.35GiBだったことから、単一の8GB GPUへの全層常駐は見込めません（8GB GPU自体では測っていません）。複数GPUへの分散やCPUオフロードが必要になり、ここに挙げた速度は出ません。

基準5: コンテキストを伸ばすとどうなるか

ここまでの数値はすべて num_ctx=8192 での測定です。コンテキスト長を伸ばすと、入力を保持するKVキャッシュの分だけVRAM使用量が増えます。上の「16GB枠の残り5.8〜7.6GiB」は、この増分を吸収するための余裕にあたります。

増える量はモデルのレイヤー数やアテンション構成（GQA/MQAの有無など）で変わるため、一律には決まりません。当サイトでは8192以外のコンテキスト長では測っていないので、具体的な増分は示しません。長いコンテキストで運用する予定があるなら、実際に使う長さで一度VRAM使用量を確認するのが確実です。

Ollamaはコーディングツールやエージェント用途に64K以上のコンテキストを推奨しています。その領域に本記事の数値をそのまま当てはめることはできません。長文でVRAMがどう膨らむかはVRAM不足でLLMが起動しないときのOOMリスクと対処を参照してください。

基準6: 量子化を上げるとどうなるか

本記事の数値は、いずれもOllamaの公式ライブラリで配布されているQ4_K_M版を使った測定です。より情報量の多い量子化に上げると、必要なVRAMは増えます。

ただし増え方はモデルによって違います。今回扱った4本のQ8_0版は、Ollama公式ライブラリの表示で12Bの2本が約13GB、14Bの2本が約16GBです。ただしこれはOllamaライブラリに表示される配布サイズであって、実行時のVRAM使用量ではありません。コンテキストのKVキャッシュやランタイム側のバッファは別に要ります。12Bの2本は配布サイズだけ見れば16GB未満ですが、Q8_0での実行時VRAMは測っていないので、全層常駐できるとは断定できません。14Bの2本は配布サイズだけで約16GBと表示されるため、全層常駐はかなり厳しいと見込まれます（これも未実測です）。「Q8にするなら上位GPUが必要」と一律に言えるものではなく、モデルごとに実際に読み込んで確かめる必要があります。

用途で選ぶなら——ただし品質は測っていない

ここまでの基準は、どれも速度・容量・電力という測れる軸でした。一方で「コード生成が得意か」「翻訳が安定するか」といった品質は、本記事では一切測定していません。同じ課題を解かせて出力を比べる、という検証はしていないためです。

そのうえで、各モデルの公式が掲げている設計目標を整理すると次のようになります。これは当サイトの実測ではなく、開発元の主張です。

コーディング用途にPhi-4、多言語用途にQwen3という整理は、この設計目標に沿ったものです。ただし当サイトが数字で裏づけたわけではないので、実際の用途で試して確かめてください。コード生成に特化したモデルとの比較はコーディング用ローカルLLMの横断比較、翻訳用途は翻訳用LLM比較で扱っています。

Gemma 4 12B単体の詳細はVRAM 16GBでGemma 4 12Bを動かすにまとめてあります。

測定条件

4モデル×2GPUの8件すべてを、2026年8月17日に同一条件で測っています。

測っていないこと

• 生成品質。コード・翻訳・要約のいずれについても、モデル間で出力を比較していない
• 消費電力量（Wh）と電気代。測っているのはピーク電力だけで、生成中の平均電力や時間積分は取っていない
• 量子化形式ごとの品質差。測定はQ4_K_M版のみ
• num_ctx=8192 以外のコンテキスト長。KVキャッシュの増分も未計測
• 2枚のGPUにまたがせた場合の挙動。今回はいずれも1枚に収まっている
• 今回の4本以外のモデル、および16GB以外のVRAM容量での実測
• 壁のコンセントで測ったシステム全体の消費電力

よくある質問

Q. この4本ならどれを選べばいいですか

速度で選ぶ理由はありません（開き1.9%）。VRAMの余裕を残したい、あるいはピーク電力を抑えたいならGemma系（8.35〜9.22GiB / 257.6〜262.2W）。用途が明確ならその用途を掲げているモデル、という順で決めるのが実測から言えることです。ただし用途への適性は当サイトでは測っていないので、最後は実際のタスクで試してください。

Q. VRAM 16GBで足りますか

今回の4本については足りました。実測で8.35〜10.12GiBなので、16GB枠に5.8〜7.6GiBの余裕が残っています。コンテキストを大きく伸ばす場合は、この余裕をKVキャッシュが食う点に注意してください。別のモデルを使うなら、同じ帯でも実際に読み込んで確認するのが確実です。

Q. RTX 5060 Ti 16GBでも実用になりますか

少なくとも今回測った範囲では、生成速度とVRAM常駐の面で問題なく動きました。4本とも全層常駐したうえで、43.56〜47.56 tok/sを記録。RTX 5080比では12Bの2本が約61%、14Bの2本が約57%でした。ピーク電力も155.2〜174.2Wと軽い。用途に足りるかは扱う文章量や求める応答の速さによります。

Q. モデルが世代交代したらこの記事は使えなくなりますか

使えるのは基準の部分だけです。「16GBに全層載るか」「速度」「ピーク電力とVRAM」「コンテキストを伸ばしたときの余裕」「品質は別途確かめる」という見方は、後継モデルにもそのまま当てはまります。一方で「16GBに収まる」「速度差は2%以内」「1ランク下で6割前後」といった数値は、今回の4本を測った結果であって、新しいモデルには引き継げません。銘柄が変わったら測り直してください。

Q. 最初の応答が遅いのですが

モデルが読み込まれていない状態から呼ぶと、ロードと入力処理の合計が4本とも6.10〜8.02秒かかります。中身はほぼ読み込み時間です。OLLAMA_KEEP_ALIVE でモデルを常駐させれば、この部分は0.12〜0.44秒まで下がります（出力を書き出す時間は別途かかります）。

まとめ

• 測ったのはGemma 3 12B / Gemma 4 12B / Phi-4 14B / Qwen3 14BのQ4_K_M版。この4本はVRAM 16GBに全層常駐した（8.35〜10.12GiB、余裕5.8〜7.6GiB）
• 4本のあいだでは速度で選ぶ意味が薄い。RTX 5080で75.92〜77.40 tok/s、開きは1.9%
• 実際の選定軸はVRAM使用量とピーク電力（257.6〜301.7W）。消費電力量は測っていないため電気代の比較はできない。用途への適性も測っていない
• RTX 5060 Ti 16GBでも4本とも全層常駐。速度はRTX 5080比で12Bの2本が約61%、14Bの2本が約57%

参考資料

• Ollama 公式: モデルライブラリ（タグと配布サイズ）
• Ollama Docs: Context length（コンテキスト長と必要メモリ）
• GeForce RTX 5080 公式スペック（NVIDIA）
• GeForce RTX 5060 ファミリー公式スペック（NVIDIA）
• Phi-4 Technical Report（Microsoft Research）
• Qwen3 公式アナウンス（Qwen Team）

本記事は AIハードウェア図鑑 が記載時点の情報をもとに執筆。製品アップデートや第三者ベンチマーク・価格・対応ランタイム等の変動で評価が変わる可能性がある。一定期間経過した内容は再検証を推奨する。