Nemotron 3 Nanoを16GBで実測｜Mambaハイブリッドの生成速度とVRAM、Qwen3.6 35B-A3Bと比較（RTX 5080/5060 Ti）

Mambaハイブリッドの「速い」を16GBで実測する

ローカルでLLMを動かすとき、生成速度（毎秒トークン数、tok/s）とVRAMの収まり方は体感とコストを直接左右する。近年は、注意機構（attention）だけで組むTransformerに対し、状態空間モデル（SSM、state space model）であるMamba-2を主体に据えたハイブリッド構成のモデルが「同じ規模でも速い」とうたって出てきている。NVIDIAが公開したNemotron 3 Nanoはその一つで、Mamba-2を主体にしたハイブリッド構成をとる。大きい30B-A3BはそこにMoE（混合エキスパート）を重ねて活性分だけを動かし、軽い4BはMamba-2とMLP層に少数の注意層を加えて組む。いずれも、計算量を抑えて高い処理速度を狙う設計だ。

速いという主張は、手元のGPUで実際に測ってみないと実寸がつかめない。この記事では、Nemotron 3 Nanoの4Bと30B-A3Bを、RTX 5080（16GB）とRTX 5060 Ti（16GB）でローカル実行し、生成速度・VRAM・16GBに収まるかどうかを実測した。比較対象として、同じ活性3B級ながら別系統のMoEであるqwen3.6:35b-a3bを同条件で並べている。仕様はNVIDIAの公式情報を軸に、速度・VRAMは当サイトでの実測値を分けて示す。測った次元（速度・VRAM）と測っていない次元（生成品質）は同じ強さで語らない。

Nemotron 3 Nanoとは：構成とライセンス

Nemotron 3 Nanoは、NVIDIAが2025年12月に公開したNemotron 3ファミリーの小型系列だ。ローカル実行を想定したサイズとして4Bと30B-A3Bがあり、上位系列にSuper 120B-A12B、さらにNano 30B-A3Bを土台にしたマルチモーダル派生のNemotron 3 Nano Omniも展開されている。ライセンスはNVIDIA Nemotron Open Model Licenseで、公式は商用利用可としている。Apache 2.0のような汎用オープンライセンスではなくNVIDIA独自の条項なので、製品に組み込む前にライセンス本文を確認しておくのが安全だ。対応言語はモデルによって異なり、後述するように30B-A3Bと4Bで扱いが違う。

中核となる30B-A3Bは、総量30B級のMoEだ（NVIDIAのファミリーページでは31.6B総量と表記）。トークンあたりに動く活性パラメータは、HFモデルカードでは3.5B、NVIDIAページでは3.2B active（埋め込み込み3.6B）と数え方で幅があり、本稿では丸めて「活性3B級」と呼ぶ。エキスパートは128の routed と1つの shared からなり、トークンごとに6つが選ばれて動く。この MoE を Mamba-2 と注意層に重ねた構成で、層構成は公式によればMamba-2層が23・MoE層が23・注意層が6の計52層、注意層はグループ化クエリ注意（GQA）を使う。公式の対応言語は英語・ドイツ語・スペイン語・フランス語・イタリア語に加え日本語が含まれる。文脈長は最大1Mトークンに対応する（ただしHugging Faceの既定設定はVRAMの都合で256k）。推論（thinking）モードも備え、チャットテンプレートのフラグで切り替える。

軽量側の4Bは、9B版からNemotron Elasticで圧縮された約4Bのモデルだ。30B-A3BのようなMoEではなく、Mamba-2とMLP層を主体に注意層を4つ加えたハイブリッドで、公式の説明では42層（内訳はMamba 21・注意 4・MLP 17）。文脈長は公式モデルカードで最大262K、Ollamaのタグ表示では256Kコンテキストとされる。主な対応言語は英語・コード用途として記載されており、日本語での実用性は手元の用途で別途確かめた方がよい。NVIDIAは命令追従（IFBench／IFEval）やエージェント系のタスクで同サイズ帯のSOTAを主張している。Jetson Orin Nano 8GB＋Q4_K_Mで18 tok/s、同プラットフォームで旧Nemotron Nano 9B v2の最大2倍の処理速度、というのが公式の数字だ。

なぜ速いとされるのか：Mamba-2＋MoEの二段構え

速さの根拠は二つある（ここは30B-A3Bの話で、MoEを持たない4Bには当てはまらない）。ひとつはMoEで、30B-A3Bは30Bの重みを持ちながら、推論時に動くのは活性3B級分だけだ。計算量が活性分で済むので、同じ重み規模のdenseモデルより速くなりやすい。当サイトでもMoEがdense型より電力あたりの生成速度で効率的なことは実測している。この活性の小ささは速度だけでなくVRAMの収まり方にも関わる。重み全体の30Bはメモリに置く必要がある一方、一度に動くのは6エキスパート分だけなので、全量をVRAMに載せきれれば活性分を高速に回せる。逆に重みが収まらずオフロードが要る状況になると、この利点は崩れる。後述するように30B-A3Bが単体16GBでクラッシュしたのは、「重みは大きいが活性は小さい」MoEの性質に加え、Mamba-2を含むハイブリッド層の実行経路が部分オフロードと相性悪く出た可能性が重なったとみられる。

もうひとつがMamba-2だ。Transformerの注意機構は入力長に対して計算量が二次で増えるのに対し、状態空間モデルは入力長にほぼ比例（near-linear）する計算で済み、過去の文脈を小さくほぼ一定サイズの内部状態にまとめながら進める。長い入力を読み込むプリフィル（prompt処理）の局面ほど、この差が時間に現れる。Nemotronは注意層を6つだけ残し、残りをMamba-2とMoEで構成することで、注意機構の重さを抑えつつ長文に強い、という狙いだ。実際、NVIDIAはRULERの長文ベンチで、256kでNemotron 92.9に対しQwen3 89.4、512kで91.3対84.0、1Mで86.3対77.5と、文脈が伸びるほど差が開くと報告している（公式の主張値）。同じSSMハイブリッドの系譜としては、視覚言語モデル側のMamba-2ハイブリッドのZamba2-VLもある。

実測の条件

数字の出所をそろえるため、計測条件を先に示す。推論エンジンはOllama（0.30.7、llama.cpp系）。モデルはOllama公式ライブラリのnemotron-3-nano:4bとnemotron-3-nano:30b-a3b-q4_K_M、量子化はQ4_K_M。比較対象はqwen3.6:35b-a3b（同じく活性3B級MoE・約23GB）。GPUはRTX 5080（16GB）単体、またはRTX 5080＋RTX 5060 Tiのデュアル（合算32GB）。各モデルとも同一プロンプトで3回生成し平均、生成上限256トークン、温度0.7、seed固定、コンテキスト8192、推論（thinking）はオフで統一した。VRAMはollama側の値とnvidia-smiで実載を確認している。比較対象にqwen3.6:35b-a3bを選んだのは、総パラメータこそ35Bと30Bで違うものの、どちらも活性3B級のMoEで活性スケールがそろうためだ。ただし量子化はNemotronがQ4_K_M、qwen側は手元の既存タグ（約23GB）で、ビット幅の細部までは一致していない。したがって以下はアーキテクチャ単独を切り出した比較ではなく、同じ活性帯・同じ推論エンジン・同じプロンプトでのスループット比較として読んでほしい。生成品質や日本語の精度は今回の計測対象外で、用途に合うかは別途、自分のデータで確かめる前提になる。

実測結果：4Bは16GB余裕、30B-A3Bは構成を選ぶ

数字を順に読む。4Bは5080単体で生成205.7 tok/s、VRAMは3.0GBで全層がGPUに載りオフロードなし。16GBに対して圧倒的に余裕があり、軽量モデルとしては速い部類だ。3回の振れも205.98／206.82／204.18とほぼ一定で、再現性は高い。NVIDIAは4Bを命令追従（IFBench／IFEval）や軽量エージェントで同サイズ帯のSOTAと位置づけ、Jetson Orin Nano級の小型機でも18 tok/s前後で動くとしている。16GBのGPUなら3GBしか使わないので、ほかのモデルやアプリと同居させる余地も大きい。30B-A3Bが構成を選ぶのに対し、4Bは「一枚で確実に速く回る」側の選択肢になる。

問題は30B-A3Bだ。Q4_K_Mでもファイルは約24GBあり、16GB単体には収まらない。Ollamaは収まらない分をシステムRAMへ退避（オフロード）して動かそうとするが、ここでロードに失敗してクラッシュした（CUDA error: shared object initialization failed、終了コード0xc0000409）。GGUF上のアーキテクチャはnemotron_h_moeで、SSM（conv kernel 4・状態サイズ128）とMoEが混在する。このハイブリッド構成は、層の一部をCPU側へオフロードする経路と相性が悪く、今回の環境（Ollama 0.30.7）では16GB単体での部分オフロードが通らなかった。対照のqwen3.6:35b-a3bは同じ16GB単体で38%をオフロードしつつ63.2 tok/sで動いたので、単純なVRAM不足というより、Nemotronのハイブリッド層を含む実行経路が、今回の環境（Ollama 0.30.7）で部分オフロードと相性悪く出た可能性がある。公式に「オフロード非対応」と明記されているわけではなく、あくまで今回の観察だ。

一方、5080と5060 Tiのデュアルで合算32GBにすると、30B-A3Bは24.4GBが全量VRAMに載り（オフロード0%）、生成142.0 tok/sで安定して動いた。このときVRAMは5080側に約13.7GB、5060 Ti側に約11.2GBと分かれて載り、合算24.4GBがすべてGPU上にある状態だった。3回の生成は142.10／141.87／141.98 tok/sとほぼ一定で、二枚にまたがっても速度のばらつきは小さい。GPUをまたぐと帯域がボトルネックになる懸念はあるが、活性3B級のMoEは一度に動く重みが小さいため、またぎのコストが速度に大きく響かなかったとみられる。つまり30B-A3Bを動かすには、オフロードに頼らずVRAMに収めきれる構成――16GB二枚のデュアル、あるいは24GB以上の単体GPU――が要る、というのが実測の結論になる。16GBが一枚なら4B、二枚そろうなら30B-A3B、という住み分けだ。

Mamba-2主体のNemotronは、同じ活性3B級のqwen3.6:35b-a3bより速かった

同じデュアル32GB・同条件で、Nemotron 30B-A3Bとqwen3.6:35b-a3bを並べると差が出た。生成速度は142.0対119.2 tok/sでNemotronが約19%速い。さらに差が大きいのがprompt処理（プリフィル）で、1455対798 tok/sと約1.8倍開いた。長い入力を読み込む段で効くプリフィルの速さは、注意機構を6層に絞りMamba-2主体にした構成の狙いどおりの方向で、前述のNVIDIAの長文ベンチの主張とも整合する。

プリフィルの速さが効くのは、長いプロンプトを毎回読み込ませる使い方だ。検索結果や文書を文脈に詰めて答えさせるRAG、長い会話履歴を抱えるエージェント、コードベースをまとめて渡す用途では、生成が始まる前にこのプリフィルが待ち時間として現れる。ここが約1.8倍速いということは、投げる文脈が長いほど初回応答までの体感差が開くことを意味する。Nemotronが文脈長1M（既定256k）を掲げ、長文ベンチで差を主張しているのは、この設計の延長線上にある。逆に、短いプロンプトで短い応答を返すような使い方では、プリフィルの比重が小さく差は縮むので、自分の典型的な入力長で測るのが実態に近い。

ただしこの比較は、アーキテクチャだけを切り出した実験ではない。Nemotron 30B-A3B（総30B）とqwen3.6:35b-a3b（総35B）は別のモデルだ。しかもqwen3.6:35b-a3b自体もGated DeltaNet／Gated Attentionを組み合わせたハイブリッドMoEで、純粋なTransformerではない。つまり「Mamba対Transformer」という単純な対立ではなく、別系統のハイブリッドMoE同士の比較になっている。学習データも量子化の細部も違うため、速度差にはアーキテクチャの寄与とモデルそのものの違いが混ざっている。ここで測ったのはあくまで当サイト環境での速度とVRAMであって、生成品質や日本語の自然さ、タスク精度を比べたものではない。「Mambaハイブリッドの方が常に優れている」と読むのは行き過ぎで、「同じ活性3B級・同条件のスループットでは、今回Nemotronが速かった」というのが正確な言い方だ。なお、qwen3.6:35b-a3bはデュアルで119.2 tok/s、単体16GB（オフロード38%）で63.2 tok/sと、二枚にすることで約1.9倍に伸びており、これは2枚目でオフロードを解消すると約1.9倍になるという既出の実測とも一致する。

16GBで動かすには：現実的な選び方

手元の構成別に整理する。16GBが一枚なら、素直に動くのは4Bだ。3.0GBしか使わず205 tok/sと速く、命令追従系のタスクに向く。30B-A3Bを単体16GBで動かそうとするとオフロードでクラッシュしたため、無理に載せる使い方は今のところ勧めにくい。30B-A3Bを使いたいなら、16GBを二枚のデュアル（合算32GB）か、24GB以上の単体GPUを用意して、VRAMに全量を収めるのが前提になる。デュアルなら142 tok/sと十分に実用的だ。

量子化の選択も効く。今回はQ4_K_Mで24GBに収まり、デュアルなら余裕をもって載った。より高精度のQ8_0は約34GB、フル精度のBF16は63GBに達するので、ローカルで現実的なのはQ4_K_M前後になる。なお推論（thinking）モードは既定で有効なため、速度を測る・対話の応答を速くしたい用途では、thinkingの扱いを明示的に切るかどうかを決めておくとよい。

使いどころと向き不向き

まとめると、Nemotron 3 Nanoは「軽量4Bを16GBで速く回す」か「30B-A3Bをデュアル／24GB超でVRAMに収めて回す」かのどちらかで力を発揮する。Mamba-2主体のNemotronは、同じ活性3B級ながら別系統（Gated DeltaNet／Gated Attention系）のqwen3.6:35b-a3bに対し、今回の実測で生成・プリフィルとも速かった。一方で30B-A3Bは16GB単体のオフロードに乗らないという制約があり、構成を選ぶモデルだといえる。

再現手順：手元で試すには

Nemotron 3 NanoはOllamaの公式ライブラリにあり、導入そのものは重くない。4Bは ollama pull nemotron-3-nano:4b（約2.8GB）で入り、16GB一枚にそのまま載って動く。30B-A3Bは ollama pull nemotron-3-nano:30b-a3b-q4_K_M（約24GB）で、Q8_0（約34GB）やfp16（約63GB）のタグもあるが、ローカルで現実的なのはQ4_K_M前後だ。アーキテクチャがMamba-2を含む（GGUF上は nemotron_h_moe）ため、対応はOllama 0.30系以降を使うのが無難で、今回は0.30.7で4B・30B-A3Bとも動作した。

30B-A3Bをデュアルで動かす場合は、両GPUを1つの推論インスタンスに束ねて合算VRAMを使う構成にする。単体16GBで30B-A3Bを読み込ませると、本記事のとおりオフロード時にクラッシュし得るので、まずVRAMに全量が収まる構成かを先に確かめるとよい。読み込み後は nvidia-smi とollamaの応答でVRAMの実載とオフロード率を確認し、想定どおり0%でGPUに載っているかを見る。速度を測るときは、同一プロンプトで複数回まわして平均を取り、推論（thinking）モードを切って条件をそろえると、数字が安定して比べやすい。最初の1回はモデル読み込み時間が乗るので、計測からは外すか別に記録するのが正確だ。

まとめ

Nemotron 3 Nano（NVIDIA Nemotron Open Model License・商用可）を16GBで実測したところ、4Bは5080単体で205 tok/s・VRAM 3.0GBと16GBに楽々収まり、30B-A3B（Q4_K_M・24GB）は単体16GBではオフロード時にクラッシュ、デュアル32GBで142 tok/sと安定動作した。同条件のqwen3.6:35b-a3bとの比較では、生成で約19%・プリフィルで約1.8倍速かった（両者とも別系統のハイブリッドMoEで、差にはモデルそのものの違いも混ざる）。ただし測ったのは速度とVRAMで、生成品質は別途の評価が要る。16GB一枚なら4B、二枚そろえば30B-A3B、という基準で選ぶのが現実的だ。Mamba-2を主体にしたハイブリッドは、同じ活性規模でも速度とVRAMの振る舞いが従来の構成と違って出ることがある。この系統が増えるほど、ローカルでの評価は「何tok/s出るか」だけでなく「どの構成なら収まるか」まで含めて見る必要が増していく。

参考資料

• NVIDIA Nemotron 3 Family（公式・モデル概要／アーキテクチャ）: https://research.nvidia.com/labs/nemotron/Nemotron-3/
• Hugging Face — nvidia/NVIDIA-Nemotron-3-Nano-30B-A3B-BF16（仕様・ライセンス・RULER・層構成）: https://huggingface.co/nvidia/NVIDIA-Nemotron-3-Nano-30B-A3B-BF16
• Hugging Face Blog — Nemotron 3 Nano 4B（4B構成・Nemotron Elastic圧縮・スループット）: https://huggingface.co/blog/nvidia/nemotron-3-nano-4b
• Unsloth — Nemotron 3 Nano 実行ガイド（GGUF／llama.cpp／VRAM目安）: https://unsloth.ai/docs/models/nemotron-3
• Ollama Library — nemotron-3-nano（タグ・サイズ）: https://ollama.com/library/nemotron-3-nano