GPUのコア数はAI性能にどこまで効くか｜演算精度とメモリ帯域で変わる速度の出方

CUDAコアが何をする演算ユニットかはCUDAコアとは？数が多いと何が変わるのかGPU選びの基本で扱いました。この記事で扱うのは、その本数がAIの実速度にどこまで効くのか、効かない分はどの数字が決めているのかです。

CUDAコア数だけを見ると、GeForce RTX 4090の16,384基はRTX 5080の10,752基を大きく上回ります。ところがPuget Systemsの検証では、llama.cppのトークン生成でRTX 5080がRTX 4090にわずかに届かない水準まで着けました。数が5割以上多いはずのGPUに、ほぼ並ぶ。カタログの数字と体感速度がずれるのは、AIワークロードで動いている部分がコアの本数だけではないからです。

この記事では、GPUのスペック欄に並ぶ数字を「CUDAコア数」「演算精度と行列積ユニット」「メモリ帯域」の3つに分解し、それぞれがどのフェーズの速度を決めるのかを整理します。VRAM容量は速度の目盛りではなく、載るか載らないかのゲートとして別枠で扱う。この順番が入れ替わると、用途に合わない構成を選びやすくなります。

CUDAコア数が2倍でもAIが2倍速くならない理由

NVIDIAはGeForce RTX 50シリーズの仕様表で、CUDAコア数とTensorコア（AI TOPS）を別項目として並べています。RTX 5080はCUDAコア10,752基に対して第5世代Tensorコアが1,801 AI TOPS、RTX 5070はCUDAコア6,144基に対して988 AI TOPS。AI性能の指標がCUDAコア数ではなくTensorコア側に紐づけられている点が、公式の表記から読み取れます。AIで多用される行列積は、対応する精度・カーネルではTensorコアによって大きく高速化されます。ただし、すべての行列積がTensorコアだけで処理されるわけではありません。CUDA側でも通常のFP32演算による行列積はできますし、cuBLASは条件・精度・カーネルによってTensorコア経路と非Tensorコア経路を使い分けます。llama.cppも量子化モデル向けの独自CUDAカーネル（int8テンソルコアを使う実装を含む）とcuBLASを使い分けており、実際の利用率はバックエンドや精度、カーネル実装によって変わります。

もうひとつ、演算器の数を増やしても解決しない問題があります。演算器に流し込むデータの供給速度です。Imaginationの公式ブログは、数値形式の低ビット化について次のように書いています。

AI workloads feature matrix multiplications in a variety of number formats, such as INT8, FP4, FP8, FP16 and BF16. Lower precision entails higher levels of acceleration. While memory bandwidth savings are immediately realised, scaling the arithmetic performance remains a challenge at lower bitwidths.

（出典: Imagination Technologies 公式ブログ https://blog.imaginationtech.com/how-to-scale-ai-arithmetic-efficiently ）

ビット幅を下げるとメモリ帯域の節約は即座に実現するが、演算性能の方をスケールさせるのは依然として難しい。ここに書かれている「帯域で効く分」と「演算器で効く分」が別レイヤだという構図が、この記事全体の見取り図になります。スペック表の欄に置き換えると、CUDAコア数・演算精度と対応フォーマット・メモリ帯域の3つ。そしてこれらとは性格の違うVRAM容量が、別枠のゲートとして立っています。

コア数が示しているのは並列演算資源の規模

複数の精度を違う速度で出し分ける仕組みは、AI以前から存在しました。SIMDベクトルユニットがそれです。Imaginationの説明によれば、256ビット幅のデータパスを持つベクトルユニットは、FP64なら4本、FP32なら8本、FP16なら16本の積和演算を並列に実行できます。同じ幅の配線に、形式が半分になれば倍の本数が通る。この時点で「何本並ぶか」は形式次第だと分かります。

ただしベクトルユニットは混合精度の機械学習には向きません。累算をより広い形式で行って精度を確保する必要があり、単一形式に特化した融合ドット積ほどの性能密度も出ないためです。カタログのコア数から読めるのも、この「どれだけ並べられるか」に相当する規模までです。同一世代内で並列演算資源の規模を見る一指標にあたります。1回あたりの演算がどれだけ効率よく積めるか、そこにデータが間に合うかは、別の欄を見なければ分かりません。

演算精度で性能が変わる — INT8・FP8・FP4と行列積ユニット

行列積を実装するために必要な基本演算は、累算付きのドット積です。形は a0*b0 + … + a15*b15 + c = d。入力側のa・bベクトルが低精度で、累算に使うc・dはFP16やFP32といった高精度が使われます。項数はアーキテクチャ依存で、高い性能密度を狙うほど項数を増やす設計が採られる。上の例なら16項です。

融合ドット積が省いているもの

この演算は融合（fused）されていて、途中の正規化と丸めの一部を飛ばします。項ごとに丸め直さない分だけ、効率も精度も上がる。さらに、数値形式の組み合わせと演算段数を決め打ちにするほど、その組み合わせに最適化した回路が組めます。特化するほど効率が上がる構造です。

問題は、数値形式が増え続けていること。INT8・FP4・FP8・FP16・BF16と並ぶ現状で形式ごとに専用パイプラインを持たせると、ドット積演算器のリストが際限なく伸び、回路面積が使えるシリコン面積を超えて膨らみます。FP16とBF16のようにビット幅が同じ形式どうしなら、形式変換で同じ経路を共有できる。ただしこの方法では、ビット幅を下げたときの性能スケールは手に入りません。

INT8のハードを使い回してFP8を作る

Imaginationは、新しいE-Series GPU向けにマルチプレシジョン・ドット積ユニットを開発したと説明しています。同社の説明によれば、INT8のドット積が持つ乗算・加算回路をそのまま流用し、指数の処理と部分積のアライメント用ハードウェアだけを追加してFP8のドット積を実装する。これにより精度を維持したまま、形式ごとに別パイプラインを置く従来設計と比べて回路面積を3分の1削減したとされます。これはIP設計側のベンダー発の説明であり、E-SeriesはSoCベンダー向けに供給されるGPU IPで、単体のグラフィックスカードとして販売されるものではない点に注意してください。他社GPUのTensorコアに当てはまる一般則としては扱えません。

市販GPU側でも、低ビット化の効きは公式値で確認できます。NVIDIAはRTX 5090の理論TOPS基準で、FP4がFP32比16倍・FP8比4倍の演算スループットを持つとしています。全結合層については、同社が対FP8で最大3.1倍としています。実際の生成時間としては、FLUX.1-devを30ステップで生成した同社の測定で、FP16が10,930.96ms、FP8が6,680.93ms、FP4が3,852.75msという値が公表されています。FP16からFP4への短縮率は2.84倍です。FLUX.1-Schnellの4ステップでも、FP4が590.56ms、FP8が912.53ms。

ここで一線を引いておきます。これらは画像生成の測定であり、言語モデルのトークン生成速度に一般化できません。AI TOPS値どうしの比も理論値なのでローカルLLMの体感速度比としては読めない。演算精度が効くのは、行列積が大量に積み上がるフェーズです。

メモリ帯域が速度を決める場面、決めない場面

llama.cppのトークン生成速度は、GPUの演算性能よりもメモリ帯域に強く依存します。1トークンを出すたびにモデルの重みを読み出す必要があり、読み出し量で頭打ちになるからです。Puget Systemsが2025年2月に公開した検証では、特定モデルでのトークン生成で、RTX 5090が前世代フラッグシップのRTX 4090を約29%上回りました。この計測はBlackwell発売直後のソフトウェアスタックによるもので、その後のllama.cpp側の最適化で差は動いている可能性があります。ここで帯域を並べると、RTX 5090が1,792GB/s、RTX 4090が1.01TB/s（Puget Systems記載値）。差は約77%。速度差の29%とは開きがあります。帯域は上限を作りますが、そのまま速度差にはなりません。

コア数をほぼ揃えて帯域だけが違う組み合わせもあります。RTX 5080とRTX 4080 SUPERはCUDAコア数が10,752対10,240でほぼ横ばい、メモリ帯域は960GB/s対736GB/sで約30%広い。帯域の効きを見るには向いた対ですが、本記事はこの2枚の実測を持っていないため、速度差がどこまで出るかは言えません。冒頭に挙げたRTX 5080とRTX 4090の接近も、コア数の差がそのまま速度差にならない例として読めます。

当サイトの検証環境で計測した参考値（RTX 5080単体、およびOCuLink接続のRTX 5060 Ti 16GB単体／Ollama 0.32.3・NVIDIA driver 610.47・think=falseで統一・2026年7月30日計測）では、Phi-4 14B（Ollama: phi4:14b）が74.3 tok/sと44.0 tok/s、Qwen3 14B（Ollama: qwen3:14b）が73.1 tok/sと43.5 tok/sでした。コンテキスト長は一部のモデルでしか記録が残っておらず（記録分は8192）、この参考計測の全体が同一のnum_ctxで測られたことは確認できていません。集計方法の記録も揃っていないため、単発計測の参考値として扱ってください。この2枚はCUDAコア数だけでなくメモリ帯域も接続形態（RTX 5080=ネイティブ、RTX 5060 Ti=OCuLink）も違うため、どの軸がどれだけ効いたかはこの計測では分離できません。読み取れるのは、速度比が約1.7倍で、CUDAコア数の比（10,752基対4,608基＝約2.3倍）より小さいというところまでです。計測した14B級モデルはいずれも16GBのVRAMに収まっており、後述のとおり推論がGPU内で完結している間はOCuLink側の帯域差の影響は小さくなります。仮に残っていてもRTX 5060 Ti側を下振れさせる向きに働くため、「速度比＜コア数比」という読み取りは保守側の評価です。なお、RTX 5060 Tiの公称メモリ帯域は448GB/s（NVIDIA公式の比較ページ記載値）で、RTX 5080の960GB/sとは約2.1倍の開きがあります。

逆に、プロンプトを一気に読み込むフェーズや画像生成では行列積が積み上がるため、演算器側の性能と対応フォーマットが速度を左右します。同じGPUでも、やらせる処理によって効く数字が入れ替わる。
ただし低精度化には経路が2つあります。演算器側で効く分と、ビット幅が下がることで1トークンあたりの重み読み出し量そのものが減る分です。後者は帯域が上限を作るトークン生成にも効きます。上のImaginationの引用が「帯域の節約は即座に実現する」と述べているのがこちらで、量子化を下げることはトークン生成を速くする手段になります。低精度化がトークン生成に無関係というわけではなく、効く経路が違います。

VRAM帯域とPCIe/OCuLink帯域は別レイヤ

「帯域」という言葉は、GPU内のメモリ帯域（VRAM帯域）と、GPUとホストをつなぐPCIeやOCuLinkの帯域という、まったく別のものに同時に使われます。上で扱ったのはすべて前者。RTX 5090の512bit、RTX 5080とRTX 5070 Tiの256bit、RTX 5070の192bitといったメモリインターフェース幅は、GPUが自分のVRAMから重みを読み出す速度に関わる数字です。

後者のPCIe・OCuLink帯域は、モデルがVRAMに収まって推論がGPU内で完結している限り、生成速度への影響は小さくなります。外付けGPUは接続帯域が狭くなりますが、モデルのロード時間と推論中のスループットは同じ指標に並べられません。この2つを同じ指標として読むと、購入前の判断がずれます。

VRAM容量は速度の目盛りではなく「載るか否か」のゲート

ここまでの3つとは性格が違うのがVRAM容量です。容量は連続的な速度指標ではなく、閾値を跨いだ瞬間に挙動が切り替わるゲートとして働きます。

公式仕様で並べると分かりやすい。RTX 5070はCUDAコア6,144基・192bitで、RTX 5060 Tiよりコア数の面では上に立ちます。しかしVRAMは12GB。16GB級のVRAMを前提にしたモデル構成は載りません。RTX 5060 Ti 16GBのほうがコア数では劣るのに、載る載らないの判定では上に来る場面がある。この逆転は、容量が速度と別の性質を持つことの表れです。

閾値を跨いだ瞬間に起きること

モデルやKVキャッシュがVRAMに収まらずシステムRAMへあふれると、少し遅くなるという話では済まなくなります。PCIe転送とCPU-GPU協調のコストが乗った、別の性能領域に落ちる。どれだけ遅くなるかは構成次第なので本記事では数値を出しませんが、連続的なグラフの続きにはなりません。あふれているかどうかの手がかりは自分で確認できます。本記事後半の ollama ps で PROCESSOR が 100% GPU になっていなければ、一部または全部がCPU側で処理されています。100% CPU ならGPUがまったく使われていない状態です。いずれもGPU単体の比較値としては扱わず、VRAM不足かオフロード設定か、GPUが認識されていないのかを切り分けてください。

ソフト側も、容量を「処理条件そのものを切り替えるスイッチ」として使っています。MarkTechPostのLingBot-Mapチュートリアル実装では、利用可能なGPUのVRAMを検出し、フレーム上限・カメラ反復回数・スケールフレーム・KVキャッシュのパラメータを自動で調整する実装が採られています。容量が足りなければ処理量そのものを落として通す。速度の目盛りではなく、処理条件を書き換えるゲートとして扱われている実例です。

同じGPUでもソフト側で数字が動く

ハードの指標だけで性能が読めない理由は、実行環境側にもあります。MarkTechPostの比較記事によれば、LLMのファインチューニングで使われるUnsloth・Axolotl・TRL・LLaMA-Factoryは、いずれも同じPyTorchとHugging Faceのスタックをラップしていながら、エンジニアリングを投入している場所が違います。

同記事の整理では、Unslothはモデリングコードの一部を手書きのTritonカーネルで置き換える方向。Axolotlは並列化戦略を構成できるYAML駆動のラッパーで、Unslothから着想を得たカスタムカーネルもオプションで提供します。TRLはSFTTrainerやDPOTrainerなどのトレーナーAPIを定義する参照実装層で、AxolotlもLLaMA-Factoryもここを呼び出す。LLaMA-Factoryはモデル網羅性とゼロコード運用に寄せています。同記事はUnslothについて単一GPU学習で最大7.3倍という数字を挙げていますが、これはフレームワーク側の主張値であり、条件を確認せずに一般化はできません。

カーネル実装が変わると同じ演算器の使い方が変わる

同記事が比較の対象にしているのは、学習スループット・ピークVRAM・マルチGPUスケーリングの3つ。同じカードを挿していても、この3つの出方はソフト側で動きます。カーネルが変われば、Tensorコアに流し込む行列の形も、丸めをどこで挟むかも変わるからです。

これは推論側でも同じ。GPUを買い替える前に、実行環境の設定やバックエンドを見直すだけで数字が動く余地は残っています。

低ビット量子化が実際に要求するもの

数値形式が増えることのコストは、ハード設計側だけの話ではありません。実行環境側にも同じ圧力がかかります。

MarkTechPostのチュートリアルでは、1ビット量子化モデルであるBonsai-27Bを動かす手順が示されています。チュートリアルが手順として使っているのはPrismML版のllama.cppフォークです。Q1_0_g128というGGUF量子化形式をデコードするための専用CUDAカーネルを備えたビルドを用意し、GPUランタイムの検証、Python依存関係のインストール、モデル重みのダウンロード、CUDA対応バイナリのコンパイルという工程を経てから推論を開始する流れが示されています。ただしQ1_0という形式自体は、チュートリアル公開より前の2026年4月にupstreamのllama.cppへ統合済みです（CPU側が4月6日、CUDA側が4月15日にマージ）。PrismMLの公式ドキュメントもCPU・Metal・CUDA・Vulkanのいずれも統合済みとしています。一方でBonsai-27Bの公式モデルカードは2026年8月8日時点でもPrismMLフォークのクローンを指示しており（Q1_0_g128のハイブリッドアテンション用カーネルを含むとしています）、公式資料の間で案内が分かれています。27Bを実際に動かすならモデルカードの手順を優先し、upstreamビルドで足りるかは自分の構成で確認してください。低ビット形式では、形式そのものだけでなく対応カーネルがいつ実装されたかによって利用条件が変わります。

環境の状態は、コマンドで確認できます。GPU側の空き容量と、モデルが実際にGPUに載ったかどうかを見るのが最初のステップです。

nvidia-smi --query-gpu=name,memory.total,memory.used,power.draw --format=csv
ollama ps

ollama ps のPROCESSOR表示が100% GPUになっていなければ、一部または全部がCPU側で処理されています（100% CPU ならGPUがまったく使われていない状態です）。この状態で測った速度は、GPUの性能を見ている数字ではありません。量子化レベルと必要VRAMの関係については、姉妹サイトのQwen3.6-27B の必要スペックと Q8 量子化でモデル側から整理しています。

スペック表から実性能を読む手順

ここまでの内容を、購入前に使える順番へ落とします。手順は3ステップです。

1. 動かしたいモデルとコンテキスト長でVRAMに載るかを判定する（ゲート判定）。ここが通らないGPUは、他の数字を見る前に候補から外れます
2. 主用途がトークン生成中心ならメモリ帯域、プロンプト処理や画像生成中心なら対応する演算フォーマットとAI TOPSを見る
3. 同世代・同容量の中での相対比較に、最後にCUDAコア数を使う

ステップ2で迷ったら、自分がGPUに何をさせている時間が長いかを思い出してください。チャット的にトークンを吐かせ続けているなら帯域側、長い文書を読ませたり画像を生成したりが中心なら演算器側です。

CUDAコア数・VRAM容量・AI TOPSはNVIDIA公式の製品ページ、メモリ帯域はNVIDIA公式の比較ページ（Compare 50 Series Specs）の記載値です。個別の製品ページにはメモリ帯域の行がなく、比較ページ側にのみ掲載されています。※を付けたRTX 4090・RTX 4080 SUPERの帯域は、公式比較ページで該当行を確認できなかったため、後述するPuget Systems検証記事の記載値です。メモリインターフェース幅は、RTX 5090が512bit、RTX 5080とRTX 5070 Tiが256bit、RTX 5070が192bit、RTX 5060 Tiが128bitです。この表は同世代内での相対比較に使ってください。表にないカードでも読み方は変わりません。まず自分のVRAM容量でゲート判定し、次に製品ページのメモリインターフェース幅と対応フォーマットを見ます。FP4はRTX 50世代以降の対応なので、40系以前ならFP8やINT8までを上限として同じ手順を当てはめてください。購入前には、実際の型番の製品ページで値を確認するのが確実です。

見る順番を間違えると判断を誤る

コア数から入ると、RTX 5070（6,144基・12GB）がRTX 5060 Ti 16GB（4,608基・16GB）より上に見えます。しかし16GB級のモデルを動かしたい人にとって、この順位は逆です。ゲートを通らないGPUの演算性能は、その用途では使われません。逆に、載ることが確定した2枚を比べる段になれば、コア数と帯域の差が作業時間に効いてきます。ただし本文で見たとおり比例はしません（帯域で約77%差のRTX 5090とRTX 4090でも、特定モデルのトークン生成では約29%差）。どちらが速いかの向きは読めても、倍率はそのままにはなりません。順番の問題であって、コア数が無意味という話ではない点は押さえてください。

まとめ

GPUのコア数は、同一世代内で並列演算資源の規模を見る一指標です。AIの行列積は対応する精度・カーネルでTensorコアによって大きく高速化され、そこで扱える数値形式が実効性能を左右する。ただしすべての行列積がTensorコアだけを通るわけではなく、実際の利用率はバックエンドや実装で変わります。加えて、トークン生成のように重みの読み出し量で頭打ちになる処理では、メモリ帯域が上限を作ります。RTX 5090がRTX 4090に対して帯域で約77%上回りながら、特定モデルでのllama.cppのトークン生成では約29%差にとどまりました。帯域の差はそのまま速度差にはなりません。

買う前に見る順番は、載るかどうか、次に用途に合う指標、最後にコア数。この順で読めば、カタログの大きな数字に引っ張られて用途に合わないカードを選ぶ、という買い方は避けられます。まずは動かしたいモデルとコンテキスト長を決めるところから。

よくある質問

Q. CUDAコア数が1.5倍のGPUは、AIも1.5倍速くなりますか？

同世代・同じ用途の範囲では相関しますが、そのまま速度比にはなりません。NVIDIAの仕様表でもCUDAコア数とTensorコアのAI TOPSは別項目です。RTX 4090はCUDAコア16,384基でRTX 5080の10,752基を上回りますが、Puget Systemsが2025年2月に公開した検証では、特定モデルでのllama.cppのトークン生成でRTX 5080がRTX 4090にわずかに届かない水準まで並んでいます。

Q. FP8やFP4に対応していないGPUでは低ビットモデルは動きませんか？

ハードのフォーマット対応と、量子化形式のデコード対応は別の話です。GGUFの一部形式のように、専用カーネルを持つビルドが必要なケースもあります。Bonsai-27Bで使われるQ1_0_g128形式について、チュートリアルは専用フォークをコンパイルする手順ですが、Q1_0自体は2026年4月にupstreamのllama.cppへ統合済みです。ただし同モデルの公式カードは2026年8月8日時点でもフォークのクローンを指示しており、公式の案内が分かれています。

Q. メモリ帯域とVRAM容量はどちらを優先すべきですか？

先に見るのはVRAM容量です。容量は速度の目盛りではなく、載るか載らないかのゲートとして働きます。RTX 5070はCUDAコア6,144基・192bitですがVRAMは12GBで、16GB級を前提にした構成は載りません。容量条件を満たす候補が複数残ってから、帯域とコア数で比べてください。

Q. 外付けGPUの接続帯域は推論速度に影響しますか？

PCIeやOCuLinkはGPUとホストの間の帯域で、GPU内のメモリ帯域とは別のレイヤです。モデルがVRAMに収まって推論がGPU内で完結している間、生成速度への影響は小さくなります。ロード時間と推論中のスループットを同じ指標として並べないことが判断のポイントです。

参考資料

• Imagination Technologies 公式ブログ: How To Scale AI Arithmetic Efficiently
• NVIDIA 公式: GeForce RTX 5090 製品ページ・仕様
• NVIDIA 公式: GeForce RTX 5080 製品ページ・仕様
• NVIDIA 公式: GeForce RTX 5070 Family 製品ページ・仕様
• NVIDIA Developer Blog: TensorRT Unlocks FP4 Image Generation for Blackwell GeForce RTX 50 Series
• Puget Systems: NVIDIA GeForce RTX 5090 & 5080 AI Review
• MarkTechPost: Unsloth vs Axolotl vs TRL vs LLaMA-Factory — Speed, VRAM, and Multi-GPU
• MarkTechPost: Deploying a 1-Bit Bonsai-27B Model with PrismML llama.cpp
• MarkTechPost: LingBot-Map Tutorial — GPU-Aware Inference and Point Cloud Export