Strataで動かせるモデルと必要なメモリ｜VRAM 12GB・16GBのGPUでどれを選ぶか

Strataで動かせるモデル VRAM 12GB・16GBで選ぶ（模式図） ローカルLLM

この記事の要点

Qwen3.8-Flash-Next のサイズは Strata がメインメモリと VRAM の合計から先に選び、公式は迷ったらそれを取ればよいと案内している。早見表のメインメモリの量では、VRAM 12GB でも 16GB でも先に選ばれるサイズは同じになる。ただしメインメモリが少ない PC では、そのサイズが低RAMモード (メインメモリが足りないときに Strata が切り替える動き方) で動く。公式によると、低RAMモードのうち、エキスパート (モデルの中で、トークンごとに一部だけが使われる部品) を OS のファイルキャッシュを通して読む方式になると、カードが小さいほど大幅に遅くなる。

DeepSeek V4.1-Flash は、確かめた時点では Strata の Terminal (Strata をコマンドで使う側) だけで動く。公式の想定は VRAM 12GB のカード1枚からで、まとまった量のメインメモリと大きな NVMe の SSD も前提に入る。メインメモリ 96GB の測定機では、エンジンが報告する答えを書く速さ (tok/s) が Qwen3.8-Flash-Next よりずっと遅かった (トークンの区切り方や生成した長さは揃っていない)。

測定機で OCuLink 接続の2枚目の GPU を足すと、Gyro (メモリの少ない PC 向けの量子化) では答えを書く速さはほぼ同じでプロンプトの読み込みが遅くなった。起動時に記録したコミットの空き (Windows がほかのアプリに約束できる残り) は、どのモデルでも1枚より少なかった。

メインメモリの量で選ぶサイズの早見

Qwen3.8-Flash-Next のサイズは、迷ったら Strata が先に選ぶサイズを取ればよい、と公式の MODELS.md は書いている (ほかのサイズも選べる)。ここでいうサイズは、公式が選び方の候補として並べるファイルのことで、多くは同じモデルを量子化 (重みを少ないビット数で持たせ、ファイルとメモリを小さくすること) で小さくしたもの。別の作り手が量子化したファイルのほか、ファインチューンの Swift 1.5 や、エキスパートを半分に減らした Coder も同じ並びに入る。このうち Q2_0・IQ2_XS・IQ3_XXS・IQ3_S は、Qwen3.8-Flash-Next 本体を小さくしたものになる。Strata が先に選ぶサイズは、メインメモリ (RAM) と VRAM の合計から 5GB を引いた値が、公式の推奨の表がメモリの量ごとに分けた区分のどれに入るかで決まる。Strata の setup.py では、引いた値が 62 以上なら IQ3_S (64GB の区分)、46 以上なら IQ3_XXS (48GB の区分)、38 以上なら Swift 1.5 の IQ2_XS (40GB の区分) になる (Mac は別の規則)。38 未満は公式の区分の表では 32GB の区分で Gyro-S (コード用なら Coder) が挙がるが、実際に先に出るものは区分の境目とは別の判定で決まる (「Strataがサイズを先に選ぶ仕組み」の節)。たとえばメインメモリ 32GB に VRAM 12GB のカードなら、32 + 12 − 5 = 39 で 40GB の区分になる。早見表に挙げたメインメモリの量では、GPU (グラフィックカード) の VRAM が 12GB でも 16GB でも同じ区分に入り、先に選ばれるサイズも同じになる (当サイトの計算)。手元のメインメモリの行を見ると、VRAM 12GB と 16GB それぞれの区分と、2つの数え方で見たサイズ (区分で先に選ばれるサイズと、メインメモリだけの目安で入るサイズ) が分かる。

メインメモリ VRAM 12GB のとき (−5GB 後) VRAM 16GB のとき (−5GB 後) 区分で先に選ばれるサイズ (公式) メインメモリだけの目安で入るサイズ (公式の式)
32GB 32 + 12 − 5 = 39 → 40GB の区分 32 + 16 − 5 = 43 → 40GB の区分 Swift 1.5 の IQ2_XS (39.2GB)。もう1つの候補は Gyro-M (35GB) どのサイズも届かない (Coder でも 23 + 約10 = 33GB)。公式は、Coder がこの PC で低RAMモードで動くと書く
48GB 48 + 12 − 5 = 55 → 48GB の区分 48 + 16 − 5 = 59 → 48GB の区分 IQ3_XXS (47.0GB) Q2_0・IQ2_XS と Coder (IQ3_XXS は 43 + 約10 = 53GB で届かない)
64GB 64 + 12 − 5 = 71 → 64GB の区分 64 + 16 − 5 = 75 → 64GB の区分 IQ3_S (54.8GB)。Swift 1.5 の IQ3_S も同じ扱い 4つのサイズと Coder (IQ3_S は 50 + 約10 = 60GB で、ほかのアプリをほとんど開かない場合)。Unsloth のファイルと NVFP4 は入らない
96GB 96 + 12 − 5 = 103 → 96GB 以上の区分 96 + 16 − 5 = 107 → 96GB 以上の区分 IQ3_S を setup が先に選ぶ。公式の表はこの区分に Unsloth の UD-IQ4_XS〜Q8_0 も挙げる 4つのサイズと Coder。Unsloth は UD-IQ4_XS (約72GB) と UD-Q4_K_XL (約88GB) まで、NVFP4 (約80GB) も入る

早見表は公式の値に当サイトの計算を足したもので、当サイトの実測ではない。「区分で先に選ばれるサイズ」の列は Strata が最初に出す提案になる。サイズの後の GB は公式の区分の表が添える値で、何の大きさかは「Strataがサイズを先に選ぶ仕組み」の節で扱う。「メインメモリだけの目安で入るサイズ」の列は、エキスパート (モデルの中で、1トークンごとに一部だけが使われる部品。トークンはモデルが文章を区切って扱う単位で、1語とは限らない) を全部メインメモリに置ける目安で、公式は、メインメモリが「エキスパートの大きさ + 約10GB (Windows とほかのアプリのぶん)」あれば入ると書く。エキスパートの大きさは Q2_0 が 34GB、IQ2_XS が 35.5GB、IQ3_XXS が 43GB、IQ3_S が 50GB、Coder が 23GB で、Unsloth のファイルだけは公式の Unsloth の表の値 (GiB に直したエキスパートの大きさ + 16)、NVFP4 は公式の約80GB を使った。公式の説明では、起動時に読み込む1本目のファイルのエキスパートがメインメモリへ、エキスパート以外の重みがカードへ行き、2本目のファイル (29GB の表) は SSD に残る。この目安に届かない Qwen3.8-Flash-Next の4つのサイズと Coder は低RAMモードで動く (setup.py も、メインメモリがエキスパート + 10GB に届かないときに低RAMモードを選ぶ)。低RAMモードには2つの方式があり、どれだけ遅くなるかは方式とカードの大きさで変わる (「低RAMモードで動くとき」の節)。Unsloth のファイルは低RAMモードを使わず、入りきらない分を答えながら SSD から読む。Gyro は公式がメモリの量をメインメモリ + VRAM の合計 (読み込んだ重みの量) で示すので、この列の式には入れていない。

早見表の名前のうち、Q2_0・IQ2_XS・IQ3_XXS・IQ3_S は Qwen3.8-Flash-Next 本体を小さくした4つのサイズで、この順に必要なメモリが増える。公式の資料の説明では、Swift 1.5 は UkisAI が答える前に考える時間を短くしたファインチューン、Gyro-S と Gyro-M は agentionai によるメモリの少ない PC 向けの量子化、Coder は ISTA-DASLab がコード用にエキスパートを半分に減らしたもの、Unsloth のファイルは約4〜8bit の大きいサイズになる。

早見表の4つの量では、VRAM が 12GB か 16GB かで区分は変わらない。同じ式で数えると、VRAM の 4GB の差で区分の境目 (38・46・62) をまたぐのは、メインメモリが 27GB 以上 31GB 未満、35GB 以上 39GB 未満、51GB 以上 55GB 未満の PC になる (当サイトの計算。VRAM は公称の 12GB と 16GB で数えた。38 未満の PC で別の判定が選ぶものは、この計算に入れていない)。式に入れるメインメモリは OS が報告する量で、積んだ量より少し少ない。表の外の量を持つ PC は、手元の数字を同じ式に入れて境目と比べることになる。

メインメモリ 32GB と 48GB の行では、2つの列が別のサイズを指す。区分で先に選ばれる Swift 1.5 の IQ2_XS と IQ3_XXS は、メインメモリだけの目安に届かない。IQ2_XS のエキスパートは 35.5GB で 32GB を超え、IQ3_XXS は 43GB + 約10GB で 48GB を超えるためだ (当サイトの計算)。公式によると、メインメモリが目安に届かないサイズは低RAMモードで動く。setup.py の式に当てはめると、メインメモリ 32GB の IQ2_XS は、カードに置かない分を OS のファイルキャッシュを通して読む方式になり、メインメモリ 48GB の IQ3_XXS は、その分をメインメモリに写して置く方式になりうる (当サイトの計算。VRAM 12GB では境目に近い。2つの方式は「低RAMモードで動くとき」の節)。メインメモリ 48GB の PC では、先に選ばれる IQ3_XXS を低RAMモードのまま使うか、メインメモリだけの目安に入る Q2_0・IQ2_XS (コードだけなら Coder も入る) から選ぶかに分かれる (メインメモリ 32GB では目安に入るサイズが無い)。どちらが速いかは測っていない。

早見表より少ない・多いメインメモリの PC も、公式の値に当てはめると見当がつく (当サイトの計算)。メインメモリ 16GB の PC は、VRAM 16GB のカードでようやく公式の最低条件 (合計 32GB) に届き、VRAM 12GB では届かない。メインメモリ 24GB の PC は、VRAM 12GB でも 16GB でも 5GB を引くと 38 未満で、公式の区分の表では 32GB の区分 (Gyro-S、コード用なら Coder) になる。デスクトップアプリと strata launch の提案の式に当てはめると、この PC で先に出るのは Coder になる (VRAM 12GB では境目に近く、OS が報告するメインメモリの量によっては Gyro-S になる。当サイトの計算)。メインメモリ 128GB の PC は、公式の Unsloth の表で、Q8_0 (約136GB) を除くファイルのエキスパートを全部メインメモリに置ける量になる。測定機はメインメモリ 96GB で、32GB・48GB・64GB の PC は測っていない。早見表の2つの列のどちらに従ったときにどれだけ速さが変わるかも、早見表より少ない・多いメインメモリの PC での動き方も、実機では確かめていない。

公式の MODELS.md によると、Qwen3.8-Flash-Next のうちエキスパートをメインメモリに置くサイズでは、大きいカードは速くするが、必要なメインメモリは下げない (低RAMモードを除く)。DeepSeek V4.1-Flash と Qwen3.6-35B-A3B は、エキスパートをカードに置けるだけ置き、残りを CPU が受け持つ作りで、この規則とは別に考える。

モデルが変わると速さも大きく変わる。2026年10月24日に測定機 (メインメモリ 96GB、RTX 5080 1枚) で測ると、約4,000トークンの入力で答えを書く速さ (出力の tok/s) は、Qwen3.8-Flash-Next の IQ3_S (Strata 0.2.3.1) で 101.3 tok/s、DeepSeek V4.1-Flash の 2.00bit (IQ2_XXS) のセット (Strata 0.2.4.1) で 8.0 tok/s だった。ただし2つはトークンの区切り方も起動の設定も違い、生成した長さも揃っていない (約4,000トークンの入力で生成したトークン数は、IQ3_S が中央値 90、DeepSeek がすべて上限の 256) ので、同じ量の答えを書き終える時間を比べたものではない。

Qwen3.8-Flash-Next の量子化ごとの速さと、VRAM 12GB の RTX 4070 SUPER での結果は、Strataで125BのQwen3.8-Flash-NextをVRAM 16GBで実測で詳しく扱っている。

Strataがサイズを先に選ぶ仕組み｜メモリの区分と低RAMモード

Strata は、ふつうはサーバーが要る 125B (1,250億パラメータ) の Qwen3.8-Flash-Next を、普通の PC で動かすソフトだと README は説明する。0.2.4 からは DeepSeek V4.1-Flash も Terminal (Strata をコマンドで使う側) で動く。README によると MIT ライセンスで、アカウントもクラウドも要らない (モデルと一部の部品には別のライセンスがある)。

公式の最低条件は、メインメモリと VRAM を合わせて 32GB 以上 (Mac と Ryzen AI Max では統合メモリの量)。README は、メインメモリ 32GB の PC に 12〜16GB のカードなら小さめのサイズが動き、メインメモリ 64GB なら全サイズが動く、と書く (MODELS.md の同じ説明で 64GB に入るとされるのは、Qwen3.8-Flash-Next 本体の4つのサイズと Coder で、IQ3_S はほかのアプリをほとんど開かない場合)。

公式の MODELS.md は、区分をメインメモリと VRAM の合計から Windows とシステムのぶん 5GB を引いた値で数えると書く (5GB を引く規則は 0.2.2 から)。公式が挙げる例では、16GB のカードとメインメモリ 32GB の PC も、48GB の区分ではなく 40GB の区分になる。境目が区分の名前より 2GB 低いのは、OS が積んだメモリより少し少なく報告するからだと setup.py のコメントは書き、MCP サーバー (デスクトップアプリと strata launch が使う) も同じ境目を持つとしている。MODELS.md によると、Terminal の strata launch と setup、MCP サーバーのインストール機能がこの区分でサイズを先に選び、デスクトップアプリも 0.2.1 から区分で選ぶ。どの入口も区分の境目は同じで、ほかのサイズも選べる。ただ、すでに入れたサイズがある PC、Mac と Strix Halo、5GB を引いて 38 未満になる PC では、最初の提案が区分の表と違うことがある。

40GB の区分で Swift 1.5 の IQ2_XS、48GB の区分で IQ3_XXS が先に選ばれる並びは早見表と同じで、公式の区分の表には早見表に無いことも載っている。5GB を引いて 38 未満になる 32GB の区分には、区分の表では Gyro-S と、コード用の Coder が挙がる。ただし実装は 38 未満の PC を区分の境目では数えず、デスクトップアプリと strata launch の提案 (MCP サーバー) は、メインメモリが 28GB 以上あるか、低RAMモードでカードと合わせて Coder が入るなら Coder を先に出し、そうでなければ Gyro を出す (2026年10月25日に tools/strata_mcp.py で確認)。64GB の区分では、Swift 1.5 の IQ3_S も IQ3_S と同じ扱いの選択肢になる。96GB 以上の区分には Unsloth の UD-IQ4_XS〜Q8_0 が挙がるが、この区分でも setup は IQ3_S を先に選ぶ (Strix Halo を除く)。Q2_0 は、区分の表では 32GB の行の注に「2bit の Q2_0 のほうが答えを書くのが速い」として出てくるだけになる。

サイズの横の GB (Q2_0 の 37.6GB〜IQ3_S の 54.8GB) は公式の区分の表が添える値で、量子化したファイルを配布する ISTA-DASLab のモデルカードでは1本目のファイルの大きさにあたる。動かすにはこのほかに KV キャッシュなどのぶんが要ると配布元は書いていて、この GB だけで動くわけではない。Swift 1.5 の IQ2_XS の 39.2GB も区分の表の値で、setup.py が持つ Swift 1.5 の1本目のファイルは約39.8GB になる。Strata が先に選ぶサイズは、この GB ではなく区分の境目で決まり、早見表で 39 になる VRAM 12GB とメインメモリ 32GB の PC を、公式は IQ2_XS (39.2GB) の 40GB の区分に入れている。

公式の区分の表は、表より少ないメモリでは Strata が低RAMモードに自動で切り替えて遅くなり、カードが小さいと大幅に遅くなると書く。実際に低RAMモードに入るかどうかは、メインメモリがそのサイズのエキスパート + 約10GB に届くかで決まり (setup.py)、早見表の 32GB と 48GB の行のように、区分に入っていても低RAMモードで動くことがある。

メインメモリ 32GBのPCで動かすなら｜Gyro・Coderと低RAMモード

メインメモリ 32GB の PC に VRAM 12GB か 16GB のカードを足すと、Strata の上では 40GB の区分に入る。公式の資料に沿って選ぶと、取るものは用途とメモリの事情で分かれる。

  • Strata が先に選ぶのは、40GB の区分の Swift 1.5 の IQ2_XS (UkisAI が答える前に考える時間を短くしたファインチューン)。メインメモリだけの目安には届かないので低RAMモードで動き、setup.py の式では、カードに置かない分を OS のファイルキャッシュを通して読む方式になる (当サイトの計算。公式によると、カードが小さいと大幅に遅くなる方式)。
  • 公式の GYRO.md の選び方では、より大きいものが入らない PC なら Gyro-S、IQ3_XXS より VRAM を約20%少なく済ませたいなら Gyro-M。
  • コードだけに使うなら Coder。ただし、コード以外と英語以外の言語で弱いと公式は書く。
  • 低RAMモードのうちメインメモリに写して置く方式の例として、公式の DETAILS.md が、メインメモリ 32GB に 12〜16GB の GPU の PC で挙げるのは Coder だけ。IQ2_XS が出てくるのは、24GB の GPU の例のほう。

ここに挙げた選び方と動き方は、どれも公式の資料によるもので、当サイトでは測っていない (測定機はメインメモリ 96GB)。

Swift 1.5 について、公式は答える前に考える時間がずっと短く、品質はほぼ同じ、1トークンあたりの速さは同じ、必要なメインメモリは元のモデルの同じサイズとほぼ同じと書く。ライセンスは Swift 1.5 のページのものが適用される。

Gyro-S と Gyro-M

Gyro は agentionai による Qwen3.8-Flash-Next の量子化。GYRO.md は、Gyro-S と Gyro-M はどちらも既定のサイズではなく、setup と MCP サーバーは、ほかのサイズが入らない PC でだけ案内に出す (警告はするが止めない) と書く。一方で MODELS.md の区分の表では、32GB の区分で Gyro-S が先に選ばれ、40GB の区分で Gyro-M がもう1つの候補になっていて、README は「メモリが少ないなら Gyro から」と案内している。

公式が載せる必要なメモリ (メインメモリ + VRAM の合計で、読み込んだ重みの量) とダウンロードは、Gyro-S が 27.6GB と 58.5GB、Gyro-M が 35GB と 92.0GB。ファイルの約半分は n-gram の表 (SSD に置いたまま1トークンごとに引く表) で、公式は速いドライブに置くよう書く。動くのは NVIDIA・AMD (実験的)・Intel Arc (Linux だけ) のカードと、0.2.2 からは Mac。

品質について、GYRO.md の評価 (2026年10月) では、Gyro-S は 2〜3bit のサイズより品質が低く、元のモデルとのずれ (KL) は IQ2_XS より 13% 大きい。Gyro-M はずれでは IQ3_XXS とほぼ同じだが、答えを書く速さは Q2_0 より 16〜21% 遅く (RTX 3060 12GB と R9700 での値)、推論の問題では Q2_0 の 57/60 に対して 49/60 だった。

Coder

Coder は ISTA-DASLab のコード向けのもので、各層 512 個のエキスパートのうち、コードのデータで選んだ 256 個を残し、残りを捨てている。1本目のファイルは 29.6GB で、公式は「メインメモリ 32GB の PC に載る」と書く。ただ、メインメモリだけの目安の式 (エキスパート 23GB + 約10GB = 33GB) では 32GB をわずかに超え、MODELS.md の低RAMモードの節でも、この PC で Coder が低RAMモードで動く例に挙げている。

エキスパートが半分なので、コード以外と、英語以外の言語 (中国語などを含む) で弱く、中国語の答えが崩れたりくり返したりした報告 (#438) がある。一般の用途には、メインメモリが許すならエキスパートを全部残したサイズを公式は勧めている。日本語での答えの品質は、当サイトでは確かめていない。

低RAMモードで動くとき

低RAMモードには2つの方式がある。公式の DETAILS.md によると、どちらもモデルのフォルダの experts.bin というファイルからエキスパートを読み、そのぶんディスクを 23〜50GB 多く使う。カードに置かないエキスパートを、メインメモリにその量 + 約10GB があって持てる PC では、起動時にその分をファイルからメインメモリへ一度だけ写し、答えている間は SSD から読まない方式になる。持てない PC では、エキスパートを OS のファイルキャッシュを通して読む方式になり、カードがエキスパートの多くを持てればふだんに近い速さで動くが、小さいカードではエキスパートの多くを SSD から読むことになり大幅に遅くなる (setup もそう表示する)。

公式はメインメモリに写して置く方式の例として、メインメモリ 32GB に 24GB の GPU なら Q2_0・IQ2_XS・Coder を、メインメモリ 32GB に 12〜16GB の GPU なら Coder を挙げる。メインメモリ 32GB の IQ3_XXS は、ファイルキャッシュを通して読む方式のままと書く。MODELS.md の低RAMモードの節は、この2つの方式を分けずに同じ例を挙げている。setup の表示で分かるのは setup が選んだ方式で、実際に動いた方式はエンジンのログで分かる。公式の DETAILS.md によると、エンジンは起動時に、空いているメインメモリから 4GB を除いた分に、カードに置かないエキスパートが収まるかを見て、収まらなければそう表示してファイルキャッシュを通して読む方式で動く。

低RAMモードを使うかは --low-ram on か off で上書きでき、Windows のコマンドの例は、使うなら START-HERE.bat --setup --low-ram on、使わないなら START-HERE.bat --setup --low-ram off。方式を決めて使うなら、--low-ram resident (メインメモリに写す方式) か --low-ram mmap (ファイルキャッシュを通す方式) を指定する。2つの方式の速さは当サイトでは測っていない。

Strataで動かせるモデルの一覧と、当サイトで測ったもの

モデルの一覧表では、モデルごとに公式が載せるメモリの値とダウンロード量を見比べ、当サイトが測ったかどうかを確かめられる。

モデル 公式が載せるメモリの値 ダウンロード (公式。測定機のファイルの値を含む) 当サイトの実測
Qwen3.8-Flash-Next Q2_0 1本目のファイル 37.6GB (公式の区分の表の値) 66〜76GB (Q2_0・IQ2_XS・IQ3_XXS) 2026年10月 (Strata 0.1.31〜0.1.41)
Qwen3.8-Flash-Next IQ2_XS 1本目のファイル 39.2GB (公式の区分の表の値) 66〜76GB (Q2_0・IQ2_XS・IQ3_XXS) 測っていない
Qwen3.8-Flash-Next IQ3_XXS 1本目のファイル 47.0GB (公式の区分の表の値) 66〜76GB (Q2_0・IQ2_XS・IQ3_XXS) 2026年10月 (Strata 0.1.31〜0.1.41)
Qwen3.8-Flash-Next IQ3_S 1本目のファイル 54.8GB (公式の区分の表の値) 83.6GB (測定機の2本のファイルの合計) 2026年10月 (Strata 0.1.31〜0.1.41) と 2026年10月24日 (0.2.3.1)
Swift 1.5 (UkisAI) 元のモデルの同じサイズとほぼ同じ (公式の区分の表では IQ2_XS が 39.2GB。1本目のファイルは約39.8GB) — 測っていない
Coder (ISTA-DASLab) メインメモリ 32GB の PC に載る (1本目のファイル 29.6GB) — 2026年10月 (Strata 0.1.31〜0.1.41)
Gyro-S (agentionai) 読み込んだ重み 27.6GB (メインメモリ + VRAM で数える) 58.5GB 2026年10月24日 (0.2.3.1)
Gyro-M (agentionai) 読み込んだ重み 35GB (メインメモリ + VRAM で数える) 92.0GB 2026年10月24日 (0.2.3.1)
Unsloth UD-IQ4_XS〜Q8_0 エキスパートを全部メインメモリに置くならメインメモリ約72〜136GB (UD-IQ4_XS は setup の画面の説明などでは約80GB と書かれている) 94〜188GB UD-Q4_K_XL だけ 2026年10月 (Strata 0.1.31〜0.1.41)
NVFP4 (3種類) エキスパートを全部メインメモリに置くならメインメモリ約80GB 102〜128GB 測っていない
Qwen3.6-35B-A3B (Unsloth) setup が見込むメインメモリ 32〜52GB ファイル 22.9〜37.8GB 測っていない
DeepSeek V4.1-Flash (ISTA-DASLab の3セット) VRAM 12GB 以上のカード1枚。メインメモリは 46GB で動いた実績、64GB が試して快適だった量 239〜274GB 2.00bit (IQ2_XXS) だけ 2026年10月24日 (0.2.4.1)

モデルの一覧表の値は、2026年10月24日に取得した README・docs/MODELS.md・docs/GYRO.md・v0.2.4 のリリース本文によるもの。メモリの値は資料によって、1本目のファイルの大きさ、読み込んだ重みの量 (メインメモリ + VRAM で数える値)、メインメモリだけの目安があり、セルの中に書き分けた。1本目のファイルの大きさと読み込んだ重みの量は、動かすのに要る量の全部ではなく、KV キャッシュなどのぶんが別に要る。— は公式の資料から値を取っていない欄。IQ3_S のダウンロードだけは、測定機に置いた2本のファイルの合計 83,617,662,656 バイト (約83.6GB) で、MTP の下書き層は含まない (2026年10月3日に ISTA-DASLab の Qwen3.8-Flash-Next-GSQ-RCO-GGUF リポジトリから取得した IQ3_S の2本、54,817,524,224 + 28,800,138,432 バイト)。「2026年10月 (Strata 0.1.31〜0.1.41)」の欄は Qwen3.8-Flash-Next の実測記事、「2026年10月24日」の欄はこの記事の測定。

VRAM 12〜16GB の PC で最初に比べるのは、Qwen3.8-Flash-Next の2〜3bit のサイズ、Swift 1.5、Gyro になり、コードだけに使うなら Coder も候補になる (コード以外と英語以外では弱いと公式は書く)。Unsloth のファイルと NVFP4 は、エキスパートを全部メインメモリに置くのに約72GB 以上が要るので、メインメモリ 64GB 以下の PC では置ききれない。

Qwen3.8-Flash-Next の4つのサイズでは、1本目のファイルが最も大きい IQ3_S (54.8GB) について、公開されたテストで元のモデルに並ぶと公式は書く。ダウンロードは小さい3サイズ (Q2_0・IQ2_XS・IQ3_XXS) で 66〜76GB。初回の起動では MTP の下書き層 (答えを先に推測して速くする部品、約6GB、画像ありで +1GB) も取ってくる。公式の文は、これをサイズで限っていない。

Unsloth のファイル (UD-IQ4_XS〜Q8_0、約4〜8bit) は、2〜3bit のサイズよりエキスパートのビット数が多いので、メインメモリを多く使う。公式によると setup は、エキスパートとさらに 16GB が入るときに全部メインメモリに置き、足りないと入るだけ置いて残りを答えながら SSD から読む (大幅に遅い)。全部メインメモリに置くのに要る量は、公式の Unsloth の表で UD-IQ4_XS が約72GB、UD-Q4_K_XL が約88GB、Q8_0 が約136GB (GiB に直したエキスパートの大きさ + 16。setup.py はこれを、GiB で数えたメインメモリの量と比べる)。UD-IQ4_XS は、公式の MODELS.md の区分の表、setup のサイズを選ぶ画面の説明、MCP サーバーの説明では約80GB からとされているが、VRAM を別に持つ GPU の PC で setup.py が全部メインメモリに置く方式を選ぶ境目は約72GB のほうになる。約80GB は、docs/UNSLOTH_Q4.md と setup.py の注記によると、足りないときに入るだけ置く方式で、メインメモリから 24GB を引いた分をエキスパートの置き場にしたときに全部が入る量にあたる。2つの値は、メインメモリから引いて数えるか、エキスパートの大きさに足して数えるかの違いから出ている。

NVFP4 には Strata の変換・NVIDIA の変換・NVIDIA が FP4 向けに学習し直したものがあり、公式によると、どれもエキスパートを全部メインメモリに置くには約80GB が要る。ダウンロードは 128GB・128GB・102GB で、3つ目は準備に +110GB のディスクを使う。

Qwen3.6-35B-A3B は同じ作り手の小さいモデル (35B、1トークンあたり 3B を使う、Apache 2.0) で、Strata は Unsloth の MTP 入りの GGUF を動かす。画像を読み、複数のリクエストを同時に処理できる。ファイルと setup が見込むメインメモリは、UD-Q4_K_XL が 22.9GB と 32GB、UD-Q6_K_XL が 32.6GB と 44GB、Q8_0 が 37.8GB と 52GB で、画像を読むファイルが別に 0.9GB ある。エンジンはカードに置けるだけエキスパートを置き、残りを CPU で計算する。

カードの条件は資料ごとに違う。公式の記述では、NVFP4 は NVIDIA のカードだけで動き、setup.py の説明によると RTX 50 では FP4 の演算器を使い、それより前の NVIDIA のカードでは 8bit の精度で計算する。Qwen3.6-35B-A3B は NVIDIA と AMD のカード (Intel Arc と Mac のエンジンは動かさない) で動く。Unsloth の 4bit のモデルは、docs/INSTALL.md の AMD のカードの節には NVIDIA のカードが要るとある一方、docs/UNSLOTH_Q4.md と setup.py には UD-Q4_K_XL が AMD の Radeon AI PRO R9700 でも動いたとあり、setup.py はそれを受けて NVIDIA だけの扱いを外している。ほかの AMD のカードで確かめたとは書いていない。

VRAM 12GBと16GBで変わること

当サイトの Qwen3.8-Flash-Next の実測記事では、2026年10月3日に Strata 0.1.31・0.1.35 で Q2_0 を測った。VRAM 12GB の RTX 4070 SUPER を、RTX 5060 Ti を外した同じ OCuLink の口 (PCIe 4.0 x4) につないで測ると、16GB の RTX 5060 Ti と比べて、答えを書く速さは同じ程度で、プロンプトの読み込み (送った文章を読む速さ) が1〜2割遅かった。どちらもエキスパートをメインメモリ (96GB) に全部置いた状態の値になる。Strata が GPU に置いたエキスパートは RTX 4070 SUPER が約5.2GiB で、RTX 5060 Ti の約9.2GiB の6割に満たなかった。2枚は計算の速さやメモリの帯域も違うので、差が置けたエキスパートの量によるのかは切り分けていない。Strata 0.2 系では 12GB のカードを測っておらず、メインメモリが足りずに低RAMモードになる PC でのカードの差も測っていない。

Qwen3.8-Flash-Next の系統 (Gyro を含む) のエンジンでは、VRAM の量が主に変えるのは、カードに置けるエキスパートの数になる。公式の GYRO.md によると、エキスパートの置き場 (キャッシュ) は既定ではカードの空いている VRAM に合わせて大きさが決まり、小さいカードは置ける数が少なく、残りをメインメモリから読む。Qwen 系のエンジンでは、画像を読む部分の動く場所と同時に受け付けるリクエストの数も VRAM で変わる。DeepSeek のエンジンは別の作りで、このバージョンでは画像も同時処理も使えず、VRAM の量で変わるのは GPU に置くエキスパートの数や、DSpark を読み込むかどうか (12GB のカードでは既定で切る) などになる。

この記事では、公式の値とエンジンのログの値を GB、nvidia-smi とコミットの空きの値を GiB と MiB (1GiB = 1,024MiB) で書く。ただし setup.py はメインメモリの量を GiB で読み、そのまま公式の目安と比べる。公式の資料にも、GiB で数えた値を GB と書いているところがある (Unsloth の表で、エキスパートを全部メインメモリに置くのに要る量など)。

測定機での VRAM の使用量

測定機の 16GB のカードは、Strata が空きに合わせてほぼ使い切ったので、使用量は何GB あれば足りるかの根拠にはならない。サイズを選ぶときに見るのは、早見表の2つの列の数え方のほうになる。Strata が先に選ぶ区分はメインメモリ + VRAM − 5GB で数え、エキスパートを全部メインメモリに置けるかはメインメモリだけで数える。VRAM の使用量 (nvidia-smi) は、2026年10月24日 (Strata 0.2.3.1 と 0.2.4.1) に、起動してサーバーが応答するようになった直後に見た値で、Strata が動くカードでは RTX 5080 が 15,449〜15,709MiB (約15.1〜15.3GiB)、RTX 5060 Ti が 14,794〜14,900MiB (約14.4〜14.6GiB) だった。どちらも 16GB のほとんどを使っている。

Qwen3.8-Flash-Next を起動したときのエンジン (0.1.48) のログには、「LOW: requests may stall」(リクエストが詰まることがある) という行があった。すべてを読み込んだあとの VRAM の空きが少ないという警告で、--vram-reserve-mib を足すか最大コンテキストを下げるよう表示している。ログは複数の起動をまとめて書いたもので、どの起動の行かは切り分けておらず、警告どおりに詰まるかも確かめていない。DeepSeek のエンジンのログには同じ警告は無かった。

12GB と 16GB で同じもの・違うもの

画像を読む部分は、公式によるとカードが 24GB 未満なら CPU で動き (1枚に数秒、カードのメモリは使わない)、24GB 以上ならカードで動く (VRAM 約1〜1.4GB)。VRAM 12GB と 16GB のカードでは、どちらも CPU で動く。NVIDIA と AMD で同じ規則で、--vision off で切れる。

同時に受け付けるリクエストの数は既定で1つ。公式によると、strata launch の「カードに合わせる」の提案は、12GB で1、20GB で2、24GB で3、32GB 以上で4になり、12GB のカードで複数にすると、1つずつの答えは遅くなる。

Qwen3.6-35B-A3B で同時処理の枠 (スロット) を増やすと、公式の QWEN36.md によると1枠ごとに 32K のコンテキストで VRAM を 1.5GB 使い、エキスパートを置ける場所が減る。setup は、12GB のカードなら 8K で4枠まで (32K では枠を増やす提案をせず、1つずつのまま)、16GB のカードなら 32K で2枠まで、と選んだコンテキストに合わせて提案する。

NVIDIA のカードは GeForce RTX 20・30・40・50 シリーズで VRAM 12GB 以上が条件で、8GB でも動くが遅いと公式は書く。

測れた範囲 (Strata 0.1 系、Q2_0、エキスパートを全部メインメモリに置いた状態の、RTX 4070 SUPER 12GB と RTX 5060 Ti 16GB の比較) では、答えを書く速さは同じ程度で、プロンプトの読み込みは 12GB のカードが1〜2割遅かった。2枚はカードの種類も違うので、この差が VRAM の量によるのかは切り分けていない。低RAMモードでエキスパートを OS のファイルキャッシュを通して読む方式になる PC では、公式によるとカードが小さいほど大幅に遅くなる。

DeepSeek V4.1-Flashを動かすのに必要なもの

DeepSeek V4.1-Flash の公式の想定は VRAM 12GB 以上のカード1枚とメインメモリ 46〜64GB (46GB は動いた実績で、64GB は試して快適だった量) で、先に確かめるのはディスクの空きとメインメモリになる。ディスクはセットの 239GB・257GB・274GB に加えて、setup がパックのフォルダと作業のぶん 6GB の余裕を見込む (空きがダウンロードする量に届かないと止まり、6GB の余裕が無いと警告を出して続ける)。公式の資料にある速さは 12GB のカードで 4〜10 tok/s の間にあり、リリース本文の既知の制限の欄は、チャットには使えるが長いエージェントの実行には遅いと書く。

リリース本文と docs/DEEPSEEK41.md によると、メインメモリは多いほど置き場が大きくなり答えが速くなる (RTX 3060 の PC で 46GB が動き、64GB が試して快適だった量)。約40GB 未満は試しておらず遅く、setup はそう表示したうえで入れる。公式は小さい PC でも入れるのを止めず、先に何が起きるかを表示する。ディスクは 1.75bit (IQ1_M) で 239GB、2.00bit で 257GB、2.25bit (IQ2_XS) で 274GB で、公式は NVMe の SSD に置くよう書く (遅いディスクでは、書き出す1トークンごとの時間が延びる)。このディスクの量は、本体と、3つ共通の Engram の表 111GB (モデルが1トークンごとに数行ずつ読む大きな表で、SSD に置いたまま読む)、下書きモデル (答えを先に推測して確かめる小さなモデル) の DSpark 8GB の合計。

動く環境は限られている。DeepSeek V4.1-Flash は Strata 0.2.4 の Terminal (strata launch と strata setup) で動き、デスクトップアプリは 0.2.3 のままで、DeepSeek は後の更新で入る (2026年10月24日時点)。リリース本文によると、NVIDIA の RTX 30〜50 のカード (Windows と Linux) と、Linux の AMD Radeon AI PRO R9700 で動き、Mac と Strix Halo ではまだ動かない。配布されている DeepSeek 用エンジンは、Windows は NVIDIA の CUDA 13 向けのファイル1本だけで (ドライバが古い PC 向けの別ファイルはリリースの一覧に無い)、Windows の RTX 30 向けはビルド済みだが公式は動かしていない。DeepSeek は Qwen とは別のエンジン (strata-dsv41) で動き、このエンジンは Project Maya の maya-ds4 から移植したもの。

2026年10月24日に GitHub のリリースページで確かめた時点では、Strata は 0.2.4.2 (Terminal の Control 0.1.49.2、DeepSeek 用エンジン 0.1.49.2) が出ていて、デスクトップアプリは 0.2.3、Qwen 用のエンジンは変わっていない。リリース本文によると、0.2.4.2 では AMD の Ryzen 3000 などの CPU で DeepSeek の答えが最大3倍遅かったのが直り、DeepSeek 用エンジンが次の strata launch で自分で更新されるようになった (--dsv41-package か STRATA_DSV41_EXE で渡したエンジンは置き換えない。この記事の測定は --dsv41-package で渡したエンジンを使った)。0.2.4 か 0.2.4.1 からは strata update で上げる。測定機の CPU は Intel で、0.2.4.2 では測っていない。

セットごとにディスクの量が違うので、まず空きに入るかで候補が絞れる。品質の物差しと勧めるセットは、資料によって違う。Strata のリリース本文は、perplexity (決まった文の続きをモデルがどれだけ予想しにくいかを表す値で、低いほど予想がよく当たる) を固定した試験データで測る (数は 4,995。リリース本文は文の数、docs/DEEPSEEK41.md は評価した位置の数として書く)。元のモデルからの増え方は 2.00bit が +15.5%、2.25bit が +7.3%、1.75bit が +21% で、1.75bit は英語の散文に弱いと書き、ディスクに余裕があればコードとエージェントの用途に 2.25bit を勧める。ISTA-DASLab のモデルカード (Hugging Face、2026年10月24日に確認) は、別の物差し (AIME25・GPQA-Diamond・LiveCodeBench v6 の平均。思考の強さ reasoning effort 50 で測った値) を使う。2.00bit が元のモデルと同じ 100.0%、1.75bit が 98.7% と報告し、2.25bit の値は載せておらず、2.00bit を推奨としている。2つは測るものが違うので、数字をそのまま並べて比べることはできない。当サイトで答えの品質は比べていない。

公式の速さ (2.00bit のセット) は、リリース本文の表で RTX 5070 12GB とメインメモリ 64GB が約5 tok/s (コード)、RTX 3060 12GB とメインメモリ 46GB が約8〜10 tok/s (0.2.4.1 の更新で RTX 3060 の値が直された後の値)。同じリリース本文の既知の制限の欄は、12GB のカードでの出力を 4〜8 tok/s とする。測定機で 0.2.4.1 の strata launch --plan (起動はせず、何をするかだけを表示する指定) を使うと、RTX 3060 での参考の値として約7.2 tok/s と表示された。公式は、12GB のカードでは1トークンの時間の大半が SSD と CPU を待つ時間で、遅い NVMe の SSD ではどの数字も下がると書く。

このバージョンの DeepSeek では、複数のリクエストの同時処理と画像は使えない (指定しても警告して無視する)。既定のコンテキストは 8,192 トークン。

16GB のカード1枚での速さ

2026年10月24日に測定機 (メインメモリ 96GB) で、Strata 0.2.4.1 と DeepSeek 用エンジン 0.1.49 で 2.00bit のセットを1枚で動かすと、答えを書く速さは RTX 5080 で 7.7 tok/s (約1,000トークンの入力) と 8.0 tok/s (約4,000トークン)、RTX 5060 Ti で 6.8 tok/s と 7.3 tok/s だった。約4,000トークンのプロンプトの読み込みは RTX 5080 で 143.5 tok/s、RTX 5060 Ti で 125.4 tok/s。モデルは C: の NVMe の SSD に置き、RTX 5060 Ti は OCuLink 接続。どちらも 16GB のカードの値で、VRAM 12GB のカードでは測っていない。

メインメモリの使い方

公式によると、DeepSeek のエンジンはエキスパートをカードに置けるだけ置き、残りを CPU で計算する。よく使うエキスパートは空いているメインメモリの置き場に置き、それ以外はモデルのファイルから直接読み、置き場の大きさは起動時に自分で決まる。測定機 (メインメモリ 96GB) では、エンジンは置き場を最大 48.0GB と決め、起動時によく使うエキスパートを 34.3GB 読み込んだ (どちらもエンジンのログの表記の GB)。置き場の大きさは空いているメインメモリで変わるので、ほかの PC で同じ値になるとは言えない。

DSpark

DSpark は、VRAM 16GB のカードでも自動では読み込まれなかった (RTX 5080 と RTX 5060 Ti の1枚の起動で、--dspark は既定の auto)。エンジンは、エキスパート (132GB) が GPU に置ける量 (15GB) よりずっと多いので効果が無い、という理由をログに出した (どちらもログの表記の GB)。公式は、12GB のカードでは DSpark を既定で切っていて、RTX 3060 の PC で --dspark on にすると 2〜13% 速くなると書く。--dspark on は試していない。

RTX 5080 と RTX 5060 Ti の差の読み方

DeepSeek では RTX 5080 と RTX 5060 Ti の差が小さく、約4,000トークンの入力で答えを書く速さは 8.0 と 7.3 tok/s (約1.1倍) だった一方、同じ2枚で Qwen3.8-Flash-Next の IQ3_S (Strata 0.2.3.1、起動の設定は DeepSeek と違う) は 101.3 と 60.2 tok/s (約1.7倍) だった。IQ3_S の1枚の回は別のモデルのダウンロード (別のドライブへの書き込み) と時間が重なっていて、RTX 5080 は別に3回起動し直した回でも 102.9 tok/s だったが、RTX 5060 Ti はやり直していない。

DeepSeek では GPU の差よりも、CPU・メインメモリ・SSD のほうが速さを決めている可能性があり、公式の「12GB のカードでは1トークンの大半が SSD と CPU の待ち」という説明とも合う。

ただし時間の内訳は測っておらず、どこで時間がかかっているかは切り分けていない。

起動したあとのコミットの空き｜メインメモリ 96GBのPCで測った値

メインメモリ 96GB の測定機で測った起動後のコミットの空きは、Gyro-S が最も多く、Qwen3.8-Flash-Next の IQ3_S が最も少なかった。ただし起動ごとのコミットの上限を揃えて確かめていないので、この差をそのままモデルごとのメモリの使い方の差とは言えない。2枚の GPU で起動すると、さらに減った。どれも 96GB の PC の値で、ほかの量の PC で何GiB 残るかは測っていない。

コミットの空きは、Windows がプログラムにメモリの割り当てを約束できる残りを指す。上限はメインメモリとページファイルの合計で、メインメモリの空きとは別の量になる。Qwen 系のエンジン (Gyro を含む) も、起動時にこの上限と残りをログに出す。空きが減るほど、Strata と並べて足せるアプリの余地が小さくなり、Windows がページファイルを広げて上限を上げる状態に近づく。ページファイルが広がることと、メモリの中身がディスクへ書き出されることは別の動きで、空きの値からは、どれだけ書き出されたかも、遅くなるかも分からない。2026年10月24日、ほかのアプリを閉じた状態の測定機では、何も起動していない時点の空きが 78〜79GiB だった。

コミットの空きの表では、モデルと GPU の組み合わせごとに、起動直後にどれだけ空きが残り、VRAM をどれだけ使ったかを見比べられる。

モデル GPU 起動後のコミットの空き VRAM の使用量
Qwen3.8-Flash-Next IQ3_S RTX 5080 1枚 10.7〜13.3GiB 15,552〜15,598MiB
Qwen3.8-Flash-Next IQ3_S RTX 5060 Ti 1枚 10.7〜13.0GiB 14,900MiB
Qwen3.8-Flash-Next IQ3_S 2枚 (RTX 5080 が Main、RTX 5060 Ti が Helper) 1.2GiB (ここで計測を止めた) 15,666MiB ＋ 14,888MiB
Gyro-S RTX 5080 1枚 36GiB 15,533MiB
Gyro-S RTX 5060 Ti 1枚 36GiB 14,882MiB
Gyro-S 2枚 (RTX 5080 が Main、RTX 5060 Ti が Helper) 20GiB 15,645MiB ＋ 14,872MiB
Gyro-M RTX 5080 1枚 30GiB 15,537MiB
Gyro-M RTX 5060 Ti 1枚 30GiB 14,884MiB
Gyro-M 2枚 (RTX 5080 が Main、RTX 5060 Ti が Helper) 14GiB 15,690〜15,709MiB ＋ 14,876MiB
DeepSeek V4.1-Flash 2.00bit RTX 5080 1枚 14GiB 15,449MiB
DeepSeek V4.1-Flash 2.00bit RTX 5060 Ti 1枚 14GiB 14,794MiB
DeepSeek V4.1-Flash 2.00bit 2枚 (RTX 5080 が Main、RTX 5060 Ti が Helper) 起動の最後の数秒で 44GiB から 1GiB へ下がった (ここで計測を止めた) 15,347MiB ＋ 14,692MiB (止める直前)

コミットの空きの表の値は、起動してサーバーが応答するようになった直後に、起動ごとに1回ずつ記録したもの。1枚の行と Gyro の2枚の行は、同じ条件で3回起動した値の範囲を載せた。ただし IQ3_S の RTX 5080 1枚の行は、速さを取った系列の2回 (13.2・13.3GiB。1回目は記録していない) と、RTX 5080 1枚で動いた別の系列の3回 (10.7〜12.1GiB) を合わせた範囲になる。2枚の IQ3_S と DeepSeek の行は、止めた1回だけの値 (DeepSeek は応答の前に止めたので、1秒ごとの記録から読んだ)。

コミットの空きは Windows の FreeVirtualMemory (PowerShell の Win32_OperatingSystem で読める値) を GiB に直したもの。2026年10月25日に同じ PC で、Strata を動かしていないときに、パフォーマンスカウンターのコミットの上限 (Commit Limit) から使用量 (Committed Bytes) を引いた値と続けて読み比べたところ、3回とも差は 0.04GiB 未満で、同じ量を指していた。Gyro と DeepSeek は小数を切り捨てた整数、IQ3_S は小数1桁に丸めて記録したので、整数の行どうしを比べるときは、差が 1GiB 弱ずれることがある。

VRAM の使用量は nvidia-smi の値で、2枚の行は RTX 5080 ＋ RTX 5060 Ti の順。RTX 5080 は画面の出力も受け持ち、Strata を動かしていないときも 726MiB を使っていた。

2枚の IQ3_S と DeepSeek は、空きが 4GiB を切ったので当サイトの基準で計測を止めたもので、エンジンが止まったのではない (DeepSeek はエンジンのログでは読み込みを終えていた)。DeepSeek の2枚の VRAM は止める直前の値。IQ3_S の1枚の回は、別のモデルのダウンロードと時間が重なった。

1枚で起動した直後の空きは、RTX 5080 でも RTX 5060 Ti でもほぼ同じで、Gyro-S の 36GiB と IQ3_S の差はカードを替えても縮まらなかった。RTX 5080 を Main、RTX 5060 Ti を Helper にした2枚で起動すると、Gyro-S と Gyro-M の空きは1枚より約16GiB 少なかった。IQ3_S と DeepSeek は2枚の起動で空きが当サイトの基準を下回って計測を止めたので、1枚との差は測りきれていない。2枚で空きが減る理由は切り分けていない。

コミットの空きが少ないとき、Strata 0.2.3.1 のエンジン 0.1.48 は、起動ログに「上限に達するとメッセージなしで終了することがある (exit code 0xC0000409)」と警告し、ページファイルを大きくする (システム管理にするか、メインメモリと同じ大きさにする) か、会話のキャッシュ・最大コンテキスト・プロンプトの分割を小さくするよう表示した。警告どおりに終了するかは確かめていない。

測定機のページファイルは初期 16,384MB・最大 128,000MB の設定で、足りなくなると Windows が最大の 128,000MB を上限に広げられる (2026年10月24日に設定を読み取って確認し、変更はしていない。実際にどこまで広がるかはディスクの空きなどでも変わり、ここでは確かめていない)。ページファイルが広がるとコミットの上限も上がる。エンジンのログに出た上限は、Gyro の回ではすべて 111.8GiB だった。IQ3_S のエンジンのログには 137.4GiB と出た起動が1回あり、どの回の起動かは特定できないので、IQ3_S の行の空きには上限の違いが入っているかもしれない。DeepSeek のエンジンのログには上限の行が無い。2枚の計測は、Windows がページファイルを広げきる前に、当サイトが決めた基準 (コミットの空きが 4GiB 未満) で止めた。上限まで使い切ったときにエンジンが止まるかは見ておらず、ページファイルの大きさを変えて測ってもいない。

2枚目のGPUを足すと変わること

公式の MULTI_GPU.md によると、2枚以上のカードには Main・Helper・Off の役割を割り当てる。Main は分割の最後の部分 (出力の部分・下書き層・その確認) を受け持つ1枚で、ふつうは速いカードが選ばれる (VRAM がはっきり多いカードは、速いほうの半分以上の速さがあればそちらが選ばれる)。Helper は層とエキスパートの置き場の一部を受け持ち、公式は「プロンプトの読み込みが約20%速くなる」と書く。8GB 以下のカードは、より大きいカードがあるとき Off で始まる。分けるのは同じメーカーのカードどうしで、NVIDIA と AMD はまたがない。公式の INSTALL.md の例では、RTX 5080 と RTX 3090 の2枚で、プロンプトの読み込みが RTX 5080 1枚より 18〜20% 速く、答えを書く速さは同じ程度だった。

役割は --gpu-roles 0=main,1=helper のように指定する。測定機 (2026年10月24日、Strata 0.2.3.1 と 0.2.4.1 の Terminal) では、この番号は nvidia-smi の番号 (RTX 5080 が 0、RTX 5060 Ti が 1) を指し、Strata の画面は1から数えて RTX 5080 を「GPU 1」、RTX 5060 Ti を「GPU 2」と表示した。画面の番号のまま書くと役割が入れ替わる。docs/MULTI_GPU.md も、--gpus の番号を nvidia-smi の番号と書いている。

2026年10月24日に測定機 (Strata 0.2.3.1) で、Qwen3.8-Flash-Next の Gyro-S と Gyro-M を、RTX 5080 を Main、OCuLink (PCIe 4.0 x4、エンジンの測った帯域 7.0GB/s) で外付けした RTX 5060 Ti を Helper にして動かすと、答えを書く速さは RTX 5080 1枚とほぼ同じで、プロンプトの読み込みの速さは約4,000トークンの入力で半分ほどに、約32,000トークンの入力で7割前後に落ちた。約4,000トークンの入力で、Gyro-S は 1,310 tok/s (1枚は 2,602 tok/s)、Gyro-M は 1,225 tok/s (同 2,624 tok/s)。

2枚目のカードにプロンプトの読み込みを手伝わせる仕組みについて、公式の資料は2つを分けて書いている。1つは、層を2枚のカードに分けたときに、空いているほうのカードが手伝う機能 (STRATA_PREFILL_HELP=1) で、GYRO.md の GPU が2枚の場合の節は、Gyro でも動くと書く。docs/MULTI_GPU.md によると、この機能は指定したときだけ働き、約3.3K トークン以上の入力では手伝わない。もう1つは、2枚目のカードでプロンプトを処理する経路で、GYRO.md の既知の制限の節は、Gyro ではこれが使われず、プロンプトは1枚目のカードに残ると書く。今回の測定でプロンプトの読み込みが遅くなった原因は、OCuLink 接続の帯域も含めて切り分けていない。

この数字は、演算性能の低いカードを細い接続で足した測定機の組み合わせの値で、PCIe x16 でつないだ2枚や別の組み合わせで同じになるとは言えない。IQ3_S の2枚は数本で止めたので比べず、DeepSeek の2枚の速さは測っていない。

当サイトが Strata 0.1.39〜0.1.41 (2026年10月6日と9日、Qwen3.8-Flash-Next の IQ3_S) で2枚目の GPU の使い方を試した記事でも、同じ RTX 5080 と OCuLink 外付けの RTX 5060 Ti の組で、試した構成のどれもプロンプトの読み込みが RTX 5080 1枚より遅かった。0.2 系の Main・Helper の分け方とは設定が違う。層の分割と補助キャッシュを比べた結果は、Strataで2枚目のGPUをどう使うかで詳しく扱っている。

DeepSeek の 2.00bit のセットを2枚で起動すると (Strata 0.2.4.1・エンジン 0.1.49 の起動ログ)、エンジンは2枚で1つの層の計算を分けるやり方をやめ、カードごとに別の層を受け持つ分け方で動いた。RTX 5060 Ti (Helper) が層 0〜20、RTX 5080 (Main) が層 21〜39 と出力の部分を受け持ち、GPU に置いたエキスパートは RTX 5060 Ti が 1,125 個、RTX 5080 が 1,029 個で、2枚で 2,154 個 (全 15,360 個の約14%) になった。RTX 5080 1枚の起動の 659 個 (約4%) より多かったが、残りの大半は CPU が受け持った。エンジンのログはカードを CUDA0・CUDA1 の番号で書くが、この番号は nvidia-smi の番号ではなく、Strata が Helper を先・Main を最後に並べ直した順になる。カードとの対応は、この回の起動の設定と Strata のカードの並べ方、MULTI_GPU.md の Main の受け持ちで確かめた。

2枚の起動では、どのモデルでもコミットの空きが1枚より減り、IQ3_S と DeepSeek は計測を途中で止めた。

まとめ｜メインメモリの量ごとに選ぶもの

  • Qwen3.8-Flash-Next は、公式によると Strata が先に選ぶサイズを取ればよく、区分はメインメモリ + VRAM − 5GB で決まり、早見表の4つの量では VRAM 12GB と 16GB で変わらない。ただしメインメモリ 32GB と 48GB では、先に選ばれるサイズがメインメモリだけの目安に届かず、低RAMモードで動く。setup.py の式では、32GB の IQ2_XS はファイルキャッシュを通して読む方式で、公式によるとカードが小さいと大幅に遅くなる。48GB の IQ3_XXS はメインメモリに写して置く方式になりうる。メインメモリ 48GB では、目安に入る Q2_0・IQ2_XS を選ぶこともできる (コードだけなら Coder も入る)。どれだけ遅くなるか、どちらが速いかは測っていない。
  • メインメモリ 32GB に VRAM 12〜16GB の PC は 40GB の区分で、先に選ばれるのは Swift 1.5 の IQ2_XS、もう1つの候補が Gyro-M。より大きいものが入らない PC は Gyro-S、コードだけなら Coder (英語以外で弱いと公式は書く) が公式の選び方になる。ただし IQ2_XS はこの PC では、低RAMモードのうちファイルキャッシュを通して読む方式で動き (setup.py の式)、公式がこの構成でメインメモリに写して置く方式の例に挙げるのは Coder だけになる。
  • VRAM 12GB の RTX 4070 SUPER と 16GB の RTX 5060 Ti の比較 (Strata 0.1 系、Q2_0、エキスパートを全部メインメモリに置いた状態) では、答えを書く速さは同じ程度で、プロンプトの読み込みが 12GB のカードで1〜2割遅かった。カードの種類も違うので、VRAM の量の差とは言い切れない。
  • DeepSeek V4.1-Flash は 2026年10月24日時点では Terminal だけで動き、ディスクの空きとメインメモリを先に確かめることになる。測定機 (メインメモリ 96GB、RTX 5080 1枚) では、エンジンが報告する答えを書く速さ (tok/s) が Qwen3.8-Flash-Next の IQ3_S より大幅に遅かった (トークンの区切り方や生成した長さは揃っていない)。
  • 2枚目の GPU を足すと、測定機の OCuLink の組み合わせでは Gyro の答えを書く速さはほぼ同じで、プロンプトの読み込みは遅くなり、コミットの空きは減った。

目的別の記事と、測ったバージョン

どの記事も Strata 0.1 系で測ったもので、この記事の 0.2 系の測定とは条件が違う。

この記事の測り方と、測っていないこと

測定機

測定機は Intel Core i7-14700F・メインメモリ 96GB・Windows 11・NVIDIA ドライバ 610.88。RTX 5080 16GB はマザーボードのスロット、RTX 5060 Ti 16GB は OCuLink (PCIe 4.0 x4) で外付けしている。測定機の構成は、検証環境のページに詳しく載せている。

本記事で新しく測った値は2026年10月24日に、この測定機で計測したもの。ほかの記事から引いた値には、その記事の測定日とバージョンを添えた。

使ったバージョンと起動の指定

Qwen3.8-Flash-Next の IQ3_S・Gyro-S・Gyro-M は、Strata 0.2.3.1 の Terminal (Control 0.1.48.1) と Qwen 用のエンジン 0.1.48 で、strata launch に --context 64k --vision off --tune skip --access local を付けて起動した。DeepSeek V4.1-Flash は 0.2.4.1 の Terminal (Control 0.1.49.1) と DeepSeek 用のエンジン 0.1.49 で、--dsv41-package で手元のエンジンを指定し、コンテキストは既定の 8K で起動した。1枚の回は --gpu-roles 0=main (RTX 5080) か --gpu-roles 1=main (RTX 5060 Ti)、2枚の回は --gpu-roles 0=main,1=helper を指定し、それ以外は Strata の既定の値のまま。0.2.4 と 0.2.4.1 の Qwen 用のエンジンは 0.1.48 と同じファイルになる。デスクトップアプリでは測っていない。DeepSeek の回は、エンジンの置き場を 0.2.3.1 のフォルダに向けた (結果への影響は確かめていない)。

付けた指定がそれぞれ何をするかは、指定の意味の表で確かめられる (意味は docs/TERMINAL_LAUNCH.md と strata launch の指定の説明による)。

指定 意味
--context 64k 最大のコンテキストを 64K トークンにする
--vision off 画像を読む部分を使わない
--tune skip 最初に速い設定を測って探す調整をしない (コマンドで起動するときは、もともと調整しない)
--access local この PC からだけ使えるようにする
--gpu-roles 0=main カードごとの役割 (Main・Helper・Off) を決める。測定機では RTX 5080 1枚を Main にした (番号は nvidia-smi の番号)
--gpu-roles 1=main RTX 5060 Ti 1枚を Main にした
--gpu-roles 0=main,1=helper RTX 5080 を Main、RTX 5060 Ti を Helper にした2枚の起動
--dsv41-package リリースのページから手で落とした DeepSeek 用エンジンのパッケージを、検査したうえでそのまま入れる

DeepSeek を RTX 5060 Ti だけで動かす回 (Strata 0.2.4.1、--gpu-roles 1=main) は、起動時の試験の応答が「invalid device ordinal」で止まったので、試験の応答を省く設定 (STRATA_DSV41_NO_SMOKE=1) を付けて起動し、計測はそのまま回った。Strata の不具合かどうかは確かめていない。

速さの測り方

速さは、Strata の GitHub リポジトリの bench/results/2026-09-29-rtx3090-epyc-milan/data/ にある strata-bench.py (コミュニティの測定結果に付いていたスクリプトで、インストールした Strata には入っていない) の speed モードで測った。入力はこのスクリプトの既定どおりで、ソースファイル (今回は Strata のリポジトリのもの) を並べ、最後のファイルが何をするかの説明と、改善案を差分で1つ出すよう頼む依頼文になっていて、温度は 0。約1,000トークンと約4,000トークン (Qwen は約32,000トークンも) を目安にした入力を各3本、生成の上限 256 トークン、思考オフで流した。スクリプトは要求ごとに別の識別子を付け、前の要求の実際のトークン数から次の入力の長さを合わせ直すので、どの要求も同じ文ではなく、実際の入力は 977〜1,129・4,168〜4,896・31,584〜31,713 トークンだった。IQ3_S は、256 トークンに届く前に答えが終わる要求が多かった。1つの条件ごとにサーバーを止めて起動し直す回を3回くり返し、起動ごとの中央値の中央値を取った。OS のファイルキャッシュは空にしておらず、DeepSeek では計測の途中でエンジンのエキスパートの記録 (expert-profile.bin) が書き換わったので、起動し直した回どうしは完全には独立していない。速さの値は Strata のエンジンが報告した値で、API の応答から計った値ともほぼ同じだった。コードを読ませる依頼での値なので、文章中心の会話では答えを書く速さが変わりうる。

ほかの GPU やモデルの実測は、AIハードウェア実測データベースから探せる。

測っていないこと

この記事と、目的別に挙げた記事で測っていないものは、メインメモリ 32GB・48GB・64GB の PC、Strata 0.2 系での VRAM 12GB のカード、AMD・Intel のカードと Mac、デスクトップアプリ、Swift 1.5・IQ2_XS・NVFP4・Qwen3.6-35B-A3B と、Unsloth のうち UD-Q4_K_XL を除くファイル、DeepSeek の 1.75bit と 2.25bit のセット、DeepSeek の2枚の速さ (IQ3_S の2枚は数本で止めたので比べていない)、0.2.4.2 での速さ、Gyro を置くドライブの違いによる速さの差になる。答えの品質は、この記事では比べていない。

参考資料

タイトルとURLをコピーしました