この記事の要点
VRAM 8GB の GeForce で Strata を試すとき、カードより先に確かめるのはメインメモリの量だ。モデルの重みの大半はメインメモリに載る。
今回測った RTX 5060 Ti で、Strata がほかのアプリ用に空けておく VRAM を増やして 8GB のカードに近づけると、文脈長 128K のまま起動し、短い答えを書く速さは絞らないときの 5〜7 割だった。長い入力では、最初の文字が出るまでの待ち時間がほぼ倍に延びた。
下書きの設定は自動のままで測った。DFlash2 を指定したほうが自動より速いとは言えず、自動と同じ速さだと確かめたわけでもない。
初めて検討する場合は「8GB相当に絞ると速さはどう変わるか」まで読めば、メインメモリの条件と、8GB 相当に絞ったときの速さの見当がつく。長い入力の待ち時間と、公式が載せる 8GB の値との違いは、続く節に書いた。使ったソフトのバージョン、測定機の構成、入力の長さと試行回数は「測り方と条件」にまとめた。
8GBのGeForceでStrataは使えるか
Strata の開発元 (GitHub の Niko1221/Strata。以下「公式」) は 0.2.10 のリリースで、VRAM(GPUに載っている専用のメモリ。モデルの重みや計算途中のデータを置く)が 8GB の単体のグラフィックボードでも、既定の文脈長(モデルが一度に扱える、入力と出力を合わせた文章の長さ)128K のまま起動するようにしたと説明している。128K はトークン(モデルが文章を扱う単位 (文字のかたまり))の数で、131,072 にあたる。VRAM が足りないときは、文脈長と同時に受ける要求の数を保ったまま、仕事をカードの外へ移すと公式は書いている。ただし、公式が載せる 8GB の値のうち NVIDIA のカードの値は、より大きいカードを手で絞って測ったもので、8GB の実機として載っているのは Intel Arc A750 だ。
Strata は、大きい MoE(Mixture of Expertsの略。入力ごとに一部の重み (エキスパート) だけを使って計算する構造のモデル)のモデルを動かすソフトだ。公式の docs/MODELS.md によると、重みの大半を占めるエキスパートをメインメモリに置き、残りをグラフィックボードに載せて動かす。125B の Qwen3.8-Flash-Next を VRAM 12GB〜16GB のカードで動かす用途で知られる。重みの大半がメインメモリに載るので、8GB のカードで試せるかどうかを先に分けるのは、VRAM よりメインメモリの量になる。
測定機では、RTX 5060 Ti 16GB で、Strata がほかのアプリ用に空けておく VRAM の量を 8,100MiB に増やし、Qwen3.8-Flash-Next の IQ3_S(GGUF形式の量子化の種類を表す名前。Qの後の数字は1つの重みに使うおおよそのビット数で、小さいほどファイルが小さくなる)を動かした。文脈長は 128K のまま起動し、答えを書く速さは、入力の長さごとの中央値 (3 回の起動) で 33.4〜38.3 tok/s(1秒あたりに処理するトークンの数)だった。これは Strata が下書き(先の語を推測して答えを速くする仕組み)の方式を自動で選んだ構成の値で、16GB のままの構成は 48.7〜70.4 tok/s だった。測定機のメインメモリは 96GB で、Strata の Terminal 0.2.12 (エンジン 0.1.58)、入力 約1K〜約32K トークン、生成の上限 256 トークン、思考オフの条件で測っている。ソースコードを読ませて英語で短く答えさせる課題の値で、日本語のチャットの速さではない。
以下、VRAM 16GB のカードでこの設定を 8,100MiB にした状態を「8GB 相当」と書く。計測のあとに見ると Strata のプロセスが確保していた VRAM は 7,344〜7,706MiB だったが、処理の途中でいちばん多く使った量は測っていない。8GB 相当は Strata の設定を使った模擬で、VRAM 8GB のカードの容量の制限や動き方を再現したものではなく、実機では測っていない。NVIDIA の製品ページでは、RTX 5060 Ti のメモリ構成は 16GB と 8GB の 2 つで、RTX 5060 は 8GB とされている。こうした 8GB のカード (RTX 5060 Ti の 8GB モデルや RTX 5060 など)、ノート PC、GeForce 以外のカードでの速さは、この測定からは分からない。
先に確かめるのはメインメモリ
公式の目安では、モデルが収まる条件は「メインメモリが、エキスパートの量に約 10GB を足した量以上あること」だ。公式は、グラフィックボードを大きくすると速くはなるが、必要なメインメモリは減らないとも説明している。例外として公式が挙げるのは、メインメモリが少ない PC 向けの使い方 (低 RAM モード) だけだ。
手元のメインメモリで足りるかは、公式の目安の表の「メインメモリに載るエキスパート」に約 10GB を足した量と比べて見る。
| サイズ | 重みの合計 (メインメモリ + VRAM) | メインメモリに載るエキスパート |
|---|---|---|
| Q2_0 | 37.6GB | 34GB |
| IQ2_XS | 39.2GB | 35.5GB |
| IQ3_XXS | 47.0GB | 43GB |
| IQ3_S | 54.8GB | 50GB |
注: 公式の docs/MODELS.md (2026年11月14日に取得) の Qwen3.8-Flash-Next の表をまとめたもので、当サイトの実測ではない。重みの合計は、モデルの重みがメインメモリと VRAM に載る分を合わせた公式の概算で、動かしている間に使うメモリの量そのものではない。文脈長によっては収まらないことがあるとも公式は書いている。このほかに 2 つ目のファイル (29GB の参照表) があり、公式によるとこれは SSD に置いたまま使う。
測定で使った IQ3_S なら、公式の目安で要るメインメモリは 50GB に約 10GB を足した量になる。公式の説明では、メインメモリが 64GB ならどのサイズも収まる。ただし IQ3_S は、ほかのアプリをほとんど開かない前提だ。48GB なら、収まるのは Q2_0 と IQ2_XS になる。
メモリが少ない PC 向けには、公式は Gyro-S を挙げている。Gyro-S はダウンロードが 58.5GB、公式が載せるメモリの目安 (VRAM とメインメモリの合計) が 27.6GB で、公式は「いちばん小さい選択肢で、品質は下がる」と説明している。Gyro-S は今回測っていない。
低 RAM モードについて公式は、メインメモリ 32GB の PC なら、VRAM 24GB のカードで Q2_0・IQ2_XS・Coder を、12〜16GB のカードで Coder を動かせると説明している。Coder は Qwen3.8-Flash-Next をコード向けに作り直した別のモデルで、上の表には載せていない。小さいカードではエキスパートの大半を SSD から読むので大きく遅くなる、とも書いている。8GB の数字を載せた 0.2.10 のリリースにも、メインメモリが少ない家庭の PC は SSD から読む分が増えて遅くなるとある。
測定機のメインメモリは 96GB だった。Strata のプロセスが使っていた物理メモリ (Windows が記録するワーキングセット) は、計測の直前で 48.3〜48.4GiB、計測のあとで 48.9〜51.2GiB だった (9 回の起動)。どちらもその時点の値で、処理の途中の最大ではない。メインメモリが 64GB 以下の PC では測っていないので、この値は、少ないメインメモリで収まるかどうかの根拠にはならない。
メインメモリと VRAM の量からどのモデルを選ぶかは、詳しくは「Strataで動かせるモデルと必要なメモリ」の記事で解説している。
8GB相当に絞ると速さはどう変わるか
8GB 相当・下書き自動の答えを書く速さは、16GB のままに対して、入力 約1K で約 69% (33.4 対 48.7 tok/s)、約4K で約 54% (38.3 対 70.4)、約32K で約 55% (37.6 対 68.4) だった。測った 3 つの入力の長さでは、16GB のままの 5〜7 割にとどまっている。生成の上限を 256 トークンにした短い答えでの値だ。8GB 相当は模擬で、起動の設定も 16GB のままの構成と一部そろっていないので (「測り方と条件」に書いた)、この比は見当として読む。
入力の長さごとの答えを書く速さ
どの入力の長さでも、8GB 相当の 2 構成の中央値は 16GB のままを下回った。
| 構成 | Strata の専用 VRAM | 下書き | 入力 約1K | 入力 約4K | 入力 約32K |
|---|---|---|---|---|---|
| 16GB のまま | 14,742MiB | DFlash2 (自動) | 48.7 tok/s [41.4-57.5] | 70.4 tok/s [63.7-70.5] | 68.4 tok/s [67.2-77.7] |
| 8GB 相当・下書き自動 | 7,700〜7,706MiB | MTP (自動) | 33.4 tok/s [28.2-40.3] | 38.3 tok/s [30.6-40.9] | 37.6 tok/s [26.4-42.8] |
| 8GB 相当・DFlash2 指定 | 7,344MiB | DFlash2 (指定) | 28.1 tok/s [18.0-37.0] | 37.0 tok/s [19.6-37.4] | 33.3 tok/s [19.3-42.3] |
注: 測定機は RTX 5060 Ti 16GB の 1 枚・メインメモリ 96GB、Strata の Terminal 0.2.12・エンジン 0.1.58、Qwen3.8-Flash-Next の IQ3_S、文脈長は既定の 128K。構成ごとに 3 回起動し、生成の上限 256 トークン・思考オフで測った。速さはエンジンの記録の tok/s で、各起動の 3 回の中央値をとり、3 起動の中央値 [最小-最大] を載せた。8GB 相当は Strata の設定で空けておく VRAM を 8,100MiB にした模擬で、8GB のカードの実機ではない。専用 VRAM は計測後の Strata のプロセスの値で、処理の途中の最大ではない。DFlash2 指定の下限は、計測の直前の CPU 使用率が高かった 3 回目の起動の値で、この起動は中央値の計算にも入っている。32K より長い入力は測っていない。
8GB 相当の構成は、起動ごとのぶれが大きい。下書き自動でも、入力 約1K の速さは起動によって 28.2〜40.3 tok/s と開いた。このぶれの原因は特定できていない。
VRAM 12GB・16GB のカードを絞らずに使ったときの速さは、別の記事「Strataで125BのQwen3.8-Flash-NextをVRAM 12GB・16GBで実測」で測った。
起動にかかった時間と VRAM の使い方
起動は 3 つの構成とも文脈長 128K のまま通り、かかった時間は 45〜51 秒だった。モデルのファイルが手元にあり、同じ PC で Strata を使ったことがある状態から各構成 3 回起動したときの時間で、初めての PC でかかる時間ではない。
計測のあとに見た Strata のプロセスの専用 VRAM(そのプロセスが VRAM に確保している量)は、16GB のままが 14,742MiB、8GB 相当・下書き自動が 7,700〜7,706MiB、8GB 相当・DFlash2 指定が 7,344MiB だった。どれも Windows が記録するプロセスごとの専用 GPU メモリの値で、各構成 3 起動のものだ。
速さが落ちたときのエンジンの記録
エンジンの記録では、VRAM に置くエキスパートの枠 (VRAM に置いておけるエキスパートの数) が、16GB のままの 4,278 枠 (8.16GiB) から、8GB 相当では 483 枠 (0.94GiB) と 481 枠 (0.93GiB) に減っていた。VRAM に置けないエキスパートは、メインメモリ側から使うことになる。
VRAM に置くエキスパートは約 9 分の 1 に減っており、速さの差と同じ方向の変化だ。ただし、これが速さの低下の原因かどうかは切り分けていない。
長い入力と長い答えではどうか
約32K の入力では、最初の文字が出るまでの時間が、16GB のままの 27.8 秒から 8GB 相当・下書き自動の 51.6 秒へ延び、1.9 倍ほどになった。約1K では 3.7 秒が 5.6 秒に、約4K では 7.1 秒が 9.2 秒になっている (どちらも 16GB のまま → 8GB 相当・下書き自動、3 起動の中央値)。
最初の文字が出るまでの時間
入力が長くなるほど、構成の間の差は開く。
| 構成 | 最初の文字まで (約1K) | 最初の文字まで (約4K) | 最初の文字まで (約32K) | 約32K の入力を読む速さ |
|---|---|---|---|---|
| 16GB のまま | 3.7 秒 | 7.1 秒 | 27.8 秒 | 1,139 tok/s |
| 8GB 相当・下書き自動 | 5.6 秒 | 9.2 秒 | 51.6 秒 | 613 tok/s |
| 8GB 相当・DFlash2 指定 | 5.8 秒 | 9.3 秒 | 51.6 秒 | 614 tok/s |
注: 速さの表と同じ測定 (測定機・Strata の Terminal 0.2.12・エンジン 0.1.58・IQ3_S・128K・構成ごとに 3 回起動)。最初の文字が出るまでの時間は、要求を送ってから答えの最初の文字が届くまで。入力を読む速さはエンジンの記録。どちらも 3 起動の中央値。
短い入力では、8GB 相当にしても待ち時間の差は 2 秒ほどにとどまる。差がはっきり開くのは、約32K の長い入力を渡したときだ。
約32K の入力を読む速さは、16GB のままが 1,139 tok/s、8GB 相当が 613〜614 tok/s だった。8GB 相当の構成のエンジンの記録には、VRAM に置くエキスパートの枠が小さいので、入力を読む経路を別のものに切り替えたとあった。記録に出てくる 768 トークンはその経路の内部の処理の単位で、約32K の入力は、それより大きいまとまりに分けて読まれていた。これが入力を読む速さが落ちた理由かどうかは確かめていない。
長い答えを書く速さ
2,048 トークンまで書かせた長い答えでは、16GB のままが 59.9〜78.4 tok/s、8GB 相当・下書き自動が 28.3〜44.1 tok/s だった。日本語 1 本と英語 2 本の課題を 3 回の起動で書かせた、9 つの値の最小と最大だ。
同じ構成でも、起動によって値のまとまりが上下する。
| 構成 | 1 回目の起動 | 2 回目の起動 | 3 回目の起動 |
|---|---|---|---|
| 16GB のまま | 62.9 / 71.7 / 67.2 tok/s | 59.9 / 68.6 / 62.6 tok/s | 62.0 / 78.4 / 69.3 tok/s |
| 8GB 相当・下書き自動 | 39.1 / 44.1 / 39.1 tok/s | 29.9 / 32.8 / 28.3 tok/s | 33.5 / 33.4 / 33.2 tok/s |
| 8GB 相当・DFlash2 指定 | 37.2 / 40.2 / 40.5 tok/s | 35.3 / 41.1 / 33.8 tok/s | 22.9 / 24.4 / 22.5 tok/s |
注: 速さの表と同じ起動で、速さの計測のあとに続けて測った。上限 2,048 トークンの課題 3 本 (日本語 1 本・英語 2 本)・思考オフ。答えを書く速さはエンジンの記録の tok/s で、各欄は 3 本の値を課題の順に並べたもの。DFlash2 指定の 2 回目と 3 回目は、1 本目が上限より前 (2,003 と 1,879 トークン) で書き終えた。DFlash2 指定の 3 回目の起動は、計測の直前の CPU 使用率が高かった。
長い答えでも、8GB 相当・下書き自動はどの起動のどの課題でも 16GB のままを下回った。課題ごとに 3 起動の中央値で比べると、その速さは 16GB のままの約 47〜54% だった。
下書きの設定は自動のままでよいか
8GB 相当に絞った構成で下書きを指定しないと、Strata は MTP を選んだ。DFlash2 と MTP は、先の語を推測して答えを速くする下書きの方式の名前だ。エンジンの記録では、MTP の層が VRAM を 837MiB 使っていた。16GB のままの構成では DFlash2 が選ばれ、下書き用のモデルは 625MiB だった。
この選ばれ方は今回の絞り方での結果で、8GB のカードの実機で何が選ばれるかは確かめていない。公式は、VRAM に収まらないときは MTP の層を外すと書いている。
DFlash2 を指定した構成との比べ方
8GB 相当・DFlash2 指定の答えを書く速さは、入力 約1K・約4K・約32K の順に 28.1・37.0・33.3 tok/s (3 起動の中央値) で、8GB 相当・下書き自動 (MTP) は 33.4・38.3・37.6 tok/s だった。中央値は 3 つとも DFlash2 指定が低いが、どの入力の長さでも起動ごとの [最小-最大] が重なっており、この回数ではどちらが速いとは言えない。
DFlash2 指定の 3 回目の起動は、計測の直前の CPU 使用率が 45.8% で、ほかの起動 (7.7〜27.8%) より高かった。そのとき何が動いていたかは記録していない。この起動の速さは 18.0〜19.6 tok/s、長い答えで 22.5〜24.4 tok/s と、ほかの 2 回の半分ほどで、参考として読む。DFlash2 指定の幅の下限は、この起動の値だ。
測った範囲では、下書きの指定を自動から変える理由は見つからなかった。
公式が説明する8GBのカードでの動きと、今回確かめられなかったこと
公式の 0.2.10 のリリースは、VRAM が足りないときに Strata が文脈長を保ったまま踏む段階を、順に挙げている。
- KV の窓(これまでの文章の計算結果のうち VRAM に置く分)を 20,480、8,192、4,096 と段階的に小さくする
- それでも収まらないときは、MTP の層を外す
- 入力を読む経路のバッファを減らす (この経路が持つエキスパートの枠を 128 でなく 16 にする。後の表の「VRAM に置くエキスパートの枠」とは別の数字)
- 最後の段階として、出力の head (0.41GiB) をメインメモリに置く。このとき答えを書く速さは約 3 分の 1 になる
公式が載せる8GBの数字
公式が載せる 8GB の値のうち、NVIDIA のカードの値は、より大きいカードを手で絞り、メインメモリの多いワークステーションで測ったものだと公式は断っている。8GB の実機として載っているのは Intel Arc A750 で、128K の起動 4 通りが 12.7〜14.8 tok/s だ。Arc A750 は GeForce ではないので、8GB の GeForce の速さの見当には使えない。
公式の 8GB の値の表は、どの行がどのカードをどう絞って測ったものかを確かめながら読む。
| 公式が載せる構成 | 公式の値 |
|---|---|
| 8GB に絞ったカード・DFlash2 のみ | 63〜73 tok/s (VRAM の空き 391MiB、32K の入力を 19.8 秒で読む) |
| 8GB に絞ったカード・MTP を指定 (MTP の層は外れた) | 61〜71 tok/s (VRAM の空き 555MiB、32K の入力を 13.4 秒で読む) |
| RTX 5070 (12GB) を約 8GB に絞る・DFlash2 | 絞らないときより 17〜27% 遅い |
| Intel Arc A750 (8GB の実機) | 12.7〜14.8 tok/s |
注: 公式の Strata 0.2.10 のリリース (日本時間の 2026年11月3日公開) が載せる値で、どの行も文脈長 128K の起動。IQ3_S と書かれているのは上の 2 行だ。公式が測った値で、当サイトの実測ではない。Intel Arc A750 以外の 3 行は、より大きいカードを手で絞り、メインメモリの多いワークステーションで測ったと公式は断っている。エンジンのバージョンが今回の測定と違う。
RTX 5070 (12GB) の実機を約 8GB に絞った 128K・DFlash2 の起動について、公式は、文脈長を保ったまま、絞らないときより 17〜27% 遅かったと書いている。この値は、カードが今回の測定と違い、エンジンのバージョンも違う。絞り方や課題が今回とそろっているかも確かめられない。
今回のエンジンの記録
KV の窓と下書きが構成の間でどう変わったかを、エンジンの記録から表にまとめた。
| 構成 | VRAM に置くエキスパートの枠 | 下書き | KV の窓 | 読み込み後の VRAM の空き |
|---|---|---|---|---|
| 16GB のまま | 4,278 枠 (8.16GiB) | DFlash2 (625MiB) | 32,768 | 718MiB |
| 8GB 相当・下書き自動 | 483 枠 (0.94GiB) | MTP (837MiB) | 32,768 | 7,768MiB |
| 8GB 相当・DFlash2 指定 | 481 枠 (0.93GiB) | DFlash2 | 32,768 | 8,118MiB |
注: 速さの表と同じ測定の、各構成の起動でエンジンが記録した値。エキスパートの枠は VRAM に置くエキスパートの数と大きさ。KV の窓は VRAM に置く分で、残りはメインメモリに置かれる。VRAM の空きは、モデルをすべて読み込んだあとにエンジンが記録した、カード全体の空き。公式の表の「VRAM の空き」と同じ基準かは分からない。
今回の絞り方では、KV の窓は 3 構成とも 32,768 のままで、下書き自動では MTP の層が載った。公式が挙げる段階のうち、KV の窓の縮小と MTP の層を外す動きは、今回の記録には出ていない。今回の絞り方 (Strata の設定で空けておく VRAM を増やす) では、Strata は 16GB のカードとして起動の計画を立てる。8GB のカードの実機でどの段階まで進むかは、この測定では確かめられない。
公式の 8GB の値 (IQ3_S・128K・DFlash2 のみで 63〜73 tok/s) は、今回の 8GB 相当・DFlash2 指定の値 (28.1〜37.0 tok/s) より高い。今回の絞り方では、VRAM に置くエキスパートの枠が 481〜483 まで減っていた。公式の絞り方が今回とそろっているかは確かめられず、エンジンのバージョンも違うので、同じ条件の比較ではない。
測り方と条件
この記事の 8GB 相当は、VRAM 16GB の RTX 5060 Ti で、Strata がほかのアプリ用に空けておく VRAM の量を 8,100MiB に増やした模擬だ。Strata が使う VRAM の上限を決めて確かめたものではなく、VRAM 8GB のカードの実機でも測っていない。8GB のカード、ノート PC、GeForce 以外のカードでの速さは、この測定からは分からない。
測定機
測定機は Intel Core i7-14700F、メインメモリ 96GB、Windows 11 の PC だ。RTX 5060 Ti 16GB は OCuLink(PCI Expressの信号をケーブルで外へ引き出す接続規格。外付けのGPUをつなぐのに使われる)で外付けしており (PCIe 4.0 x4)、画面はつないでいない。Strata はこの 1 枚だけで起動し、同じ PC のもう 1 枚のカードは使っていない。IQ3_S のファイルは C: の NVMe の SSD に置いた。
本記事の実測値は、2026年11月13日の夜から14日の未明に、上記の測定機で Strata の Terminal 0.2.12 (エンジン 0.1.58) を使って計測したもの。
Strata のバージョンとモデル
測定に使ったのは Strata の Terminal 0.2.12 で、エンジンは 0.1.58 (CUDA 13 向け) だった。公式の 0.2.12 のリリースは、Terminal が 0.2.12、Control とエンジンが 0.1.58 と書いている。
公式の 2026年11月9日のリリース (0.2.13) は、Terminal を 0.2.13、エンジンを 0.1.59 としている。ただし、Windows で 0.2.12 の Terminal から更新した場合は、Terminal は 0.2.12 のままで、エンジンだけが 0.1.59 になると公式は書いている。この記事の値はエンジン 0.1.58 のもので、0.1.59 では測っていない。更新ごとに変わった点は、別の記事「Strataのアップデートで変わったこと」にまとめている。
モデルは Qwen3.8-Flash-Next の IQ3_S で、2 つのファイル (54,817,524,224 バイトと 28,800,138,432 バイト) からなる。公式は IQ3_S を、4 つのサイズのうち品質がいちばん良く、いちばん遅いサイズと説明している。答えの品質は今回比べていない。
8GB 相当への絞り方と起動の指定
8GB 相当への絞り方は、Strata がほかのアプリ用に空けておく VRAM の量の設定を 8,100MiB にする方法だ。公式は、この値を自分で決めたときは Strata が上げ下げしないと説明している。指定しないときは、画面をつないでいないカードで 512MiB (画像を GPU で読むときは 700MiB)、画面をつないでいる 16GB 以下のカードで 1,536MiB を空けると公式は書いている。この指定は模擬のためのもので、8GB のカードを持つ読者が付ける指定ではない。今回のカードは画面をつないでいないので、画面をつなぐ 8GB のカードの実機では、Strata が使える VRAM は今回の 8GB 相当より少なくなる。その場合の速さは測っていない。
別のプロセスで VRAM を埋める方法も 2 通り試した。埋めた VRAM に触り続ける方法は、Strata の専用 VRAM は 7,938MiB に収まったが、速さが 4.5〜69 tok/s と安定しなかった。触らない方法は、Strata の専用 VRAM が 9,410MiB まで増えて 8GB に収まらなかった。どちらも使っていない。
起動は strata launch にモデルのフォルダ・使うカード・待ち受けを指定し、構成によって指定を足した。文脈長・画像・チューニングは指定せず、既定のまま (文脈長 128K・画像オン) にしている。足した指定とその意味は、指定の表で確かめられる。
| 指定 | 意味 |
|---|---|
--set vram-reserve-mib=8100 |
Strata がほかのアプリ用に空けておく VRAM を 8,100MiB にする。--set は、エンジンの詳しい設定を 1 つ渡す指定 (公式の説明)。8GB 相当の 2 構成で足した |
--drafting dflash2 |
下書きの方式に DFlash2 を指定する。8GB 相当・DFlash2 指定の構成でさらに足した |
Strata の入れ方と起動の指定は、詳しくは「Strataの使い方とインストール」の記事で解説している。
計測の入力と回数
速さは、約1K・約4K・約32K トークンの入力をそれぞれ 3 回送り、生成の上限 256 トークン・思考オフで測った。入力はソースコードのファイルをつなげたもので、最後のファイルの説明と改善の差分を英語で求める課題だ。入力の実際のトークン数は、全 81 回で、約1K が 997〜1,128、約4K が 4,201〜4,681、約32K が 30,927〜31,654 だった。答えが上限の 256 トークンに達したのは 81 回のうち 9 回で、残りの 72 回は 40〜215 トークンで終わっている。日本語のチャットの速さや、課題をこなせたかどうかは比べていない。各起動で 3 回の中央値をとり、3 起動の中央値と [最小-最大] を載せている。どの起動も、前のエンジンを止め、RTX 5060 Ti の VRAM の空きが 15,000MiB 以上あるのを確かめてから、エンジンを起動し直した。同じ起動の中の 3 回は、モデルを読み込んだまま続けて測っている。
長い答えは、上限 2,048 トークンの課題 3 本 (日本語 1 本・英語 2 本) を、起動ごとに 1 回ずつ書かせた。速さはどれもエンジンが記録した値だ。どの計測も温度は 0 で、乱数の種は指定していない。32K より長い入力は測っていない。
同時に動いていたものと数字の読み方
計測中は同じ PC でほかの処理も動いており、計測の直前の CPU 使用率は 7.7〜45.8% だった。
16GB のままの構成では、モデルを読み込んだあとの VRAM の空きが 718MiB で、エンジンが「空きが 1,024MiB を下回っている」という警告を出していた。8GB 相当の構成では、この警告は出ていない。
どの構成でも、エンジンは、エキスパートを置くメインメモリの領域全体を固定する処理に失敗し、46GiB 分だけを固定したと記録していた。この PC で Windows が確保できるメモリの上限 (メインメモリとページファイルの合計) は 111.8GiB で、計測の直前の残りは、16GB のままの構成で 2.6〜3.5GiB、8GB 相当の構成で 5.7〜9.2GiB だった。これは確保できる枠の残りで、メインメモリの空きとは別の値だ。エンジンは、大きなページでの確保を断られて 4KB のページを使ったことと、CPU の割り当ての指定に失敗したことも、どの構成でも記録していた。これらが速さに与えた影響は確かめていない。
16GB のままの構成は会話のキャッシュがオフ、8GB 相当の構成はオンで起動しており、構成の間でここが揃っていない。毎回ちがう入力を送っているが、会話のキャッシュの違いが速さに与えた影響は確かめていない。
下書きに付く細かい設定も Strata が構成ごとに自動で決めており、DFlash2 の設定値は、16GB のままの構成と 8GB 相当・DFlash2 指定の構成で違っていた。入力を読むときのまとまりの大きさも構成の間で違う。空けておく VRAM の量だけを変えた比較ではなく、こうした違いを含む参考の比較として読む。
まとめ
VRAM 8GB の GeForce で Strata を試すとき、まず確かめるのはメインメモリの量だ。重みの大半を占めるエキスパートはメインメモリに載り、公式は、低 RAM モードを除いて、カードを大きくしても必要なメインメモリは減らないと説明している。
RTX 5060 Ti 16GB で、Strata がほかのアプリ用に空けておく VRAM を 8,100MiB に増やした 8GB 相当の測定では、IQ3_S が文脈長 128K のまま起動し、短い答えを書く速さは 16GB のままの 5〜7 割だった。下書きの設定は自動のままで測り、DFlash2 を指定したほうが自動より速いとは言えなかった。自動と同じ速さだと確かめたわけでもない。
8GB のカードの実機と、メインメモリが少ない PC での値は測っていない。測定機のメインメモリは 96GB だった。
