Strataの思考設定none・low・medium・highを比べる｜Qwen3.8-Flash-NextをVRAM 16GBのRTX 5080で検証、noneとmediumは240Kトークンの長文でも

Strataの思考設定は、どれを選べばよいか

Strata の思考設定は none・low・medium・high の4つで、リクエストごとに選べる。公式ドキュメントは、何も指定しなければモデル自身の既定である high が使われると説明している。思考設定を指定せずに使っていれば、この測定で答えが出ない回があった high で動いていることになる。

同じ16問を各設定で5回ずつ出したところ、none は形式まで含めた合格が 65/80 にとどまった。外したのは、3人の発言から犯人を決める論理の問題、重なる区間をまとめる問題、16進数と2進数を足す問題の3問だけだった。medium は全部に合格した。high はコードの修正課題で、出力の上限 8192 トークン (トークンはモデルが文章を区切って数える単位) に達して、答えが出なかった回が2回あった。約240K トークンまでの長い入力 (none と medium だけで試した) では、none も埋め込まれた値は全部見つけており、外したのはその値から出す合計の計算だった。

判断の分かれ目は3つある。none が毎回外した3問 (論理・区間のまとめ・進数の足し算) と似た問題を外してもよいから速く返したいか、high が上限に達して答えを出さない回を許せるか、待ち時間をどこまで許せるか、である。ここまでの結果は、RTX 5080 の1枚で Strata 0.1.40 (IQ3_S) に英語の16問を温度 0 で5回ずつ出した測定と長い入力の測定から言えることで、設定の優劣を一般化した順位ではない。Qwen 公式が勧めるサンプリング設定 (思考ありは温度 1.0、思考なしは温度 0.7 など) では、どの思考設定でも測っていない。

思考設定の仕組みと、試した条件

ここでいう思考は、モデルが最終の答えを出す前に考える過程 (reasoning) のことだ。Strata の README によると、Strata が動かすのは Qwen チームの Qwen3.8-Flash-Next で、ISTA-DASLab などが圧縮したものを使う。本記事では ISTA-DASLab の GSQ-RCO GGUF のうち IQ3_S を使った。

公式ドキュメント (0.1.40 の DETAILS.md) の説明では、思考設定はリクエストごとに選べる。OpenAI 形式の API で思考設定を指定する項目が reasoning_effort で、指定しなければ既定の high になる。none はすぐに答え (いちばん速い)、low は思考を短くする。どの段階もモデルが学習した指示であって、トークン数の上限ではないと書かれている。あわせて、易しい問題では low・medium・high のどれも短く考え、難しい問題では high がいちばん長く考えて最も正確になる、とも説明している。この点は本記事の測定では確かめていない。

思考を決まったトークン数で打ち切る設定は別にあり、リクエストに reasoning_budget_tokens を付けると思考を指定の数で止められると同じドキュメントにある。既定では使われない設定で、本記事の測定でも使っていない。思考の中で同じ文章の断片の繰り返しを検出すると、返答をそこで打ち切る (stop) か、軽い思考の指示に差し替えて一度だけ続きを生成する (recover) 設定 (reasoning_loop_recovery) もモデルの設定ファイルにあるが、既定ではオフで、こちらも使っていない。これで high の答えが出るようになるかは試していない。指定したのは、思考を含む出力の上限 8192 トークンだけだ。

問題は英語の短い16問で、JSON で答える12問と、壊れた Python の関数を直す4問からなる。温度 0 で各設定5回ずつ送ったので、80回の結果は独立した80問ではなく、同じ問題を5回繰り返した記録になる。

出した16問のうち、どこかの設定で不合格が出た5問を例に挙げる。原文は英語で、ここでは要旨を日本語にした。

Strata の導入の流れと、VRAM 12GB・16GB での生成の速さはStrataで125BのQwen3.8-Flash-NextをVRAM 12GB・16GBで実測で扱っている。

16問を5回ずつ出した結果

表の「形式まで含めて合格」は、指定した形 (JSON だけ、または修正済みのコードだけ) で返し、値も全部合った回の数だ。「コード部分だけで採点」は、返答からコードだけを取り出して同じテストにかけ直した数で、形式の違反を数えない見方になる。コードを取り出して採点できるのはコードを直す4問の20回だけで、JSON の60回は「形式まで含めて合格」と同じ採点になる。答えが出なかった回は取り出すコードが無いので、不合格のまま数えている。

「答えが出なかった回」は、出力の上限 8192 トークンに達して最終の答えが無かった回を指す。同じ問題文を5回送っているので、5回は独立した5問ではなく同じ問題の繰り返しになる。温度 0 でも5回の答えが一致しないことがある (理由は「検証環境と測り方」の節)。

どこかの設定で不合格が出た5問を抜き出すと、次のようになる。

残りの11問 (注文の合計・税の計算・絞り込み・重複の除去・並べ替え・ログの数え上げ・順番の決定・日付の計算・指示の混ざったデータからの抽出の9問と、設定ファイルを読む関数の修正・ログを集計する関数の修正の2問) は、4設定とも5回とも合格した。

none は3問に集中して外した

none は答えるまでの考えを出さずに答える設定で、不合格は3問に集まり、その3問は5回とも外した。犯人を決める論理の問題、重なる区間をまとめる問題、16進数と2進数を足して10進数で答える問題である。ほかの13問は none でも5回とも合格し、low・medium・high ではこの3問も5回とも合格した。同じ問題を同じ条件で繰り返しているため、外した回は5回とも同じか近い誤答になっている。

low の3回は形式の違反で、コードは正しかった

low の不合格3回は、どれも区間をまとめる関数の修正課題で起きた。「修正済みのコードだけを返す」という指定に反して説明文を付けたため形式で落ちたが、付けたコードだけを取り出して同じテストにかけると全部に合格した。コード部分だけで採点した 80/80 はこの3回を含む数だ。

high の2回は上限に達して答えが出なかった

high の不合格2回は、どちらもコードの修正課題で、出力の上限 8192 トークンに達し、最終の答えが無かった回だった。区間をまとめる関数を直す問題の回が 130.6秒、税込み合計の関数を直す問題の回が 62.1秒かかっている。2回の中身は同じではない。区間をまとめる関数を直す問題の回は、問題文の「touching (接する区間もまとめる)」の解釈を何度も検討し直して終わらなかった。税込み合計の関数を直す問題の回は、途中から「b=12?」という短い式を上限まで繰り返していた。上限に達した点は同じでも、長く考え込んだ結果とは限らない。high が答えを返した78回は、すべて形式まで含めて合格している。上限を広げれば答えが出たかどうかは試していない。

待ち時間はコードの修正で開いた

所要は、1リクエストを送り始めてから答えが返り終わるまでの秒数だ。16問全体の中央値 (16問を5回ずつ出した結果の表) では、low 以上の3つの差は小さい。JSON で答える12問とコードを直す4問に分けると、差が出ていたのはコードを直すほうだった。

JSON の12問は各設定60回、コードを直す4問は各設定20回の値で、コードを直す問題の所要には答えが出なかった回も含まれる。

コードを直す4問の中央値は、思考を省く none と既定の high で大きく離れた。最大は high の 130.6秒で、これは区間をまとめる関数を直す問題で上限 8192 トークンに達し、答えが出なかった回にあたる。

約240Kトークンまでの長文では、noneも値は見つけ、外したのは合計の計算だった

長い入力は none と medium の2つだけで試した。課題は、コードと文書のファイルを順に並べて (同じ資料の繰り返しではない) 約1K・60K・120K・240K トークンの長さにし、文字数で 10%・50%・90% 付近に、指定した ID の記録を3つ (キーと価格 / キーと数量 / キーと割引) 埋め込んで作った。答えさせたのは、3つのキー・価格・数量・割引と、合計 (価格 × 数量 − 割引) の7つの値で、JSON で返させた。同じ5問を各長さ・各設定で使い、出力の上限は none も medium も 8192 トークンにした。

実際に送ったトークン数は none と medium でほぼ同じ (2トークン差) なので、表の「実際に送ったトークン数」の列は medium の値にした。この課題は埋め込んだ値を探して計算させるもので、長い文章を読む力全般を測る試験ではない。

medium は、どの長さでも5問とも7つの値がすべて合っていた。none には外した回があったが、その回も3つのキーと価格・数量・割引の値は全部合っていた。両方の設定・全部の長さで、値を探す部分は全問合っている。none が間違えたのは、自分で返した価格・数量・割引から計算した合計のほうだった。

none が合計を間違えたのは、4つの長さ×5問の20回のうち5回で、そのうち4回は同じ1問だった。139 × 19 − 23 = 2618 のところを 2628 と答えていた (60K の回だけは 2620)。この問題は入力が約1K の短いときにも外している。残りの1回は別の問題で、142 × 22 − 23 = 3101 に 3099 と答えた。短い入力でも同じ外し方をしているので、この測定の範囲では、入力の長さだけでは説明がつかない。16問の注文の合計や税の計算は none でも5回とも合格しており、計算一般で外すとも言えないので、原因はこの結果から決められない。

いちばん長い約240K の入力は、実際に送ったトークン数が 238,970 で、最大の文脈を 262,144 トークンに設定したサーバーに出した。262,144 トークンを丸ごと送ったわけではない。所要の中央値は none が 81.9秒、medium が 85.2秒だった。どちらも約80秒は入力の読み込み (サーバーが記録した処理時間) で、思考を省く none と思考する medium の差は約3秒だった。この課題の約240K の入力では、待ち時間のほとんどが思考の有無に関係なくかかっていた。medium が長く考える課題や、長い入力での low・high は試していない。

PCの構成相談で、highが上限に達して答えが出なかった（1つ前のver 0.1.39）

PC の構成相談を含む日本語の3つの質問は、1つ前のverの Strata 0.1.39 で測ったもので、記事のほかの測定 (0.1.40) とは ver が違う。モデルは同じ IQ3_S、RTX 5080 単体、最大の文脈 262,144、温度 0、出力の上限 8192 トークンで、日本語の3つの質問を none・medium・high で5回ずつ出した。質問は、VRAM 16GB とメインメモリ 96GB の PC で 100B を超える MoE を動かすときの置き方の相談、フォルダの .log ファイルから ERROR の行を数える Python の関数、税率の違う2品の税込み合計の3つである。0.1.40 では、この3つの質問は測っていない。

表の「答え」は最終の答えが返った回の数で、秒数は所要の中央値。この3つの質問では、答えの内容の正しさを採点していない。税の計算は、答えの文字列を機械で調べると表記の違いで数え漏れが出るため、正解の数としては載せていない。

この PC の構成相談では、high が5回とも上限 8192 トークンに達し、答えが出なかった。思考の中身は、答えに入れる論点を挙げ続けるものだった。同じ質問に medium と none は5回とも上限より手前で答えを返している。この IQ3_S の測定では、上限を 8192 トークンから広げた場合に high でも答えが出たかどうかは試していない。コードを書く質問と税の計算の質問は、none・medium・high の全部で5回とも答えが返った。

量子化の違う Q2_0 で同じ構成相談を出した結果は、VRAM 12GB・16GB で Strata を実測した記事の PC の構成相談の節に載せている。

検証環境と測り方

0.1.40 の測定に使ったのは Strata 0.1.40 (2026年10月6日公開の公式配布物) で、日本語の3つの質問だけ 1つ前のverの 0.1.39 を使った。モデルは Qwen3.8-Flash-Next の IQ3_S で、ISTA-DASLab の GSQ-RCO GGUF から取得した2ファイル (Qwen3.8-Flash-Next-GSQ-RCO-IQ3_S-00001-of-00002.gguf と Qwen3.8-Flash-Next-GSQ-RCO-IQ3_S-00002-of-00002.gguf、計約83.6GB) を使い、sha256 が配布元の値と一致することを確かめてある。

0.1.39 と 0.1.40 の違いのうち、この記事に関わるものを公式のリリースノートとドキュメントから挙げておく。思考設定の4つの段階と、指定しなければ high になる仕組みは、どちらの ver でも同じだ。思考の中の繰り返しを検出する reasoning_loop_recovery は 0.1.40 で加わった設定で、既定ではオフになっている。公式は、IQ3_S を含む4つの構成 (Q2_0・IQ3_XXS・IQ3_S と、コード向けの Coder) について、キャッシュを固定した条件では 0.1.39 と同じ答えになることを公開前に確かめたとしている。どちらの ver の測定でもキャッシュなどを固定する設定を使っていないので、この確認から、0.1.39 で測った日本語の3つの質問の結果が 0.1.40 でも同じになるとは言えない。速さについて公式は、RTX 5070 で Q2_0 と IQ3_XXS のそれぞれを 0.1.39 と 0.1.40 で比べ、0.1.39 に対する 0.1.40 の出力の速さの差は -0.3% から +3.4%、入力の読み込みの差は2%以内だったとしている。公式のこの比較に IQ3_S と RTX 5080 は含まれず、この記事でも ver 間の速さは測り比べていない。日本語の3つの質問を 0.1.40 で測り直してはいない。

GPU は RTX 5080 単体で、画面表示にも同じ GPU を使っている。メインメモリは 96GB。サーバーは 0.1.39・0.1.40 のどちらの測定でも同じ設定にし、最大の文脈 262,144 トークン、KV キャッシュ int8、MTP の先読みありで立ち上げた。KV キャッシュのうち VRAM に置く分は 32768 トークンに限り (残りはメインメモリ)、VRAM の余白を 1200MiB 残し、投機デコードは --spec 4・--spec-min-p 0.5 で動かした。エキスパートの配置の記録 (expert profile) は Strata に同梱のファイルを使った。0.1.35・0.1.39・0.1.40 の同梱ファイルは中身が同じだった。リクエストは温度 0、出力の上限 8192 トークン (思考を含む) とし、OpenAI 形式の API で reasoning_effort だけを変えて、同じ問題文を各設定で5回ずつ送った。思考を打ち切る reasoning_budget_tokens は付けていない。所要は1リクエストの開始から終わりまでの秒数である。

温度 0 は、Qwen 公式が思考ありの使い方に勧める設定 (temperature 1.0・top_p 0.95・top_k 20) とも、思考なしの使い方に勧める設定 (temperature 0.7・top_p 0.8・top_k 20) とも違う。Strata の資料によると、IQ 系の量子化 (IQ3_S もこれに当たる) でエキスパートを CPU で計算するときは、温度 0 でも、MTP の先読みやキャッシュの状態によって同じ問題文の答えが変わることがある。サーバー経由では、エキスパートを RAM と VRAM の間で動かす仕組みの状態と、同じ問題文を続けて送ったときのプロンプトキャッシュも次のリクエストに引き継がれる。この測定では、これらを固定する設定は使っていない。high が上限に達した2回も、この条件で出た結果になる。

本記事の実測値は2026年10月6日に、この測定機・設定で計測したもの。測定機のほかの構成は検証環境のページにまとめている。

まとめ

ここまでの結果は、RTX 5080 の1枚で Strata 0.1.40 (IQ3_S) に英語の16問を温度 0 で5回ずつ出した測定と、none・medium だけで試した長い入力の測定の範囲のもので、設定の優劣を一般化した順位ではない。Qwen 公式が勧めるサンプリング設定 (思考ありは温度 1.0、思考なしは温度 0.7 など) では、どの思考設定でも測っていない。この範囲では、16問で全部に合格し、長い入力でも外さなかったのは medium だった。思考を省く none は短い問題では返りが速い (約240K の長い入力でも medium より約3秒短いだけで、待ち時間の大半は入力の読み込みだった) 一方、論理・区間・進数変換の3問を毎回外し、長い入力で外した回も合計の計算だった。ただし注文の合計や税の計算、日付の計算は none でも5回とも合格しており、計算を含むかどうかだけでは none が外す問題を見分けられなかった。手元の用途に近い問題で一度試すと見極めやすい。思考設定を指定しないと high で動き、high は答えを返した回はすべて合格した一方、コードの修正課題で上限に達して答えが出ない回があった。low は「修正済みのコードだけを返す」指定に反して説明文を付けた回があったが、返答からコードを取り出して採点すれば、0.1.40 の16問の測定の範囲では全部合格だった。別の測定として、1つ前のver (0.1.39) で日本語の PC の構成相談を5回ずつ出したところ、none・medium・high のうち high だけが5回とも上限に達して答えが出なかった (low は試していない)。

この記事は Qwen3.8-Flash-Next だけで試した。Strata で動かせるほかのモデルを、メインメモリの量と VRAM 12GB・16GB から選ぶ早見表は「Strataで動かせるモデルと必要なメモリ」にまとめた。

参考資料

• Strata (GitHub)
• Strata v0.1.40 docs/DETAILS.md (思考設定)
• Strata v0.1.40 (リリース)
• ISTA-DASLab/Qwen3.8-Flash-Next-GSQ-RCO-GGUF (Hugging Face)
• Qwen/Qwen3.8-Flash-Next (Hugging Face)