LLM量子化・軽量化 Ternary Nemotron 3.5 LightningをVRAM 12GBで動かす|長い文書でも速さは保てるか RTX 4070 SUPER(VRAM 12GB)1枚でTernary Nemotron 3.5 Lightningを実測。文脈長368,640の設定でも全層をGPUに置く指定のまま動いた。29万トークンの入力は読み込みに約2分かかり、そのあとの生成は短い入力の約3割に落ちた。 2026.11.03 AIハードウェア図鑑 LLM量子化・軽量化ベンチマークローカルLLM