LLM量子化・軽量化 Ternary Nemotron 3.5 LightningをVRAM 12GBで動かす|長い文書でも速さは保てるか
RTX 4070 SUPER(VRAM 12GB)1枚でTernary Nemotron 3.5 Lightningを実測。文脈長368,640の設定でも全層をGPUに置く指定のまま動いた。29万トークンの入力は読み込みに約2分かかり、そのあとの生成は短い入力の約3割に落ちた。
LLM量子化・軽量化
LLM量子化・軽量化
AI動画生成
AI動画生成