PC構成 Muse Glimmer 30BをVRAM 16GBで動かす|全52層が載る条件とDFlashの効き方をRTX 5080・5060 Tiで実測
Meta の Muse Glimmer 30B を VRAM 16GB クラスで実測。公式想定は24GBだが、表示に使っていない16GB 1枚では全層を載せる指定で毎秒24.61トークン。層数・総コンテキスト指定・DFlash の効き方を llama.cpp b10356 で測った記録。
PC構成
GPU・グラフィックボード
GPU・グラフィックボード
GPU・グラフィックボード