LLM量子化・軽量化 Underdog Saluki 27BはVRAM何GBで動くか|文脈長ごとの使用量、Ollama・LM Studioでの読み込み、Bonsai 2 27Bとの違い
Underdog Saluki 27B(Qwen3.8-27Bを8GB未満にしたGGUF、IQ2-mix)をRTX 5060 Ti・5080で実測。文脈の長さごとのVRAM、生成の速さ、Ollama・LM Studioでの読み込み、Claude Codeと税計算の結果をBonsai 2 27Bと並べた。