LLMを手元のPCで動かすためのモデル選び、必要メモリ、速度の目安をまとめます。
複数のGPU・量子化条件による実測から、動く構成と実用速度を確認できます。
LLMを手元のPCで動かすためのモデル選び、必要メモリ、速度の目安をまとめます。
複数のGPU・量子化条件による実測から、動く構成と実用速度を確認できます。
Strata
LLM量子化・軽量化
LLM量子化・軽量化
PC構成
Strata
Strata
PC構成
ローカルLLM
Strata
Strata