GPU・グラフィックボード ローカルLLMの電力あたり生成速度を実測|両GPU合算電力でMoEはdense型の何倍効率的か(RTX 5080+5060 Ti)
電力あたり生成速度とは、消費電力1ワットで1秒間に生成できるトークン数です。本記事では、PC全体の壁コンセント消費電力ではなく、RTX 5080とRTX 5060 Tiの両GPUを合算した推論中ピークboard power(GPUボード単体...
GPU・グラフィックボード
GPU・グラフィックボード
PC構成
基礎知識
PC構成
AI画像生成
ローカルAI環境
基礎知識
基礎知識
PC構成