GPU・グラフィックボード 2.6BのローカルLLMで128Kの文脈は張れるか|LFM2.5-2.6Bの必要VRAMを16GB GPUとCPUのみで実測
LFM2.5-2.6BをRTX 5060 TiとCPUのみで実測。131,072トークンを張っても必要VRAMは3,970 MiBで、KVキャッシュは1トークンあたり16.00 KiB。同条件の密なTransformerは16GBに収まらない。層構成が長文脈のメモリを決める仕組みを実測値で示す。
GPU・グラフィックボード
GPU・グラフィックボード
ComfyUI
GPU・グラフィックボード
GPU・グラフィックボード
ComfyUI
GPU・グラフィックボード
ローカルAI環境
GPU・グラフィックボード
ローカルAI環境