Rtx 3090

GPU・グラフィックボード

中古RTX 3090 24GBはローカルAIに買いか|24GBの価値を新品16GB(RTX 5060 Ti/5070 Ti)と正直に比べる

中古RTX 3090 24GBはローカルAIに買いか。24GB VRAMと約936GB/sの帯域という強みを、新品16GBのRTX 5060 Ti/5070 Tiと価格・消費電力・保証の面から正直に比較。16GBの壁に当たった人がCUDA対応の24GBを比較的安く得る有力候補と、その代償を整理する。
GPU・グラフィックボード

VRAMに収まらない大型LLMをRAMオフロードで動かす

VRAMに収まらない大型LLMを、層をCPUのRAMへ分割するRAMオフロード(-ngl指定)で動かす手法を解説。RTX 5080(VRAM 16GB)で12B〜35BクラスのモデルのGPU/CPU分割比とtokens/secを実測し、速度低下の構造的な原因をまとめた。