TTFT ローカルLLM

VRAM 16GBのGPUで動くローカルLLMを、モデル別の早見表で整理。量子化を前提にすれば7B〜14B級は快適、32B級は条件次第、70B級は16GB単体では厳しい。RTX 5080実機の実測値をもとに、収まる・あふれる・動かないの境界を解説します。