TTFT ローカルLLM

ローカルAI環境

Whisperをローカルで動かす必要スペック|large-v3とturboの必要VRAM・文字起こし速度を実測

Whisperをローカルで動かす必要スペックを実測。large-v3とturboをfloat16・int8で比べ、必要VRAMはいずれも5GB未満で8GBのGPUでも動作、turboはlarge-v3の約2.5倍速だった。faster-whisperでの結果と用途別の選び方をまとめる。
GPU・グラフィックボード

RTX 5060 Ti 16GBでどこまでできる?ローカルLLM・AIコーディングの実用域とVRAM 16GBの選び方

RTX 5060 Ti 16GBでローカルAIはどこまでできるか。7B〜14BのローカルLLMは快適に動き、量子化した中型モデルも16GBにギリギリ収まる。Claude CodeなどクラウドAIはGPU不要。CUDA環境で低コストに16GBを確保できる入門GPUの実用域と選び方を実測ベースで解説します。
GPU・グラフィックボード

VRAM 16GBで動かすローカルLLM完全ガイド|モデル別の早見表と「収まる・あふれる」の境界を実測で解説

VRAM 16GBのGPUで動くローカルLLMを、モデル別の早見表で整理。量子化を前提にすれば7B〜14B級は快適、32B級は条件次第、70B級は16GB単体では厳しい。RTX 5080実機の実測値をもとに、収まる・あふれる・動かないの境界を解説します。
GPU・グラフィックボード

RTX 5080 で測る ローカル LLM の TTFT|mistral 7B 792ms / phi4-mini 840ms の 1 秒以下応答

TTFTとは、ユーザー入力から最初のトークンが返るまでの時間(ms)である。 ローカルLLMの「体感速度」を決めているのは、tokens/secではなくTTFT(Time To First Token)。当サイトのRTX 5080実機計測で...