ローカルAI環境

GPU・グラフィックボード

MacBook Air M5でローカルLLM 21モデル比較|コーディング性能と速度を実測したベンチマーク総括

ローカルLLMとは、自分のPC上でクローズドに推論を動かす大規模言語モデルのこと。 「印象論ではなくデータで比較したい」——海外のRedditコミュニティ(r/LocalLLaMA)で、MacBook Air M5を使って21個のローカルLLMをコーディング性能(HumanEval+)と推論速度で一斉検証した投稿が話…
GPU・グラフィックボード

推論モデルとは|deepseek-r1とqwen3 thinkingのRTX 5080実測VRAM消費とtokens/sec差を解説

推論モデルは回答前にthinking連鎖を内部展開するLLM群である。RTX 5080実測でdeepseek-r1:8bはVRAM 10.1GB・約104 tok/s、qwen3:14b thinkingは10.2GB・約74 tok/sを記録。Web標準値の約1.5倍を見積もる選定基準を解説する。
GPU・グラフィックボード

Qwen3.6 35B-A3B vs 27B UD AI用途で比較|M5 Pro 64GBの個人検証から見た選び方

Qwen 3.6とは、Alibaba Qwen Teamが公開する大規模言語モデルファミリーである。 海外のRedditコミュニティ(r/LocalLLaMA)で、MacBook P…
ComfyUI

MINISFORUM DEG1 OCuLink eGPUドック実機レビュー|RTX 4070 Superで半年運用したAI推論帯域実測

MINISFORUM DEG1はOCuLink PCIe 4.0 x4接続のeGPUドックである。RTX 4070 Superを半年運用した実測データで、Thunderbolt eGPUより帯域が広く、ComfyUI/Ollamaのデュアル GPU運用で帯域干渉が生じないことを検証する。
GPU・グラフィックボード

RTX 4070 12GB VRAMの実力をRedditから読み解く|ローカルAIとミドルレンジ構成の優先順位

RTX 4070の12GB VRAMはローカルLLM・SDXLでどこまで戦えるか。r/LocalLLaMAやr/buildapcの議論、NVIDIA公式仕様、実機RTX 5080 16GBの計測値を突き合わせ、ミドルレンジ構成のアップグレード優先順位を整理する。
GPU・グラフィックボード

RTX 5080 で測る ローカル LLM の TTFT|mistral 7B 792ms / phi4-mini 840ms の 1 秒以下応答

TTFTとは、ユーザー入力から最初のトークンが返るまでの時間(ms)である。 ローカルLLMの「体感速度」を決めているのは、tokens/secではなくTTFT(Time To First Token)。当サイトのRTX 5080実機計測で...
GPU・グラフィックボード

vLLM v0.20.1解説|v0.20.0の不具合修正・DeepSeek V4対応・推論最適化

vLLM v0.20.1(2026年5月3日公開)を解説。DeepSeek V4ベースモデル対応、TopK=1024デッドロック修正、FlashInfer BF16/MXFP8通信とFP32→FP4変換の最適化を、PR番号と推奨アップグレード手順込みで整理。
GPU・グラフィックボード

AIエージェント自動化のメモリ消費 — VRAM 議論を超える 4 階層モデル

「ローカル LLM なら VRAM 16GB で動く」 — この基準で組んだ構成が、 Claude Code とローカル LLM を並行稼働させた瞬間にシステム RAM を 50GB 食う。 VRAM 議論で完結しない領域が、 AI エージ...
GPU・グラフィックボード

deepseek-r1:8b の TTFT は llama3.1:8b の 4.5 倍

TTFTとは、リクエスト送信から最初のトークンが返るまでの応答時間である。 ローカルLLMの体感速度を決めるのは tokens/sec だけではありません。RTX 5080 で 7 モデルを横並び計測したところ、DeepSeek R1 8B...
GPU・グラフィックボード

llama3.2:3bとは?ドラフト生成で最速のローカルLLM|RTX 5080実測293.9 tok/sを解説

llama3.2:3bはMeta公開30億パラメータの軽量ローカルLLM。RTX 5080実測293.9 tok/sでドラフト用途最速クラス、phi4-mini:3.8bを16%上回る。VRAM 5.1GBで画像生成と並列稼働可、Q4_K_M量子化とOllama運用設定を実機データで解説。