GPU・グラフィックボード

GPU・グラフィックボード

量子化で27B級LLMはVRAM 16GBに載るか|1bit・Ternary圧縮の実力と精度の代償

27B級LLMは1bit・Ternary(三値)の極低ビット量子化なら、重みを約3.8〜7.2GBまで圧縮してVRAM 16GBに載せられます。ただし精度はFP16比で約9割前後に低下し、長文ではKVキャッシュ量が可否を左右するため、理想サイズと実行時ピークメモリの区別が要点になります。
GPU・グラフィックボード

Radeon RX 7900 XTX 24GBでローカルAIは実用になるか|新品で買える24GBとCUDA非対応の現実(ROCm・ZLUDA)

Radeon RX 7900 XTX 24GBでローカルAIは実用になるか。新品で買える24GBの強みと、CUDA非対応の手間を正直に整理。ROCm 7.2系でOllama・ComfyUIは動くがWindowsは経路が分かれ、NVIDIAの手軽さには届かない。同じ24GBの中古RTX 3090とも比較。
GPU・グラフィックボード

RTX 3060 12GBで始めるローカルAI|3万円台で買える12GBは何が動くか、8GBとの差と物足りなくなる境界

RTX 3060 12GBで始めるローカルAI。中古おおむね3万円台で買える12GB VRAMは、8GBより文脈やモデルの余裕が増え、LLMや画像生成の幅が広がる。何が動いて何が無理か、8GBとの差、そして物足りなくなり16GB/24GBへ進む境界を、公称スペックと必要VRAMの目安で整理する。
GPU・グラフィックボード

Nemotron 3 EmbedをVRAM 16GBで動かす|RTX 5080実測の必要VRAM・速度・NVFP4

Nemotron 3 EmbedをRTX 5080(16GB)で実測。1B-BF16はロード約2.2GBで快適、8B-BF16単体は約15.7GB使用で大量処理には不向き。5080+5060 Tiのデュアルで短文は現実的、NVFP4は約1GBでロード可だが推論は不安定。
GPU・グラフィックボード

中古RTX 3090 24GBはローカルAIに買いか|24GBの価値を新品16GB(RTX 5060 Ti/5070 Ti)と正直に比べる

中古RTX 3090 24GBはローカルAIに買いか。24GB VRAMと約936GB/sの帯域という強みを、新品16GBのRTX 5060 Ti/5070 Tiと価格・消費電力・保証の面から正直に比較。16GBの壁に当たった人がCUDA対応の24GBを比較的安く得る有力候補と、その代償を整理する。
ComfyUI

ローカルAIのSSD・メモリ選びは「どこに効くか」が重要|VRAMとの役割分担を見極める

ローカルAIで速いSSDが効くのは主にモデルの読み込み時です。VRAM容量はモデルが収まるかを決め、生成速度はデコードなら主にVRAM帯域、プリフィルや画像生成ならGPU演算性能が左右します。SSD・メモリ・VRAMの役割分担を実測で整理します。
GPU・グラフィックボード

ローカルVLMでPDF・画像をJSON化|オープンウェイトモデル/OSSツールの選び方と必要VRAM

ローカルVLMでPDF・画像をJSON化する方法を実行経路ごとに整理。Datalab lift等のオープンウェイトモデルとMarker/Docling等のOSSツールの選び方、4bit量子化で16GB GPUに収まるかを、公式lift-pdf経路とコミュニティGGUF経路を分けて解説します。
GPU・グラフィックボード

DiffusionGemmaをローカルで動かす|量子化時に約18GB VRAMで載る拡散LLM、自己回帰比で最大4倍速の理屈

DiffusionGemmaは、離散拡散(ブロック自己回帰型)で文章を生成するGoogle製オープンウェイトLLM。量子化時で約18GB VRAM、GPU上で自己回帰比・最大4倍速(Google公称)。KVキャッシュや対応ランタイム、16GB GPUで動くかまで公式一次情報で整理します。
GPU・グラフィックボード

AI用途にGPUは2枚必要か|RTX 5080 + 5060 Ti + OCuLink外付けで2枚目の効果を実測

AI用途の2枚目GPUとは、速度でなくVRAM容量と同時実行を増やす手段である。基礎知識から接続構成、推論エンジンごとの帯域の効き方、そして実測データまで、AI用途でGPUを2枚にすべきか迷っている人が自分の用途で判断できるところまで一本で扱います。
GPU・グラフィックボード

AI用PCのマザーボードとPCIeレーンの選び方|2枚目のGPU・OCuLink eGPUで「帯域が足りない」を避ける構成

AI用PCで2枚目GPUやeGPUを足すときのマザーボード・PCIeレーンの選び方。AM5とIntel Core Ultra 200Sのレーン数、M.2との共有でGPUスロットが遅くなる罠、チップセット連結・BIOS設定、OCuLink(PCIe 4.0 x4)でも推論は帯域が足りることを実測で解説する。