ローカルLLM

GPU・グラフィックボード

RTX Neural Texture CompressionでVRAM使用量80%削減|NVIDIAの新技術がAI・ゲー

GPUのVRAMは常に足りない。ローカルLLMを動かせばモデルサイズに圧迫され、ゲームを起動すれば高解像度テクスチャに食い尽くされる。そんな「VRAM争奪戦」に一石を投じる技術を、NVIDIAが本格的に動かし始めた。RTX Neural T...
GPU・グラフィックボード

RTX 4070 Super vs RTX 5060 Ti 16GB|VRAM 12GB vs 16GBのローカルLLM

GPUをRTX 4070 SuperからRTX 5060 Ti 16GBに換装したら、14Bモデルの推論速度が14 tokens/secから44 tokens/secへ跳ね上がった。VRAMの差はたった4GB。だが、この4GBがローカルLL...