GPU性能比較

GPUをRTX 4070 SuperからRTX 5060 Ti 16GBに換装したら、14Bモデルの推論速度が14 tokens/secから44 tokens/secへ跳ね上がった。VRAMの差はたった4GB。だが、この4GBがローカルLL...