llama.cpp対応プラットフォーム完全

GPU・グラフィックボード

llama.cppのビルドが20種類以上あるのはなぜ?OS・GPU別ビルドの選び方

llama.cppとは、CPUとGPUの双方でLLMをローカル実行するための軽量推論エンジンだ。 llama.cppの公式リリースを開くと、ひとつのタグに対して20種類以上のビルドが並んでいる。macOSのApple Silicon版、In...