llama.cpp対応プラットフォーム完全

GPU・グラフィックボード

llama.cpp対応プラットフォーム完全ガイド

llama.cppとは、CPUとGPUの双方でLLMをローカル実行するための軽量推論エンジンだ。llama.cppの公式リリースを開くと、ひとつのタグに対して20種類以上のビルドが並んでいる。macOSのApple Silicon版、Int...