GPU・グラフィックボード Ollamaを常駐・並列運用する実運用設定|OLLAMA_NUM_PARALLEL・keep_alive・モデル切替時のVRAM挙動をRTX 5080で実測
Ollamaの常駐運用とは、モデルをVRAMに保持して再ロードを省く設定のこと。16GB級のGPUでOllamaを常駐・並列で回すとき、運用時に触る頻度が高い設定は3つ。keep_alive(APIリクエストのパラメータ。サーバー全体ではO...
GPU・グラフィックボード
GPU・グラフィックボード
ローカルAI環境
GPU・グラフィックボード
GPU・グラフィックボード
ローカルAI環境
GPU・グラフィックボード
GPU・グラフィックボード
GPU・グラフィックボード
ローカルAI環境