GPU・グラフィックボード GPUがSSDを直接読む仕組み|cuFileオープンソース化とローカルAIでモデルロードが速くなる条件
cuFileとは、GPUがストレージを直接読み書きするAPIである。「GPUがSSDを直接読む」と聞けば、ローカルLLMの起動が速くなるのでは、と期待したくなるところ。この記事の要点 cuFileはCPUのシステムメモリを介さずGPUメモリとストレージを直結させるAPI。
GPU・グラフィックボード
GPU・グラフィックボード