わからない言葉があったら、ここで引く。各用語をクリックすると、詳しい解説記事へ移動する。
GPU・メモリの基本
ローカルLLMの言葉
- LLMローカルLLM自分のPCでAIを動かす仕組み。クラウド不要でデータが外に出ない。
- LLMOllamaローカルLLMを一番簡単に動かすツール。最初の一歩。
- LLMllama.cpp軽量・高速な実行エンジン。多くのツールの土台になっている。
- LLM量子化モデルを圧縮してVRAM消費を減らす技術。動くか動かないかを分ける。
- LLMコンテキスト長一度に扱える文章の長さ。長いほどVRAMを多く使う。
- LLMtokens/sec生成速度の単位（毎秒トークン）。その数値が自分のPCでも出るかの読み方。
- LLM推論・thinking答える前に考える過程を挟む型。精度は上がるが遅く・VRAMも増える。
- LLMMoE必要な部分だけ動かす構造。規模が大きいのに高速で省電力。