テンソル並列

VRAM 16GB 1枚では実用にならなかった埋め込みモデル Nemotron-3-Embed-8B-BF16 を、RTX 5080 と OCuLink 外付けの RTX 5060 Ti の2枚で vLLM に載せて実測。テンソル並列・パイプライン並列・CPUオフロードの速さと起動の仕方をまとめた。