HyperAIHyperAI

Command Palette

Search for a command to run...

12時間前
NVIDIA
LLM
GPU

Tesla V100追加で32GB VRAM、DIY LLM PC構築

近年のエンタープライズ向けGPU市場動向を受け、コンピューティング愛好家のオスカー・モルナー氏が、Nvidia製Tesla V100 SXM2を個人用PCに転用し、大規模言語モデル(LLM)のローカル推論環境を構築した。このプロジェクトの総費用は約266米ドルに抑えられ、既存のRTX 4080と併用することで合計32GBのVRAM容量を実現している。 通常、SXM2コネクタを採用するV100は標準的なPCIeスロットに直接装着できないため、専用変換アダプターを用いてマザーボードに接続した。元々の冷却ファンは82dBという過大な騒音を発生するため、既存配線をマザーボードのPWMヘッダーへ誘導するmodsを施し、回転数を10%程度に制御。これにより負荷時でも温度を50度以下に抑え、実用的な静音運用が可能になった。ソフトウェア環境ではNixOSを採用し、Volta世代とAda世代のGPUを同時に認識するレガシー版Nvidiaドライバを適用した。 実測結果では、270億パラメータのLLMが毎秒32トークンの速度で推論され、対話的利用に充分な性能を示した。この速度は多くのクラウドAPI代替手段を上回るものであり、高価なVRAMを積んだレガシー企業向けデバイスを活用したローカル推論の現実的なコストパフォーマンス解を示す結果となった。今後、メモリ容量を要求されるAI活用現場において、この種のハードウェア転用事例が新たな選択肢として注目されそうだ。

関連リンク