NVIDIA Vera、AIエージェント高速化と高スループットを両立

エヌビディアは、人工知能エージェント向けに中央処理装置「ヴェラ」を公開した。エージェントは回答生成だけでなく、情報探索、データベース照会、コード作成と試験、実行動作を繰り返す。そのため、推論用半導体での思考と中央処理装置での実行が頻繁に行き来する。データセンターは電力に上限があり、基盤提供事業者はエージェントを増やしても待ち時間を増やさず、ワットあたりの処理量を最大化する中央処理装置が必要になる。 百メガワット級データセンターを想定した評価では、ヴェラの単体中央処理装置が、最速の標準サーバー用中央処理装置と最も電力効率の高い標準サーバー用中央処理装置の両方を上回った。ワットあたりでは、最速の標準サーバー用中央処理装置より一・六倍多くのエージェントを処理し、最も電力効率の高い標準サーバー用中央処理装置より二倍速いエージェント処理を高い電力効率で実現した。 先行導入では、検索型エージェントのパープレキシティが、コード中心の作業を従来型中央処理装置比で一・五倍高速化し、次期運用に投入を計画している。エージェント基盤のディープインフラは、実運用に相当する処理調整で従来型中央処理装置の最大二・二倍の速度を記録し、比較した四方式で最速となった。分析基盤のクリックハウスは、標準バイナリをヴェラ専用最適化なしで一七六コアへほぼ線形に拡張し、クリックベンチのハードウェア評価で首位を取った。データベース向けのダックラボは、インテルゼオン六を基準に、標準分析処理の中位性能で約一・五倍を達成した。開発環境のデイトナは、一千のサンドボックス起動を従来方式の八八・四秒から一〇・八秒に短縮し、二千並行時は一秒に十二・七件のジョブを完了した。クラウド実行のモダルは、コアあたりサンドボックス処理を最大二倍向上させ、高負荷ほど差が広がった。