NVIDIA がエージェント推論向けオープン Hybrid Mamba-Transformer 型「Nemotron 3 Super」を発表
NVIDIA は本日、「Nemotron 3 Super」を正式に発表した。これはマルチエージェントシステムの複雑な課題解決のために設計されたオープンソースのハイブリッドアーキテクチャモデルである。同モデルは総パラメータ数が 1200 億で、アクティブ化されるパラメータ数は 120 億であり、推論深さと計算効率とのバランスを図りながら、エージェントが長期タスクにおいて直面する「コンテキスト爆発」と「思考コスト」の問題に対処することを目的としている。 Nemotron 3 Super は、革新的なハイブリッド Mamba-Transformer モデル型専門家(MoE)アーキテクチャを採用している。ここで Mamba レイヤーは線形時間複雑度のシーケンス処理能力を提供し、ネイティブの数百万トークン規模の文脈ウィンドウと組み合わせることで、エージェントによる長期的記憶保持と目標整合性の維持を保証する。一方、Transformer アテンション層はその間に配置され、膨大な情報の中から重要な事実を正確に検索可能にする。さらに、モデルには「潜在的 MoE」技術が導入されており、埋め込み空間を圧縮することで同等のコストで専門家数を 4 倍に増やすことが可能となり、より微細なタスク分担を実現している。これに加え、複数トークン予測(MTP)技術を併用することで、学習および推論段階における論理的推論能力と生成速度が大幅に向上し、構造化ツール呼び出しタスクの実行速度は最大 3 倍まで改善される。 訓練面では、本モデルは NVIDIA の 4 ビット浮動小数点数形式(NVFP4)をネイティブに採用して事前トレーニングが行われ、メモリ使用量の削減的同时に高い精度を維持している。訓練プロセスは事前トレーニング、教師ありファインチューニング、そして多環境強化学習の 3 つのフェーズから構成されており、複雑なワークフローにおいても堅牢なパフォーマンスを発揮する。テスト結果によると、PinchBench ベンチマークにおいて Nemotron 3 Super は 85.6% というスコアを獲得し、類似のオープンソースモデルの中で頭一つ抜けた存在となった。 このモデルは完全にオープンソースとなっており、モデル重み、データセット、訓練レシピが含まれるため、開発者はローカルまたはクラウド上で自由にデプロイできる。NVIDIA は完全なファインチューニングガイドラインとデプロイツールキットを提供しており、OpenClaw を含む各種エージェントフレームワークでの実験や評価にも対応している。Nemotron 3 Super の発表により、オープンソースのマルチエージェント AI が新たな段階へと進んだことを示唆しており、ソフトウェアエンジニアリングやサイバーセキュリティといった高価値アプリケーション分野に対して、効率的かつ信頼性の高い推論エンジンをもたらすものである。
