HyperAIHyperAI

Command Palette

Search for a command to run...

Nvidiaが開発するNemotron 3で実現する「ハイブリッドアーキテクチャ」の革新と、オープンソースAIモデル戦略の本質

NVIDIAは、AIモデルを無料で提供できる唯一の企業である。その背景には、自社の高収益なハードウェアビジネスと、規模を自在に拡張できる自前のAIクラスタがある。これにより、NVIDIAは自社開発のオープンソースモデル「Nemotron」シリーズを無料で公開しながら、AIエンタープライズソフトウェアスタック(年間4,500ドル/GPU)に対して低価格で提供できる。これは、かつてIBMがSystem/360時代にハードウェア購入者に無料のプログラミング支援を提供していたスタイルに似ており、将来のNVIDIAの戦略は「フルスタック統合」、つまりチップからソフトウェアまでの一貫した垂直統合を目指すと考えられている。最終的には、AIインフラとしての「AIユーティリティ」としての地位を確立する可能性もある。 NVIDIAは2019年に独自のTransformerモデル「Megatron-LM」を発表し、その後マイクロソフトとの共同開発で5300億パラメータのMegatron-Turing NLGを実現。その後、NeMoツールキットを基にしたNemotronシリーズを展開。2024年6月に登場したNemotron-4は3400億パラメータを実現。その後、Llama 3.1をベースにした「Llama Nemotron」(8B~235B)や、Nemotron 2 Nano(9B/12B)をリリース。今回のNemotron 3は、TransformerとMamba(長距離依存関係を効率的に処理する新アーキテクチャ)を融合させたハイブリッド構造を採用。特にSuper/Ultraバージョンには「潜在的混合専門家(latent MoE)」を導入し、共通のコアを共有しながら個別のパラメータを効率的に利用することで、メモリ使用量を削減しながらモデル規模を拡大。 Nemotron 3 Nanoは300億パラメータで、実行時に30億のみアクティブ化され、1枚のL40S GPUに収まる設計。精度と速度のバランスでは、従来モデル比で大幅な向上が確認され、特に100万トークンまでのコンテキスト窓と強化された強化学習により、複雑な推論にも対応。NVIDIAは2025年時点でHugging Faceでのオープンソース貢献でトップとなり、650モデルと250データセットを公開。こうした戦略により、閉鎖的モデルを進めるOpenAIやAnthropic、Googleに対抗する新たなプラットフォームとしての地位を確立しつつある。

関連リンク

Nvidiaが開発するNemotron 3で実現する「ハイブリッドアーキテクチャ」の革新と、オープンソースAIモデル戦略の本質 | 人気の記事 | HyperAI超神経