Nemotron-CC-v2は、NVIDIAが2025年にリリースしたNemotron-CCの後継バージョンです。関連する論文の結果は次のとおりです。NVIDIA Nemotron Nano 2: 正確で効率的なハイブリッド Mamba-Transformer 推論モデル”。
このデータセットは、既存の英語ウェブコーパスをベースに、2024年から2025年までのCommon Crawlスナップショット8件を追加し、グローバルな重複排除と英語フィルタリングを実施しました。また、Qwen3-30B-A3Bを用いてウェブコンテンツを合成・再述し、多様な質問応答（Diverse QA）を補完し、さらに15言語に翻訳することで、多言語論理推論と一般知識の事前トレーニングを強化しました。その意義は、「高品質な英語ウェブページ→合成された多様なQA」という効果的なアプローチを新たなレベルに引き上げ、最新のウェブクローリングと多言語展開を体系的なアプローチに統合したことにあります。厳格な重複排除、フィルタリング、再現可能な配信により、さまざまな事前トレーニングパイプラインへの直接的な統合を容易にします。