NVIDIAは、金融分野の自然言語処理モデル学習向けに、高精度な合成ニュース見出しデータを生成する反復型データ作成パイプラインを公開した。実世界の金融ニュースは収益報告や株価変動に偏りがちで、格付変更や製品認可、労働問題などの稀な事象が不足する課題を抱えていた。同社の新手法はNeMoツール群とNemotron 3 Nanoモデルを活用し、13の金融カテゴリにわたる50万本を超えるユニークな見出しデータを生成することに成功した。 本手法の核心は、単一バッチでの一発生成ではなく、生成から意味的重複排除までを閉ループで回す反復型プロセスにある。大量生成では重複率が高まるため、各ラウンドで生成されたデータはNeMo Curatorを用いて全蓄積データと照合され、コサイン類似度閾値以上の重複データが自動的に除外される。また生成の多様性を維持するため、クラスタリング結果に基づき既存パターンから最も遠いフューショット例を選定し、次の生成バッチの指示データとして活用する。これによりモデルが既存パターンに収束するのを防ぎつつ、稀なカテゴリの覆盖率を向上させる。 計算リソースは8ウェイGPUノードで構成され、推論並列処理と重複排除を並行実行した。カテゴリ分布の偏りを補正するため、各ラウンド終了時にターゲット比率と実測値を比較し、不足カテゴリの重みを動的に調整するアルゴリズムを採用した。その結果、82回のイテレーションを経て合計50万2,536本の見出しを生成。初期段階では生成データの大半が重複により棄却されたが、パイプラインの最適化により後半は安定した新規生成収率で処理が収束した。計算時間は単一ノードで約6日間に収まり、チェックポイント機能により大規模バッチ処理の信頼性が確保された。 今回公開されたパイプラインとデータセットはオープンソース化されており、トレーディングリサーチ、リスクモデリング、不正検知システムの開発など、金融AIの実務応用に向けた基盤として即座に活用可能である。同社は本手法により実データでは不足しやすい金融文脈を体系的に補完し、大規模言語モデルのファインチューニングおよびモデル蒸留の効率を大幅に向上させるとしている。