NeMo generiert synthetische Finanzdaten für KI-Forschung
Ein Forscherteam hat einen iterativen Generierungs- und Deduplizierungs-Workflow vorgestellt, der die Erstellung synthetischer Finanznachrichten für KI-Forschungszwecke erheblich verbessert. Da reale Finanzdaten stark verzerrt sind und seltene Ereignisse wie Ratingänderungen oder Produk tzulassungen unterrepräsentiert bleiben, entwickelte NVIDIA ein System zur Generierung von über 500.000 einzigartigen Headlines. Die Infrastruktur läuft auf einem einzelnen 8-GPU-B200-Knoten und benötigt etwa sechs Tage Rechenzeit. Der Kern des Ansatzes liegt in einer geschlossenen Schleife aus Erzeugung, Filterung und semantischer Deduplizierung. Statt einer einzelnen Massengenerierung, bei der bereits 65 Prozent der Ausgaben als nahezu identische Kopien verworfen wurden, arbeitet das Pipeline-System in 82 Iterationen. Pro Schritt werden zunächst 35.000 Nachrichten erzeugt, die mittels eines regelbasierten Filters auf Qualität geprüft werden. Anschließend übernimmt NeMo Curator die globale semantische Deduplizierung durch Einbettung und K-means-Clustering mit einer Ähnlichkeitsschwelle von neunzig Prozent. Um die Modellgenerierung gezielt in neue semantische Bereiche zu lenken, werden nach jeder Runde die seltensten Headlines jeder Kategorie als Few-Shot-Beispiele ausgewählt. Gleichzeitig passt der Workflow die Kategoriegewichte dynamisch an, um Verzerrungen auszugleichen. Die Ergebnisse demonstrieren die Skalierbarkeit des Ansatzes: Bis zur achtundachtzigsten Iteration stabilisierte sich die Ausbeute bei etwa fünf- bis sechstausend neuen, einzigartigen Headlines pro Batch. Die anfängliche hohe Deduplizierungsrate von sechzig Prozent sinkt im Verlauf, da die zunehmende Korpusgröße zwar mehr Abgleiche erfordert, das System durch die fortlaufende Anpassung der Few-Shot-Beispiele jedoch konsequent in neue semantische Regionen vordringt. Seltene Kategorien wie Kreditratings oder Produkterlaubnisse nähern sich dadurch ihren Zielanteilen von einem Prozent an. Die synthetischen Daten dienen primär der Feinabstimmung von Sprachmodellen für Finanz-NLP, Risk-Management und Handelsstrategien. Der Workflow nutzt dabei das Nemotron-3-Nano-Modell in Kombination mit vLLM für hochparallele Inferenz. Durch Checkpointing und SLURM-Job-Ketten ist das System zudem gegen Ausfälle gesichert und für reproduzierbare Forschungsoptionen ausgelegt. Der gesamte Pipeline-Code sowie der generierte Datensatz wurden veröffentlicht, wodurch Entwickler unabhängig von teurer Hardware eigene Finanz-NLP-Modelle trainieren oder die Synthesemethode auf andere Branchen übertragen können. Die Methode belegt, dass strukturierte, iterative Schleifen mit globaler semantischer Filterung die Qualität synthetischer Trainingsdaten entscheidend verbessern und datengetriebene KI-Anwendungen in regulierten Finanzmärkten zuverlässiger machen.
