FinReflectKG: Agente Konstruktion und Bewertung von Finanzwissensgraphen

Der Finanzbereich stellt aufgrund der Komplexität und regulatorischen Natur finanzieller Dokumente einzigartige Herausforderungen für die skalierbare Erstellung von Wissensgraphen (Knowledge Graphs, KG) dar. Trotz der entscheidenden Bedeutung strukturierter finanzieller Kenntnisse fehlt es der Forschung bislang an großskaligen, quelloffenen Datensätzen, die reichhaltige semantische Beziehungen aus Unternehmensberichten abbilden. Wir stellen einen quelloffenen, großskaligen Datensatz für Finanzwissensgraphen vor, der auf den neuesten jährlichen SEC-10K-Dateien aller S&P-100-Unternehmen basiert – eine umfassende Ressource, die die Forschung im Bereich Finanz-KI voranbringen soll. Wir entwickeln einen robusten und verallgemeinerungsfähigen Rahmen zur Erstellung von Wissensgraphen, der intelligente Dokumentenparsung, tabellenbewusste Segmentierung und schemageleitete, iterativ durchgeführte Extraktion mit einer reflektionsbasierten Rückkopplungsschleife integriert. Unser System umfasst eine umfassende Evaluationspipeline, die regelbasierte Prüfungen, statistische Validierung und Bewertungen mittels LLM-as-a-Judge kombiniert, um die Extraktionsqualität ganzheitlich zu messen. Wir unterstützen drei Extraktionsmodi – Einzelpass, Mehrpass und reflektionsbasiertes Agenten-Modell –, wodurch flexible Kompromisse zwischen Effizienz, Genauigkeit und Zuverlässigkeit je nach Anforderungen des Nutzers ermöglicht werden. Empirische Evaluierungen zeigen, dass das reflektionsbasierte Agenten-Modell konsistent die beste Balance erreicht: Es erzielt eine Compliance-Rate von 64,8 Prozent gegenüber allen regelbasierten Richtlinien (CheckRules) und übertrifft Baseline-Methoden (Einzelpass und Mehrpass) in zentralen Metriken wie Genauigkeit, Vollständigkeit und Relevanz in LLM-gesteuerten Evaluierungen.