5日前
FinReflectKG:金融知識グラフのエージェント型構築と評価
Abhinav Arun, Fabrizio Dimino, Tejas Prakash Agarwal, Bhaskarjit Sarmah, Stefano Pasquali

要約
金融分野では、金融文書の複雑さおよび規制の厳しさから、大規模な知識グラフ(KG)構築に特有の課題が存在する。構造化された金融知識の重要性は極めて高いものの、企業開示文書から得られる豊かな意味的関係を捉えた大規模でオープンソースのデータセットは、依然として不足している。本研究では、S&P100企業の最新の年次SEC 10-K提出書類を基に構築した、オープンソースかつ大規模な金融知識グラフデータセットを紹介する。このデータセットは、金融AI分野における研究を促進するための包括的なリソースとして設計されている。さらに、知能的な文書解析、テーブル認識型チャンク分割、スキーマ誘導型反復抽出を統合し、フィードバック駆動型のリフレクションループを組み込んだ、堅牢かつ汎用性の高い知識グラフ構築フレームワークを提案する。本システムは、ルールベースの検証、統計的検証、およびLLM-as-a-Judge評価を組み合わせた包括的な評価パイプラインを採用し、抽出品質を包括的に測定している。抽出モードとして、単一パス、マルチパス、リフレクションエージェントベースの3種類をサポートしており、ユーザーの要件に応じて効率性、正確性、信頼性の間で柔軟なトレードオフが可能である。実証評価の結果、リフレクションエージェントベースのモードが一貫して最良のバランスを達成し、すべてのルールベースポリシー(CheckRules)に対して64.8%の準拠率を達成するとともに、LLMガイド付き評価において精度、包括性、関連性といった主要指標において、ベースライン手法(単一パスおよびマルチパス)を上回ることが確認された。