FinReflectKG: 금융 지식 그래프의 에이전트 기반 구축 및 평가

금융 분야는 금융 문서의 복잡성과 규제적 특성으로 인해 대규모 지식 그래프(KG) 구축에 고유한 도전 과제를 안고 있다. 구조화된 금융 지식의 중요성에도 불구하고, 기업 공시 자료로부터 풍부한 의미 관계를 포괄적으로 담아낸 대규모 오픈소스 데이터셋은 여전히 부족한 실정이다. 본 연구에서는 S&P 100 기업의 최신 연간 SEC 10-K 서류를 기반으로 구축한 오픈소스 대규모 금융 지식 그래프 데이터셋을 소개한다. 이는 금융 인공지능(AI) 분야의 연구를 촉진하기 위해 설계된 포괄적인 자원이다. 우리는 지능형 문서 파싱, 테이블 인식 기반 청크화, 스키마 유도 반복 추출을 통합하고, 반성 기반 피드백 루프를 도입한 강력하고 일반화 가능한 지식 그래프(KG) 구축 프레임워크를 제안한다. 본 시스템은 규칙 기반 검증, 통계적 검증, 그리고 LLM-기반 평가자(MLLM-as-a-Judge) 평가를 결합한 종합적인 평가 파이프라인을 포함하여 추출 품질을 종합적으로 측정한다. 사용자 요구에 따라 효율성, 정확성, 신뢰성 간의 유연한 트레이드오프를 가능하게 하기 위해, 단일 패스, 다중 패스, 반성 에이전트 기반의 세 가지 추출 모드를 지원한다. 실증 평가 결과, 반성 에이전트 기반 모드가 일관되게 최적의 균형을 달성하였으며, 모든 규칙 기반 정책(ChcekRules)에 대해 64.8%의 준수율을 기록했고, LLM 가이드 평가에서 정밀도, 포괄성, 관련성 등 주요 지표에서 기준 방법(단일 패스 및 다중 패스)을 모두 상회하는 성능을 보였다.