FinReflectKG : Construction et évaluation agente de graphes de connaissances financières

Le domaine financier pose des défis uniques à la construction à grande échelle de graphes de connaissances (KG), en raison de la complexité et de la nature réglementaire des documents financiers. Malgré l'importance cruciale d'une connaissance financière structurée, le domaine manque de jeux de données à grande échelle et open source capables de capturer des relations sémantiques riches à partir des communications d'entreprises. Nous introduisons un jeu de données open source et à grande échelle dédié aux graphes de connaissances financiers, construit à partir des derniers rapports annuels SEC 10-K de toutes les entreprises du S&P 100 — une ressource complète conçue pour stimuler la recherche en intelligence artificielle financière. Nous proposons un cadre robuste et généralisable pour la construction de graphes de connaissances, intégrant un traitement intelligent des documents, une découpe sensible aux tableaux (table-aware chunking), une extraction itérative guidée par un schéma, ainsi qu'une boucle de rétroaction pilotée par la réflexion (reflection-driven feedback loop). Notre système inclut une pipeline d'évaluation complète, combinant des vérifications basées sur des règles, une validation statistique et des évaluations par modèle linguistique à grande échelle (LLM-as-a-Judge) afin de mesurer de manière holistique la qualité de l'extraction. Nous supportons trois modes d'extraction — simple passage (single-pass), multi-pass et basé sur un agent de réflexion (reflection-agent-based) — permettant des compromis flexibles entre efficacité, précision et fiabilité selon les besoins des utilisateurs. Les évaluations empiriques montrent que le mode basé sur l’agent de réflexion atteint de manière cohérente le meilleur équilibre, obtenant un score de conformité de 64,8 % par rapport à l’ensemble des politiques basées sur des règles (CheckRules), et surpassant les méthodes de référence (simple passage et multi-pass) sur des métriques clés telles que la précision, la complétude et la pertinence dans les évaluations guidées par des modèles linguistiques à grande échelle.