FinQA: Ein Datensatz zur numerischen Schlussfolgerung über Finanzdaten

Die enorme Menge an Finanzberichten macht es Menschen schwer, auf die Finanzdaten eines Unternehmens zuzugreifen und diese zu analysieren. Auch die robuste numerische Schlussfolgerung steht in diesem Bereich vor einzigartigen Herausforderungen. In dieser Arbeit konzentrieren wir uns auf die Beantwortung tiefer Fragen zu Finanzdaten mit dem Ziel, die Analyse einer großen Korpus an Finanzdokumenten zu automatisieren. Im Gegensatz zu bestehenden Aufgaben im allgemeinen Bereich umfasst der Finanzbereich komplexe numerische Schlussfolgerungen sowie das Verständnis heterogener Darstellungsformen. Um Fortschritte in der Analyse zu ermöglichen, stellen wir einen neuen, großskaligen Datensatz, FinQA, vor, der Frage-Antwort-Paare aus Finanzberichten enthält, die von Finanzexperten verfasst wurden. Zudem annotieren wir die goldenen Schlussfolgerungsprogramme, um eine vollständige Erklärbarkeit zu gewährleisten. Wir präsentieren zudem Baseline-Modelle und führen umfassende Experimente auf unserem Datensatz durch. Die Ergebnisse zeigen, dass gängige, große, vortrainierte Modelle gegenüber Experten menschlicher Analyse erheblich hinterherhinken, sowohl bei der Erlangung von Finanzwissen als auch bei komplexen, mehrschrittigen numerischen Schlussfolgerungen darauf basierend. Unser Datensatz – der erste seiner Art – sollte daher erhebliche neue Forschungsaktivitäten in komplexen Anwendungsdomänen ermöglichen. Der Datensatz und der zugehörige Code sind öffentlich verfügbar unter \url{https://github.com/czyssrs/FinQA}.