ConvFinQA: Untersuchung der Kette numerischer Schlussfolgerung in conversationalen Finanz-Frage-Antwort-Aufgaben

Mit den jüngsten Fortschritten bei großen vortrainierten Sprachmodellen haben Forscher Rekordleistungen in Aufgaben des natürlichen Sprachverstehens erzielt, die sich hauptsächlich auf die Erkennung sprachlicher Muster konzentrieren. Die Forschungsgemeinschaft befindet sich derzeit in einer Verschiebung der Herausforderung: Statt daran, wie Sprache modelliert wird, steht nun die Nachahmung komplexer Schlussfolgerungsfähigkeiten im Fokus, die denen des Menschen ähneln. In dieser Arbeit untersuchen wir den Anwendungsbereich der Finanzwelt, der reale, komplexe numerische Schlussfolgerungen erfordert. Wir stellen ein neues, großskaliges Datenset, ConvFinQA, vor, das darauf abzielt, die Kette numerischer Schlussfolgerungen im Kontext von conversationalen Fragen und Antworten zu erforschen. Unser Datenset stellt eine erhebliche Herausforderung dar, was die Modellierung langer, komplexer numerischer Schlussfolgerungspfade in realen Gesprächen betrifft. Wir führen umfassende Experimente und Analysen sowohl mit neuronal-symbolischen Methoden als auch mit promptbasierten Ansätzen durch, um Einblicke in die Schlussfolgerungsmechanismen beider Ansatzgruppen zu gewinnen. Wir sind überzeugt, dass unser neues Datenset als wertvolle Ressource dienen wird, um die Erforschung realweltbezogener, komplexer Schlussfolgerungsaufgaben als zukünftigen Forschungsschwerpunkt voranzutreiben. Unser Datenset und der zugehörige Code sind öffentlich verfügbar unter https://github.com/czyssrs/ConvFinQA.