ConvFinQA : Exploration de la chaîne de raisonnement numérique dans la réponse aux questions financières conversationnelles

Grâce aux récents progrès réalisés dans les grands modèles linguistiques pré-entraînés, les chercheurs ont atteint des performances record dans les tâches de traitement du langage naturel, qui se concentrent principalement sur le traitement des motifs linguistiques. La communauté scientifique assiste actuellement à un changement de paradigme : le défi ne réside plus uniquement dans la modélisation du langage, mais dans l’imitation de capacités de raisonnement complexes, similaires à celles des êtres humains. Dans ce travail, nous explorons le domaine financier, qui implique des raisonnements numériques complexes et réalistes. Nous proposons un nouveau jeu de données à grande échelle, ConvFinQA, destiné à étudier les chaînes de raisonnement numérique dans les systèmes de réponse à des questions en conversation. Ce jeu de données pose un défi considérable en matière de modélisation de chemins de raisonnement numériques complexes et à longue portée dans des conversations du monde réel. Nous menons des expériences et analyses approfondies à l’aide de méthodes neuron-simboliques et de méthodes basées sur le « prompting », afin d’offrir des perspectives sur les mécanismes de raisonnement propres à ces deux approches. Nous estimons que notre nouveau jeu de données constituera une ressource précieuse pour stimuler l’exploration des tâches de raisonnement complexes dans le monde réel, qui devraient devenir la prochaine priorité de recherche. Notre jeu de données et le code associé sont disponibles publiquement à l’adresse suivante : https://github.com/czyssrs/ConvFinQA.