TAT-QA : Une base d'évaluation de réponse aux questions sur un hybridation de contenus tabulaires et textuels en finance

Les données hybrides combinant à la fois des contenus tabulaires et textuels (par exemple, des rapports financiers) sont très répandues dans le monde réel. Pourtant, la question-réponse (QA) sur de telles données hybrides est largement négligée dans les recherches existantes. Dans ce travail, nous extrayons des échantillons à partir de rapports financiers réels afin de construire un nouveau jeu de données QA à grande échelle incluant à la fois des données tabulaires et textuelles, nommé TAT-QA, dans lequel des raisonnements numériques sont généralement nécessaires pour inférer la réponse, tels que l’addition, la soustraction, la multiplication, la division, le comptage, les comparaisons ou tri, ainsi que leurs combinaisons. Nous proposons par ailleurs un nouveau modèle QA, appelé TAGOP, capable de raisonner à la fois sur les tableaux et les textes. Ce modèle utilise une étiquetage de séquence pour extraire les cellules pertinentes du tableau ainsi que les segments pertinents du texte, afin d’en déduire leur sémantique, puis applique un raisonnement symbolique sur ces éléments à l’aide d’un ensemble d’opérateurs d’agrégation pour parvenir à la réponse finale. Selon nos expériences sur TAT-QA, TAGOP atteint un score F1 de 58,0 %, soit une augmentation absolue de 11,1 % par rapport au meilleur modèle de base précédent. Toutefois, ce résultat reste très éloigné de la performance d’un expert humain, qui atteint quant à lui 90,8 % en F1. Ces résultats démontrent que notre jeu de données TAT-QA est extrêmement exigeant et peut servir de référence (benchmark) pour l’entraînement et le test de modèles QA puissants capables de traiter des données sous forme hybride.