ReasTAP : Injection de compétences en raisonnement tabulaire lors du pré-entraînement par le biais d’exemples de raisonnement synthétiques

L'inférence sur les données tabulaires nécessite à la fois une compréhension de la structure des tableaux et un large éventail de compétences en raisonnement tabulaire. Les modèles actuels dotés d'architectures spécifiques aux tableaux et de méthodes de pré-entraînement adaptées se montrent efficaces pour comprendre la structure des tableaux, mais ils peinent encore à accomplir des tâches nécessitant diverses compétences en raisonnement tabulaire. Dans cette étude, nous développons ReasTAP pour montrer que des compétences avancées en raisonnement tabulaire peuvent être intégrées dans les modèles lors du pré-entraînement, sans recourir à une conception complexe d'architecture spécifique aux tableaux. Nous définissons 7 compétences en raisonnement tabulaire, telles que les opérations numériques, les comparaisons temporelles et les conjonctions. Chaque compétence en raisonnement est associée à un générateur d'exemples qui synthétise des questions sur des tableaux semi-structurés selon les modèles échantillonnés. Nous modélisons la tâche de pré-entraînement sur les tableaux comme une tâche de génération de séquences et pré-entraînons ReasTAP pour générer des réponses précises aux exemples synthétiques. ReasTAP est évalué sur quatre benchmarks couvrant trois tâches downstream : 1) WikiSQL et WTQ pour le Question Answering sur les tableaux ; 2) TabFact pour la Vérification de faits tabulaires ; et 3) LogicNLG pour la Génération fidèle de texte à partir de tableaux. Les résultats expérimentaux démontrent que ReasTAP atteint de nouvelles performances state-of-the-art sur tous les benchmarks et apporte une amélioration significative dans le cadre de ressources limitées. Notre code est disponible au public sur https://github.com/Yale-LILY/ReasTAP.Note : - "downstream" est traduit par "downstream" car c'est un terme couramment utilisé dans le domaine académique et technologique.- "state-of-the-art" est conservé tel quel car c'est un terme standard en français dans ce contexte.