TableBench

Afin de mieux évaluer la capacité des LLM à répondre aux questions de table, les équipes de recherche de l'Université Beihang, de l'Université de Waterloo, de l'Université Fudan et de l'Université des sciences et technologies de l'information de Pékin ont publié conjointement le benchmark de réponse aux questions de table TableBench. Les résultats de l'article connexe sont «TableBench : un outil complet et complexe pour répondre aux questions des tables".

TableBench est un benchmark TableQA complet et complexe, annoté par l'homme, contenant 886 échantillons dans 18 domaines, conçu pour faciliter la vérification des faits, le raisonnement numérique, l'analyse des données et les tâches de visualisation. De plus, l'équipe a ouvert le corpus d'instructions à grande échelle TableInstruct, qui vise à guider le LLM avec diverses méthodes de raisonnement.