TischBank

Um die Fähigkeiten von LLM bei der Beantwortung von Tabellenfragen besser bewerten zu können, haben die Forschungsteams der Beihang University, der University of Waterloo, der Fudan University und der Beijing Information Science and Technology University gemeinsam den Benchmark für die Beantwortung von Tabellenfragen von TableBench veröffentlicht. Die entsprechenden Ergebnisse der Studie sind „TableBench: Ein umfassender und komplexer Benchmark für die Beantwortung von Tabellenfragen".

TableBench ist ein von Menschen kommentierter, umfassender und komplexer TableQA-Benchmark mit 886 Beispielen in 18 Domänen, der die Überprüfung von Fakten, das numerische Denken, die Datenanalyse und Visualisierungsaufgaben erleichtern soll. Darüber hinaus hat das Team das umfangreiche Anweisungskorpus TableInstruct als Open Source bereitgestellt, das LLM mit verschiedenen Schlussfolgerungsmethoden anleiten soll.