Ensemble De Données De Référence Pour Les Capacités De Raisonnement Temporel Des Grands Modèles

Test of Time, ou ToT en abrégé, est un test de référence lancé par les chercheurs de Google DeepMind en 2024 spécifiquement pour évaluer les capacités de raisonnement temporel des grands modèles linguistiques. Il examine la compréhension temporelle et les capacités arithmétiques des LLM à partir de deux dimensions indépendantes. Les résultats pertinents de l'article sontL'épreuve du temps : une référence pour l'évaluation des LLM en raisonnement temporel"

L'ensemble de données ToT est divisé en trois sous-ensembles : ToT-sémantique contient 1 850 exemples, ToT-arithmétique contient 2 800 exemples et ToT-sémantique-large contient 46 480 exemples, qui peuvent mesurer la sémantique et la logique de la compréhension temporelle à plus grande échelle.

Format des données

Les ensembles de données ToT-sémantique et ToT-sémantique-large contiennent les champs suivants :

• question : Contient le texte de la question.
• graph_gen_algorithm : Le nom de l'algorithme du générateur de graphes.
• question_type : correspond à l'un des 7 types de questions de l'ensemble de données.
• sorting_type : correspond au type de tri appliqué au fait.
• invite : contient le texte d'invite complet utilisé pour évaluer la tâche LLM.
• étiquette : La réponse standard à la question.

L'ensemble de données arithmétiques ToT contient trois champs : question, type_question et étiquette.

Source des données

ToT est généré synthétiquement à l'aide de bibliothèques publiques telles que NetworkX.

• But: ToT est conçu principalement pour être utilisé comme ensemble de tests.
• interdire:L’utilisation de ToT comme ensemble d’entraînement est strictement interdite.