Version Chinoise E-KAR Du Benchmark De Raisonnement Analogique À Forte Intensité De Connaissances Interprétables

E-KAR signifie Benchmark for Explainable Knowledge-intensive Analogic Reasoning, qui est une référence pour le raisonnement analogique explicable et intensif en connaissances.

La capacité de reconnaître des analogies est fondamentale pour la cognition humaine. Les tests d’analogie de mots existants ne révèlent pas le processus sous-jacent du raisonnement analogique dans les modèles neuronaux. Convaincu que les modèles dotés d’un pouvoir de raisonnement doivent être fondés sur de bonnes raisons,Nous proposons le premier référentiel pour le raisonnement analogique interprétable et éclairé (E-KAR).

Notre ensemble de données de référence comprend 1 655 questions (en chinois) et 1 251 questions (en anglais) de l'examen de la fonction publique.  La résolution de ces problèmes nécessite des connaissances approfondies. Nous avons conçu un schéma d'explication en texte libre pour expliquer si le raisonnement analogique doit être effectué et annoté manuellement chaque question et réponse du candidat.

Les résultats empiriques montrent que pour certains modèles de pointe,Cet ensemble de données de référence est très difficile à la fois pour la génération d'explications et pour les tâches de réponse aux questions d'analogie.  Cela a suscité des recherches plus approfondies.