E-KAR 中国語版 解釈可能な知識集約型類推ベンチマーク

E-KAR は、Benchmark for Explainable Knowledge-integral Analogical Reasoning の略で、説明可能な知識集約型の類推推論のベンチマークです。

類似性を認識する能力は人間の認識の基礎です。既存の単語類推テスト ベンチマークでは、ニューラル モデルにおける類推推論の基礎となるプロセスを明らかにすることはできません。推論可能なモデルは正しい理由に基づいている必要があるという信念に動機付けられ、我々は、最初の知識ベースの説明可能な類推推論ベンチマーク (E-KAR) を提案します。

当社のベンチマーク データセットには、公務員試験からの 1,655 問 (中国語) と 1,251 問 (英語) が含まれています。  これらの問題を解決するには、徹底的な背景知識が必要です。類推推論を実行する必要があるかどうかを説明するフリーテキストの説明スキームを設計し、各質問と回答候補に手動で注釈を付けました。

実証結果によると、一部の最先端モデルでは、このベンチマーク データセットは、説明生成タスクと類推質問応答タスクの両方にとって非常に困難です。  これがさらなる研究のきっかけとなった。