E-KAR 해석 가능한 지식 집약적 유추 추론 벤치마크의 중국어 버전

E-KAR는 Benchmark for Explainable Knowledge-intensive Analogical Reasoning의 약자로, 설명 가능한 지식 집약적 유추 추론을 위한 벤치마크입니다.

유추를 인식하는 능력은 인간 인지의 기본입니다. 기존의 단어 유추 테스트 벤치마크는 신경 모델에서의 유추적 추론의 기본 과정을 보여주지 않습니다. 추론 능력이 있는 모델은 좋은 이유에 기반해야 한다는 믿음에서,우리는 지식이 있고 해석 가능한 유추 추론(E-KAR)에 대한 최초의 벤치마크를 제안합니다.

우리의 벤치마크 데이터 세트는 공무원 시험에서 출제된 1,655개(중국어) 문제와 1,251개(영어) 문제로 구성되어 있습니다.  이러한 문제를 해결하려면 심도 있는 배경 지식이 필요합니다. 우리는 유추적 추론을 수행해야 하는지 여부를 설명하기 위해 자유 텍스트 설명 체계를 설계하고 각 질문과 후보 답변에 수동으로 주석을 달았습니다.

경험적 결과는 일부 최신 모델의 경우이 벤치마크 데이터 세트는 설명 생성과 유추 질의 응답 작업 모두에 매우 까다롭습니다.  이로 인해 추가 연구가 진행되었습니다.