MKQA는 Apple이 2020년에 발표한 다국어 개방형 도메인 질의응답 벤치마크 데이터셋으로, 관련 논문은 「MKQA: A Linguistically Diverse Benchmark for Multilingual Open Domain Question Answering」이며, 언어 간 지식 기반 질의응답 모델의 성능을 평가하기 위해 설계되었습니다.

이 데이터셋은 24개 언어를 포괄하는 37,000개 이상의 자연어 질의응답 쌍을 포함합니다. 데이터는 Natural Questions 데이터셋에서 유래했으며, 크라우드소싱을 통해 번역 및 주석이 달렸고, 다국어 환경에서의 질의와 그에 대한 답변(엔티티, 긴 답변, 짧은 구문 등 다양한 유형)을 제공합니다.

데이터셋 구성

• example_id: 샘플 고유 식별자, 문자열 유형.
• queries: 24개 언어로 된 질의 텍스트를 포함하며, 각 언어는 문자열 필드(예: ar, da, de, en, es 등)에 해당합니다.
• query: 원본 영어 질의 텍스트, 문자열 유형.
• answers: 24개 언어로 된 답변 목록을 포함하며, 각 언어는 구조체로 구성되고 다음 하위 필드를 포함합니다:
• type: 답변 유형으로, entity(엔티티), long_answer(긴 답변), unanswerable(답변 불가), date(날짜), number(숫자), number_with_unit(단위 포함 숫자), short_phrase(짧은 구문), binary(이진)을 포함합니다.
• entity: 엔티티 이름, 문자열 유형.
• text: 답변 텍스트, 문자열 유형.
• aliases: 별칭 목록, 문자열 배열 유형.

Citation

@misc{mkqa,
    title = {MKQA: A Linguistically Diverse Benchmark for Multilingual Open Domain Question Answering},
    author = {Shayne Longpre and Yi Lu and Joachim Daiber},
    year = {2020},
    URL = {https://arxiv.org/pdf/2007.15207.pdf}
}