MKQA は、Apple が 2020 年に公開した多言語オープンドメイン質問応答ベンチマークデータセットであり、関連する論文成果は「MKQA: A Linguistically Diverse Benchmark for Multilingual Open Domain Question Answering」で、クロスリンガル知識質問応答モデルの性能を評価することを目的としています。

このデータセットには、37,000 以上の自然言語の質問応答ペアが含まれており、24 言語をカバーしています。 データは Natural Questions データセットに由来し、クラウドソーシングによる翻訳とアノテーションを通じて作成され、 クエリとその多言語環境での回答を提供しており、エンティティ、長文回答、短いフレーズなど、さまざまなタイプが含まれています。

データセット構成

• example_id: サンプルの一意の識別子。文字列型。
• queries: 24 言語のクエリテキストを含み、各言語に対応する文字列フィールド（ar、da、de、en、es など）があります。
• query: 元の英語のクエリテキスト。文字列型。
• answers: 24 言語の回答リストを含み、各言語に対応する構造体には、以下のサブフィールドが含まれます：
• type: 回答タイプ。entity（エンティティ）、long_answer（長文回答）、unanswerable（回答不能）、date（日付）、number（数値）、number_with_unit（単位付き数値）、short_phrase（短いフレーズ）、binary（二値）を含みます。
• entity: エンティティ名。文字列型。
• text: 回答テキスト。文字列型。
• aliases: エイリアスリスト。文字列配列型。

Citation

@misc{mkqa,
    title = {MKQA: A Linguistically Diverse Benchmark for Multilingual Open Domain Question Answering},
    author = {Shayne Longpre and Yi Lu and Joachim Daiber},
    year = {2020},
    URL = {https://arxiv.org/pdf/2007.15207.pdf}
}