MKQA ist ein von Apple im Jahr 2020 veröffentlichtes mehrsprachiges Open-Domain-Frage-Antwort-Benchmark-Datenset, dessen zugehörige Forschungsergebnisse in „MKQA: A Linguistically Diverse Benchmark for Multilingual Open Domain Question Answering" vorgestellt werden und das darauf abzielt, die Leistung von sprachübergreifenden Wissensfrage-Antwort-Modellen zu bewerten.

Das Datenset enthält mehr als 37.000 natürliche Frage-Antwort-Paare und deckt 24 Sprachen ab. Die Daten stammen aus dem Natural Questions-Datenset und wurden durch Crowdsourcing übersetzt und annotiert, wobei Abfragen und ihre Antworten in mehrsprachigen Umgebungen bereitgestellt werden, einschließlich verschiedener Typen wie Entitäten, lange Antworten, kurze Phrasen usw.

Zusammensetzung des Datensets

• example_id: Eindeutige Kennung der Stichprobe, Zeichenkettentyp.
• queries: Abfragetexte in 24 Sprachen, wobei jede Sprache einem Zeichenkettenfeld entspricht (z. B. ar, da, de, en, es usw.).
• query: Ursprünglicher englischer Abfragetext, Zeichenkettentyp.
• answers: Antwortlisten in 24 Sprachen, wobei jede Sprache einer Struktur entspricht, die die folgenden Unterfelder enthält:
• type: Antworttyp, einschließlich entity (Entität), long_answer (lange Antwort), unanswerable (nicht beantwortbar), date (Datum), number (Zahl), number_with_unit (Zahl mit Einheit), short_phrase (kurze Phrase), binary (binär).
• entity: Entitätsname, Zeichenkettentyp.
• text: Antworttext, Zeichenkettentyp.
• aliases: Aliasliste, Zeichenketten-Array-Typ.

Zitation

@misc{mkqa,
    title = {MKQA: A Linguistically Diverse Benchmark for Multilingual Open Domain Question Answering},
    author = {Shayne Longpre and Yi Lu and Joachim Daiber},
    year = {2020},
    URL = {https://arxiv.org/pdf/2007.15207.pdf}
}