MKQA est un ensemble de données de référence pour les questions-réponses ouvertes multilingues publié par Apple en 2020, dont les résultats de recherche associés sont présentés dans « MKQA: A Linguistically Diverse Benchmark for Multilingual Open Domain Question Answering », visant à évaluer les performances des modèles de questions-réponses multilingues.

Cet ensemble de données contient plus de 37 000 paires de questions-réponses en langage naturel, couvrant 24 langues. Les données proviennent de l'ensemble de données Natural Questions, traduites et annotées via le crowdsourcing, fournissant des requêtes et leurs réponses dans un environnement multilingue, incluant divers types tels que des entités, des réponses longues, des phrases courtes, etc.

Composition de l'ensemble de données

• example_id : identifiant unique de l'échantillon, de type chaîne de caractères.
• queries : textes de requêtes dans 24 langues, chaque langue correspondant à un champ de chaîne de caractères (comme ar, da, de, en, es, etc.).
• query : texte de requête original en anglais, de type chaîne de caractères.
• answers : listes de réponses dans 24 langues, chaque langue correspondant à une structure contenant les sous-champs suivants :
• type : type de réponse, incluant entity (entité), long_answer (réponse longue), unanswerable (sans réponse), date (date), number (nombre), number_with_unit (nombre avec unité), short_phrase (phrase courte), binary (binaire).
• entity : nom de l'entité, de type chaîne de caractères.
• text : texte de la réponse, de type chaîne de caractères.
• aliases : liste d'alias, de type tableau de chaînes de caractères.

Citation

@misc{mkqa,
    title = {MKQA: A Linguistically Diverse Benchmark for Multilingual Open Domain Question Answering},
    author = {Shayne Longpre and Yi Lu and Joachim Daiber},
    year = {2020},
    URL = {https://arxiv.org/pdf/2007.15207.pdf}
}