MS MARCO a été publié par Microsoft en 2016, et se concentre sur un ensemble de données dédié à l'apprentissage profond dans le domaine de la recherche. Le résultat de recherche associé est « MS MARCO: A Human Generated MAchine Reading COmprehension Dataset », visant à promouvoir la recherche sur des tâches telles que les questions-réponses, la génération de langage naturel et la récupération d'informations grâce à des requêtes d'utilisateurs réelles et des réponses générées manuellement.

Cet ensemble de données comprend deux versions principales, v1.1 et v2.1, où v1.1 contient environ 100 000 exemples, tandis que v2.1 est étendu à plus d'un million de requêtes, avec une échelle de données massive, couvrant les ensembles d'entraînement, de validation et de test. Il est largement utilisé dans des scénarios tels que la génération de réponses vocales pour les assistants intelligents et le classement des résultats de recherche web.

Composition de l'ensemble de données

• answers : liste de réponses
• passages : structure de dictionnaire contenant passage_text, is_selected et url
• query : texte de la requête utilisateur
• query_id : identifiant de la requête
• query_type : type de requête
• wellFormedAnswers : liste de réponses bien formées

Citation

@article{DBLP:journals/corr/NguyenRSGTMD16,
  author    = {Tri Nguyen and
               Mir Rosenberg and
               Xia Song and
               Jianfeng Gao and
               Saurabh Tiwary and
               Rangan Majumder and
               Li Deng},
  title     = {{MS} {MARCO:} {A} Human Generated MAchine Reading COmprehension Dataset},
  journal   = {CoRR},
  volume    = {abs/1611.09268},
  year      = {2016},
  url       = {http://arxiv.org/abs/1611.09268},
  archivePrefix = {arXiv},
  eprint    = {1611.09268},
  timestamp = {Mon, 13 Aug 2018 16:49:03 +0200},
  biburl    = {https://dblp.org/rec/journals/corr/NguyenRSGTMD16.bib},
  bibsource = {dblp computer science bibliography, https://dblp.org}
}