MS MARCO는 Microsoft가 2016년에 발표한 검색 분야 딥러닝에 초점을 맞춘 데이터셋으로, 관련 논문 성과는「MS MARCO: A Human Generated MAchine Reading COmprehension Dataset」이며, 실제 사용자 쿼리와 인공 생성 답변을 통해 질의응답, 자연어 생성 및 정보 검색과 같은 작업의 연구를 촉진하는 것을 목표로 합니다.

이 데이터셋은 v1.1과 v2.1 두 가지 주요 버전을 포함하며, v1.1은 약 10만 개의 예제를 포함하고, v2.1은 100만 개 이상의 쿼리로 확장되어 데이터 규모가 방대하며, 학습, 검증 및 테스트 세트를 포괄하고 스마트 스피커 음성 응답 생성 및 웹 검색 순위와 같은 시나리오에 널리 사용됩니다.

데이터셋 구성

• answers: 답변 목록
• passages: passage_text, is_selected 및 url을 포함하는 사전 구조
• query: 사용자 쿼리 텍스트
• query_id: 쿼리 ID
• query_type: 쿼리 유형
• wellFormedAnswers: 형식이 올바른 답변 목록

Citation

@article{DBLP:journals/corr/NguyenRSGTMD16,
  author    = {Tri Nguyen and
               Mir Rosenberg and
               Xia Song and
               Jianfeng Gao and
               Saurabh Tiwary and
               Rangan Majumder and
               Li Deng},
  title     = {{MS} {MARCO:} {A} Human Generated MAchine Reading COmprehension Dataset},
  journal   = {CoRR},
  volume    = {abs/1611.09268},
  year      = {2016},
  url       = {http://arxiv.org/abs/1611.09268},
  archivePrefix = {arXiv},
  eprint    = {1611.09268},
  timestamp = {Mon, 13 Aug 2018 16:49:03 +0200},
  biburl    = {https://dblp.org/rec/journals/corr/NguyenRSGTMD16.bib},
  bibsource = {dblp computer science bibliography, https://dblp.org}
}