Microsoft Research Sequential Question Answering은 Microsoft Research가 2017년에 공개한 순차 질의응답 작업을 위한 데이터셋으로, 보다 자연스러운 대화형 질의응답 시나리오를 탐색하고 기존 의미론적 구문 분석에서 너무 복잡하고 부자연스러운 긴 질문을 해결하기 위해 설계되었습니다.

이 데이터셋은 17,553개의 질문으로 구성되어 있으며, 6,066개의 시퀀스로 나뉘고, 각 질문에는 답변으로 테이블의 셀 위치가 연결되어 있습니다. 데이터는 WikiTableQuestions 데이터셋을 기반으로 하며, 크라우드소싱 작업자가 원본 질문을 분해하여 생성되었습니다.

데이터셋 구성

데이터셋은 다음 세 부분으로 나뉩니다:

• 훈련 세트(train): 12,276개 샘플.
• 검증 세트(validation): 2,265개 샘플.
• 테스트 세트(test): 3,012개 샘플.

각 샘플에는 주로 다음 필드가 포함됩니다:

• id: 질문 시퀀스의 고유 식별자.
• annotator: 주석자 식별자.
• position: 시퀀스 내 질문의 위치.
• question: 질문 텍스트.
• table_file: 연결된 테이블 파일.
• table_header: 테이블 열 이름.
• table_data: 2차원 배열 형태로 저장된 테이블 데이터.
• answer_coordinates: 답변이 위치한 셀의 행렬 좌표.
• answer_text: 답변 텍스트 내용.

인용

@inproceedings{iyyer-etal-2017-search,
    title = "Search-based Neural Structured Learning for Sequential Question Answering",
    author = "Iyyer, Mohit  and
      Yih, Wen-tau  and
      Chang, Ming-Wei",
    booktitle = "Proceedings of the 55th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers)",
    month = jul,
    year = "2017",
    address = "Vancouver, Canada",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/P17-1167",
    doi = "10.18653/v1/P17-1167",
    pages = "1821--1831",
}