MsrTextCompression은 Microsoft Research가 2016년에 발표한 문장 및 짧은 문단 요약·압축 평가용 데이터셋으로, 압축된 텍스트와 품질 평가를 포함한 표준 말뭉치를 제공하여 자동 요약 기술의 발전을 지원하기 위해 만들어졌습니다.

이 데이터셋은 Open American National Corpus(OANC1)에서 추출한 약 6,000개의 원문 텍스트와 총 약 26,000쌍의 원문-압축 텍스트로 구성되며, 뉴스, 비즈니스 서신, 학술지, 기술 문서 등의 분야를 포함합니다. 각 원문에는 최대 5개의 크라우드소싱 기반 압축 버전이 제공되며, 의미 보존과 문법적 정확성에 대한 품질 점수가 함께 포함됩니다.

데이터셋 구성

이 데이터셋은 세 부분으로 나뉩니다:

• 훈련 세트(train): 4,936개의 샘플로 구성되며, 데이터 크기는 약 5MB입니다.
• 검증 세트(validation): 447개의 샘플로 구성되며, 데이터 크기는 약 449KB입니다.
• 테스트 세트(test): 785개의 샘플로 구성되며, 데이터 크기는 약 804KB입니다.

각 데이터 레코드에는 다음 필드가 포함됩니다:

• source_id: 원문이 원본 데이터셋에서 가지는 인덱스.
• domain: 원문 텍스트의 분야 분류(예: Newswire).
• source_text: 압축되지 않은 원본 텍스트.
• targets: 압축 결과와 관련 평가 정보를 포함하는 목록으로, 각 요소는 하나의 압축 버전에 해당합니다:
• compressed_text: 압축된 텍스트.
• judge_id: 해당 압축 버전을 제공한 크라우드소싱 작업자의 익명 ID.
• num_ratings: 해당 압축 버전이 받은 평가 횟수.
• ratings: 구체적인 평가 목록으로, 의미 보존과 문법적 정확성을 기준으로 한 점수(예: 6은 의미가 가장 중요하고 문법이 완벽함을, 24는 의미가 거의 없고 문법이 혼란스러움을 의미).

Citation

@inproceedings{Toutanova2016ADA,
  title={A Dataset and Evaluation Metrics for Abstractive Compression of Sentences and Short Paragraphs},
  author={Kristina Toutanova and Chris Brockett and Ke M. Tran and Saleema Amershi},
  booktitle={EMNLP},
  year={2016}
}