MsrTextCompression هو مجموعة بيانات أصدرتها Microsoft Research في عام 2016 لتقييم تلخيص وضغط الجمل والفقرات القصيرة، وتهدف إلى توفير مجموعة معيارية تحتوي على النصوص المضغوطة وتقييمات جودتها لتعزيز تطوير تقنيات التلخيص التلقائي.

تحتوي هذه المجموعة على حوالي 6,000 نص مصدر من Open American National Corpus (OANC1)، بإجمالي حوالي 26,000 زوج من النصوص المصدرية والنصوص المضغوطة، وتغطي مجالات مثل الأخبار والرسائل التجارية والمجلات والوثائق التقنية. كل نص مصدر يحتوي على ما يصل إلى خمسة إصدارات مضغوطة تم إنشاؤها بواسطة عمال جماعيين، مع تضمين تقييمات جودة تتعلق بالحفاظ على المعنى والصحة النحوية.

مكونات مجموعة البيانات

تنقسم هذه المجموعة إلى ثلاثة أجزاء:

• مجموعة التدريب (train): تحتوي على 4,936 عينة، بحجم بيانات يبلغ حوالي 5 ميجابايت.
• مجموعة التحقق (validation): تحتوي على 447 عينة، بحجم بيانات يبلغ حوالي 449 كيلوبايت.
• مجموعة الاختبار (test): تحتوي على 785 عينة، بحجم بيانات يبلغ حوالي 804 كيلوبايت.

يتضمن كل سجل بيانات الحقول التالية:

• source_id: فهرس النص الأصلي في مجموعة البيانات الأصلية.
• domain: تصنيف مجال النص المصدر (مثل Newswire).
• source_text: النص الأصلي غير المضغوط.
• targets: قائمة تحتوي على نتائج الضغط والمعلومات التقييمية ذات الصلة، حيث يتوافق كل عنصر مع إصدار مضغوط:
• compressed_text: النص بعد الضغط.
• judge_id: المعرّف المجهول للعامل الجماعي الذي قدم هذا الإصدار المضغوط.
• num_ratings: عدد التقييمات التي تلقاها هذا الإصدار المضغوط.
• ratings: قائمة التقييمات المحددة، حيث يعتمد معيار التقييم على الحفاظ على المعنى والصحة النحوية (على سبيل المثال، 6 تعني أن المعنى هو الأهم والنحو مثالي، بينما 24 تعني أن المعنى قليل جدًا والنحو فوضوي).

Citation

@inproceedings{Toutanova2016ADA,
  title={A Dataset and Evaluation Metrics for Abstractive Compression of Sentences and Short Paragraphs},
  author={Kristina Toutanova and Chris Brockett and Ke M. Tran and Saleema Amershi},
  booktitle={EMNLP},
  year={2016}
}