مجموعة بيانات HellaSwag عبارة عن مجموعة بيانات تحدي جديدة لاختبار الاستدلال اللغوي الطبيعي السليم (NLI السليم). تم إطلاق مجموعة البيانات من قبل جامعة واشنطن وشركة Allen AI في عام 2019 بهدف استكشاف أداء النماذج المدربة مسبقًا في التفكير السليم من خلال إنشاء مجموعة بيانات تشكل تحديًا للنماذج الحديثة الحالية. الأوراق والنتائج ذات الصلةHellaSwag: هل تستطيع الآلة حقًا إكمال جملتك؟"تم قبوله بواسطة ACL 2019."

تحتوي مجموعة بيانات HellaSwag على 70 ألف سؤال، وعلى الرغم من كونها سهلة للغاية بالنسبة للبشر (دقة تزيد عن 95%)، إلا أن النماذج الحديثة تكافح من أجل تحقيق أداء قريب من مستوى الإنسان (دقة حوالي 48%). يتم إنشاء مجموعة البيانات من خلال طريقة التصفية التنافسية (AF)، والتي تستخدم سلسلة من المميزات لتحديد الإجابات الخاطئة التي تم إنشاؤها بواسطة الآلة بشكل متكرر لزيادة صعوبة مجموعة البيانات. يسلط إنشاء HellaSwag الضوء على العمليات الداخلية للنماذج المدربة مسبقًا ويوفر اتجاهًا جديدًا لأبحاث معالجة اللغة الطبيعية، حيث تتطور المعايير المرجعية مع النماذج الحديثة بطريقة عدائية لتوفير مهام أكثر تحديًا.