منذ 17 أيام

Natural Questions: معيار لبحث الإجابة على الأسئلة

{Jakob Uszkoreit, Andrew M. Dai, Ming-Wei Chang, Chris Alberti, Tom Kwiatkowski, Slav Petrov, Michael Collins, Matthew Kelcey, Llion Jones, Jennimaria Palomaki, Illia Polosukhin, Olivia Redfield, Kenton Lee, Quoc Le, Jacob Devlin, Ankur Parikh, Kristina Toutanova, Danielle Epstein}

عرض تفاصيل الورقة البحثية View Code

الملخص

نقدّم مجموعة بيانات Natural Questions، وهي مجموعة بيانات مخصصة لحل الأسئلة. تتكون الأسئلة من استعلامات حقيقية، مجهّلة، ومجمّعة، تم إرسالها إلى محرك بحث جوجل. يُقدّم مُعدّ التصنيف سؤالًا مع صفحة ويكيبيديا من النتائج الخمسة الأولى في نتائج البحث، ثم يقوم بتوثيق إجابة طويلة (عادةً فقرة واحدة) وإجابة قصيرة (كائنة واحدة أو أكثر من الكيانات) إن وُجدت على الصفحة، أو يُعلّم "غير موجود" إذا لم تكن هناك إجابة طويلة أو قصيرة. تتضمن النسخة العامة من المجموعة 307,373 مثالًا تدريبيًا مع تسمية واحدة، و7,830 مثالًا مُسَمّى بخمس طرق لبيانات التطوير، و7,842 مثالًا إضافيًا مُسَمّى بخمس طرق وتم حجبه كبيانات اختبار. نقدّم تجارب تُحقق من جودة البيانات. كما نُقدّم تحليلًا لـ 25 تسمية مُتعددة على 302 مثالًا، مما يُقدّم رؤى حول التباين البشري في مهمة التصنيف. نُقدّم مقاييس متينة لغرض تقييم أنظمة حل الأسئلة؛ ونُظهِر حدودًا عالية للإنسان على هذه المقاييس؛ ونُثبّت نتائج أساسية باستخدام أساليب تنافسية مستمدة من الأدبيات ذات الصلة.