HyperAIHyperAI
منذ 2 أشهر

مقارنة نوعية بين CoQA و SQuAD 2.0 و QuAC

Mark Yatskar
مقارنة نوعية بين CoQA و SQuAD 2.0 و QuAC
الملخص

نقوم بمقارنة ثلاثة مجموعات بيانات جديدة للإجابة على الأسئلة: SQuAD 2.0، QuAC، وCoQA، وذلك على عدة من خصائصها الجديدة: (1) الأسئلة غير القابلة للإجابة، (2) التفاعلات المتعددة الدورات، و(3) الإجابات الاستنتاجية. نوضح أن هذه المجموعات تقدم تغطية مكملة للجوانب الأولى والثانية، ولكن تغطيتها للجانب الثالث ضعيفة. بسبب التشابه الهيكلي بين المجموعات، يمكن تكييف نموذج استخراجي واحد بسهولة لأي من هذه المجموعات، وقد أظهرنا تحسينًا في النتائج الأساسية لكل من SQuAD 2.0 وCoQA. رغم هذا التشابه، فإن النماذج التي تم تدريبها على مجموعة بيانات واحدة تكون غير فعالة على مجموعة بيانات أخرى، ولكننا نجد تحسنًا معتدلًا في الأداء من خلال التدريب المسبق. لتشجيع التقييم المتبادل، قمنا بإصدار رمز البرمجيات لتحويل البيانات بين المجموعات في https://github.com/my89/co-squac .

مقارنة نوعية بين CoQA و SQuAD 2.0 و QuAC | أحدث الأوراق البحثية | HyperAI