هل يمكن لدرع فولاذي أن يوصل الكهرباء؟ مجموعة بيانات جديدة للإجابة على الأسئلة المفتوحة في الكتاب المفتوح

نقدم مجموعة بيانات جديدة للإجابة على الأسئلة، وهي OpenBookQA، والتي تم تصميمها على غرار الامتحانات المفتوحة لقياس فهم الإنسان لموضوع ما. الكتاب المفتوح المرفق مع أسئلتنا يحتوي على مجموعة من 1329 حقيقة علمية بمستوى التعليم الأساسي. يبلغ عدد الأسئلة التي تقيس فهم هذه الحقائق وتطبيقها على حالات جديدة حوالي 6000 سؤال. يتطلب هذا دمج حقيقة من الكتاب المفتوح (مثل، المعادن توصل الكهرباء) مع المعرفة الشائعة الواسعة (مثل، درع الحماية مصنوع من المعادن) التي يتم الحصول عليها من مصادر أخرى. بينما تركز مجموعات البيانات الحالية للإجابة على الأسئلة في الوثائق أو قواعد المعرفة، والتي تكون عادةً ذاتية الاكتفاء، على الفهم اللغوي، فإن OpenBookQA تستكشف فهماً أعمق للموضوع---في سياق المعرفة الشائعة---واللغة التي يتم التعبير عنها بها. أداؤ الإنسان في OpenBookQA قريب من 92٪، ولكن العديد من طرق الإجابة على الأسئلة المتقدمة والمدربة مسبقًا تؤدي بشكل غير متوقع وبطريقة سيئة للغاية، أسوأ مما حققه عدة نماذج عصبية بسيطة طورناها. تظهر تجاربنا المصممة كمرجع لتجاوز عنق الزجاجة في استرجاع المعلومات قيمة كلٍّ من الكتاب المفتوح والحقائق الإضافية. نترك تحدي حل مشكلة الاسترجاع في هذا السياق متعدد الخطوات وإغلاق الفجوة الكبيرة بين الأداء البشري والأداء الآلي كتحدي للباحثين.