الانتباه الهرمي التكراري لإجابة الأسئلة المعقدة على المستندات الطويلة

نُقدّم نموذجًا جديدًا يُدعى DocHopper، الذي يُجري تفاعلًا تكراريًا مع أجزاء مختلفة من المستندات الطويلة ذات البنية الهرمية للإجابة على أسئلة معقدة. وتشبه DocHopper أنظمة الإجابة على الأسئلة متعددة الخطوات (multi-hop QA)، حيث تُستخدم في كل خطوة استعلام $q$ للتركيز على معلومات من المستند، ثم تُدمج هذه "المعلومات المسترجعة" مع $q$ لإنتاج الاستعلام التالي. ومع ذلك، تختلف DocHopper عن معظم الأنظمة السابقة لـ QA متعددة الخطوات من حيث قدرتها على "استرجاع" إما مقاطع قصيرة أو أقسام طويلة من المستند، مما يحاكي عملية متعددة الخطوات تشبه "التنقل" عبر مستند طويل للإجابة على سؤال. ولتمكين هذا السلوك الجديد، لا تُدمج DocHopper معلومات المستند مع $q$ عن طريق دمج النصوص مع نص $q$، بل من خلال دمج تمثيل عصبي مكثف لـ $q$ مع تمثيل عصبي مكثف لجزء هرمي من المستند، والذي قد يكون كبيرًا نسبيًا. وقد أجرينا تجارب على DocHopper في أربع مهام مختلفة للإجابة على الأسئلة تتطلب قراءة مستندات طويلة ومعقدة للإجابة على أسئلة متعددة الخطوات، ونُظهر أن DocHopper يحقق أفضل النتائج في ثلاثة من هذه المجموعات البيانات. علاوة على ذلك، تتميز DocHopper بالكفاءة في مرحلة الاستنتاج، حيث تكون سرعتها من 3 إلى 10 أضعاف أسرع من النماذج المُقارنة.