الاسترجاع كانتباه: التعلم من الطرف إلى الطرف لعملية الاسترجاع والقراءة داخل محول واحد

تتكوّن الأنظمة المُصمّمة للمهام التي تتطلب معرفةً كثيفةً، مثل الإجابة على الأسئلة في نطاق مفتوح (QA)، عادةً من مرحلتين: استرجاع فعّال للوثائق ذات الصلة من مجموعات كبيرة من البيانات، ثم قراءة مفصلة للوثائق المختارة لإنتاج الإجابات. غالبًا ما يتم نمذجة مُسترجعات (Retrievers) والقراء (Readers) بشكل منفصل، مما يتطلّب تنفيذًا معقّدًا، ويُعدّ صعب التدريب والتكيف بطريقة متكاملة من البداية إلى النهاية. في هذا البحث، نعيد النظر في هذا التصميم، ونرفض البنية والتدريب المنفصلين، ونفضّل نموذجًا واحدًا من نوع Transformer يقوم بعملية الاسترجاع كـ "انتباه" (Retrieval as Attention - ReAtt)، مع تدريب متكامل تمامًا يعتمد فقط على الإشراف من المهمة النهائية للإجابة على الأسئلة. نُظهر لأول مرة أن نموذجًا واحدًا يتم تدريبه بطريقة متكاملة يمكنه تحقيق أداءً تنافسيًا في الاسترجاع والإجابة على الأسئلة معًا، ويُساوي أو يتفوّق قليلاً على أفضل النماذج المُدرّبة بشكل منفصل من حيث الاسترجاع والقراءة. علاوةً على ذلك، يُحسّن التكيّف المتكامل بشكل كبير من أداء النموذج على مجموعات بيانات خارج النطاق، سواء في البيئات المُشرَّفة أو غير المُشرَّفة، مما يجعل نموذجنا حلاً بسيطًا وقابلاً للتكيف لمهام تعتمد على المعرفة. يمكن الوصول إلى الكود والنماذج عبر الرابط: https://github.com/jzbjyb/ReAtt.