HyperAIHyperAI

Command Palette

Search for a command to run...

الاسترجاع كانتباه: التعلم من الطرف إلى الطرف لعملية الاسترجاع والقراءة داخل محول واحد

Zhengbao Jiang Luyu Gao Jun Araki Haibo Ding Zhiruo Wang Jamie Callan Graham Neubig

الملخص

تتكوّن الأنظمة المُصمّمة للمهام التي تتطلب معرفةً كثيفةً، مثل الإجابة على الأسئلة في نطاق مفتوح (QA)، عادةً من مرحلتين: استرجاع فعّال للوثائق ذات الصلة من مجموعات كبيرة من البيانات، ثم قراءة مفصلة للوثائق المختارة لإنتاج الإجابات. غالبًا ما يتم نمذجة مُسترجعات (Retrievers) والقراء (Readers) بشكل منفصل، مما يتطلّب تنفيذًا معقّدًا، ويُعدّ صعب التدريب والتكيف بطريقة متكاملة من البداية إلى النهاية. في هذا البحث، نعيد النظر في هذا التصميم، ونرفض البنية والتدريب المنفصلين، ونفضّل نموذجًا واحدًا من نوع Transformer يقوم بعملية الاسترجاع كـ "انتباه" (Retrieval as Attention - ReAtt)، مع تدريب متكامل تمامًا يعتمد فقط على الإشراف من المهمة النهائية للإجابة على الأسئلة. نُظهر لأول مرة أن نموذجًا واحدًا يتم تدريبه بطريقة متكاملة يمكنه تحقيق أداءً تنافسيًا في الاسترجاع والإجابة على الأسئلة معًا، ويُساوي أو يتفوّق قليلاً على أفضل النماذج المُدرّبة بشكل منفصل من حيث الاسترجاع والقراءة. علاوةً على ذلك، يُحسّن التكيّف المتكامل بشكل كبير من أداء النموذج على مجموعات بيانات خارج النطاق، سواء في البيئات المُشرَّفة أو غير المُشرَّفة، مما يجعل نموذجنا حلاً بسيطًا وقابلاً للتكيف لمهام تعتمد على المعرفة. يمكن الوصول إلى الكود والنماذج عبر الرابط: https://github.com/jzbjyb/ReAtt.


بناء الذكاء الاصطناعي بالذكاء الاصطناعي

من الفكرة إلى الإطلاق — سرّع تطوير الذكاء الاصطناعي الخاص بك مع المساعدة البرمجية المجانية بالذكاء الاصطناعي، وبيئة جاهزة للاستخدام، وأفضل أسعار لوحدات معالجة الرسومات.

البرمجة التعاونية باستخدام الذكاء الاصطناعي
وحدات GPU جاهزة للعمل
أفضل الأسعار

HyperAI Newsletters

اشترك في آخر تحديثاتنا
سنرسل لك أحدث التحديثات الأسبوعية إلى بريدك الإلكتروني في الساعة التاسعة من صباح كل يوم اثنين
مدعوم بواسطة MailChimp
الاسترجاع كانتباه: التعلم من الطرف إلى الطرف لعملية الاسترجاع والقراءة داخل محول واحد | مستندات | HyperAI