HyperAIHyperAI

Command Palette

Search for a command to run...

كيفية تدريب ذئبك: تكثيف التباين نحو استرجاع كثيف عام

Sheng-Chieh Lin Akari Asai Minghan Li Barlas Oguz Jimmy Lin Yashar Mehdad Wen-tau Yih Xilun Chen

الملخص

تم تطوير عدة تقنيات في السنوات الأخيرة لتحسين الاسترجاع الكثيف (DR)، مثل التعلم التبايني غير المراقب وإنشاء استعلامات افتراضية. ومع ذلك، يعاني معظم نماذج الاسترجاع الكثيف الحالية من تناقضات في الكفاءة بين الاسترجاع المراقب والاسترجاع من الصفر، وهو ما يُرجّح أنه ناتج عن قدرة النموذج المحدودة. ونُعارض هذا الافتراض، ونُظهر أنه يمكن تدريب نموذج استرجاع كثيف عامّ يمكنه تحقيق دقة عالية في كلا نوعي الاسترجاع – المراقب والمن الصفر – دون الحاجة إلى زيادة حجم النموذج. وبشكل خاص، قمنا بدراسة منهجية لعملية التعلم التبايني في نماذج الاسترجاع الكثيف ضمن إطار تحسين البيانات (DA). أظهرت دراستنا أن الممارسات الشائعة لتحسين البيانات، مثل تحسين الاستعلام باستخدام نماذج توليدية وإنشاء تسميات مرجعية افتراضية باستخدام معالج متقاطع (cross-encoder)، غالبًا ما تكون غير فعّالة وغير مثلى. ولذلك، اقترحنا منهجًا جديدًا لتحسين البيانات يعتمد على استعلامات متنوعة ومصادر متنوعة للإشراف، بهدف تدريب نموذج استرجاع كثيف عامّ بشكل تدريجي. وفي النتيجة، أصبح DRAGON، النموذج الكثيف الذي تم تدريبه باستخدام تحسينات متنوعة، أول نموذج من نوع BERT-base يحقق أداءً متفوقًا في كلا التقييمين المراقب والمن الصفر، بل ويتنافس حتى مع النماذج التي تعتمد على تفاعلات متأخرة أكثر تعقيدًا مثل ColBERTv2 وSPLADE++.


بناء الذكاء الاصطناعي بالذكاء الاصطناعي

من الفكرة إلى الإطلاق — سرّع تطوير الذكاء الاصطناعي الخاص بك مع المساعدة البرمجية المجانية بالذكاء الاصطناعي، وبيئة جاهزة للاستخدام، وأفضل أسعار لوحدات معالجة الرسومات.

البرمجة التعاونية باستخدام الذكاء الاصطناعي
وحدات GPU جاهزة للعمل
أفضل الأسعار

HyperAI Newsletters

اشترك في آخر تحديثاتنا
سنرسل لك أحدث التحديثات الأسبوعية إلى بريدك الإلكتروني في الساعة التاسعة من صباح كل يوم اثنين
مدعوم بواسطة MailChimp