Orion Weller Michael Boratko Iftekhar Naim Jinhyuk Lee

الملخص

لقد تم تكليف التضمينات المتجهة بزيادة مطردة في عدد مهام الاسترجاع على مر السنين، مع ظهور مبكر في استخدامها للاستنتاج، واتباع التعليمات، والبرمجة، وغيرها. تُجبر هذه المعايير الجديدة النماذج على العمل مع أي استعلام وأي مفهوم للصلة يمكن تزويده. وعلى الرغم من أن الدراسات السابقة أشارت إلى القيود النظرية المحيطة بالتضمينات المتجهة، إلا أن هناك افتراضًا شائعًا بأن هذه الصعوبات ناتجة حصريًا عن استعلامات غير واقعية، وأنها يمكن التغلب عليها من خلال تحسين بيانات التدريب وزيادة حجم النماذج. في هذا العمل، نُظهر أننا قد نواجه هذه القيود النظرية في بيئات واقعية، حتى مع استخدام استعلامات بسيطة جدًا. ونربط بين نتائج معروفة في نظرية التعلم، موضحين أن عدد المجموعات الجزئية من الوثائق التي يمكن أن تُعاد كنتائج لاستعلام ما محدود ببعد التضمين. ونُظهر تجريبيًا أن هذه النتيجة تظل صحيحة حتى عند تقييد الحالة إلى k=2، مع تحسين مباشر على مجموعة الاختبار باستخدام تضمينات مُعاملية حرة. ثم نُنشئ مجموعة بيانات واقعية تُسمى LIMIT، والتي تُختبر فيها النماذج بناءً على هذه النتائج النظرية، ونلاحظ أن النماذج الحديثة جدًا تفشل في هذه المجموعة رغم بساطة طبيعة المهمة. يُظهر عملنا حدود نماذج التضمينات ضمن النموذج الحالي القائم على المتجه الواحد، ويُحث على بحوث مستقبلية لتطوير أساليب قادرة على التغلب على هذه القيود الجوهرية.