Self-RAG: التعلّم على الاسترجاع والإنشاء والتحقيق من خلال التفكير الذاتي

على الرغم من قدراتها الاستثنائية، فإن النماذج اللغوية الكبيرة (LLMs) غالبًا ما تُنتج إجابات تحتوي على أخطاء واقعية بسبب اعتمادها الوحيد على المعرفة المُعلَّمة ضمن المعاملات. أما تقنية التوليد المُعزَّز بالاسترجاع (RAG)، فهي منهجية مؤقتة تُعزز النماذج اللغوية من خلال استرجاع المعرفة ذات الصلة، وتُقلل من هذه المشكلات. لكن الاسترجاع العشوائي ودمج عدد ثابت من الفقرات المسترجعة، بغض النظر عما إذا كان الاسترجاع ضروريًا أو كانت الفقرات ذات صلة، يُقلل من مرونة النموذج أو قد يؤدي إلى توليد إجابات غير مفيدة. نقدّم إطارًا جديدًا يُسمى التوليد المُعزَّز بالاسترجاع التأملي الذاتي (Self-RAG)، الذي يُحسّن جودة النموذج اللغوي ودقة معلوماته من خلال الاسترجاع والتأمّل الذاتي. يُدرّب هذا الإطار نموذجًا لغويًا واحدًا غير محدد (أي أي نموذج لغوي) يُسترجع الفقرات عند الحاجة بشكل تكيّفي، ويُولِّد ويُتأمَّل في الفقرات المسترجعة، وكذلك في إنتاجاته الخاصة، باستخدام رموز خاصة تُسمى "رموز التأمّل". يُمكن لعملية إنتاج رموز التأمّل التحكم في النموذج أثناء مرحلة الاستنتاج، مما يمكّنه من تعديل سلوكه بما يتناسب مع متطلبات مهام متنوعة. أظهرت التجارب أن Self-RAG (باستخدام نماذج بـ 7B و13B معامل) يتفوّق بشكل ملحوظ على أحدث النماذج اللغوية الكبيرة والأنظمة المُعزَّزة بالاسترجاع في مجموعة متنوعة من المهام. وبشكل خاص، يتفوّق Self-RAG على ChatGPT والنموذج المُعزَّز بالاسترجاع من Llama2-chat في مهام الاستجابة على أسئلة في مجالات عامة، والتفكير التحليلي، وتحقق الحقائق، كما يُظهر تحسينات كبيرة في دقة المعلومات والاقتباسات عند إنتاج نصوص طويلة مقارنةً بهذه النماذج.