تقنية WISE لمكافحة الهلوسة

تم اقتراح تقنية WISE (الحكمة لتخفيف الهلوسة) من قبل جامعة تشجيانغ في عام 2024. وتهدف إلى مكافحة ظاهرة الهلوسة في نماذج اللغة الكبيرة وتعزيز قدرات تحرير ذاكرة المعرفة في النموذج. نتائج الورقة ذات الصلة هيWISE: إعادة التفكير في ذاكرة المعرفة لتحرير النماذج اللغوية الكبيرة مدى الحياة"وقد تم قبولها من قبل NeurIPS (مؤتمر أنظمة معالجة المعلومات العصبية لعام 2024)."

ويتمثل جوهر هذه التكنولوجيا في آلية الذاكرة ثنائية المعلمات، والتي تحاكي تقسيم العمل بين نصفي الدماغ الأيمن والأيسر في الدماغ البشري في مهام مختلفة. يقوم WISE بتخزين المعرفة المدربة مسبقًا من خلال الذاكرة الرئيسية ويقدم ذاكرة جانبية لتخزين المعرفة المحررة خصيصًا. يمكن اعتبار هذه الذاكرة الجانبية بمثابة ذاكرة متوسطة المدى تجمع بين قدرة التعميم للذاكرة طويلة المدى وموثوقية وموقع ذاكرة العمل القائمة على الاسترجاع.

لتحقيق التحرير المستمر، صمم فريق البحث آلية تجزئة المعرفة، حيث يتم تخزين مجموعات مختلفة من التحرير في مساحات فرعية مختلفة من المعلمات ومن ثم يمكن دمجها في ذاكرة مشتركة دون تعارض. تُظهر التجارب المكثفة أن WISE قادر على التفوق على طرق تحرير النماذج السابقة والتغلب على الثالوث المستحيل في الإجابة على الأسئلة، وإزالة الهلوسة، وتحرير النموذج مدى الحياة للتعامل مع الحالات خارج التوزيع على هياكل نماذج اللغة الكبيرة الشائعة مثل GPT وLLaMA وMistral.