الشبكات العصبية الدائرية للمشاركة في المعلمات

يمكن تفسير نجاح النماذج اللغوية الكبيرة مثل GPT بفضل قدرتها على التنبؤ بكفاءة بالرمز التالي في التسلسل. ومع ذلك، تعتمد هذه النماذج على جهد حسابي مستمر بغض النظر عن تعقيد الرمز الذي يتم التنبؤ به، مما يُفقِدُها القدرة على التحسين التكراري. في هذه الورقة، نُقدِّم شبكة عصبية دائرية جديدة، تحقق أداءً أفضل من خلال استخدام وقت حساب أطول دون زيادة حجم النموذج. تعتمد طريقةنا على إعادة معالجة المدخلات متعددة المرات، وتحسين التنبؤ من خلال تكرار الدوران عبر جزء من النموذج باستخدام اتصالات متبقية. ونُظهر فعالية هذه الطريقة من خلال تجارب مقارنة بين إصدارات GPT-2 والنماذج الدائرية التي قدمتها، حيث تُظهر تحسينات في الأداء في مهام نمذجة اللغة مع الحفاظ على عدد مماثل من المعاملات. وبشكل مهم، تُحقَّق هذه التحسينات دون الحاجة إلى بيانات تدريب إضافية.