$\infty$-former: نموذج ذاكرة لانهائية للتحويل

تعجز نماذج الترانسفورمر عن نمذجة الذاكرة طويلة الأمد بشكل فعّال، نظرًا لزيادة كمية الحسابات المطلوبة مع طول السياق. وعلى الرغم من اقتراح تنويعات لتحسين كفاءة الترانسفورمر، إلا أن جميعها يمتلك قدرة ذاكرة محدودة، مما يجبرها على التخلص من المعلومات القديمة. في هذه الورقة، نُقدّم نموذج $\infty$-former، الذي يُطيل نموذج الترانسفورمر الأصلي بذاكرة طويلة الأمد غير محدودة. وباستخدام آلية انتباه في الفضاء المستمر للتركيز على الذاكرة طويلة الأمد، تصبح تعقيدات انتباه $\infty$-former مستقلة عن طول السياق، حيث يتم التنازل عن طول الذاكرة مقابل الدقة. وللتحكم في أماكن اهتمام الدقة أكثر، يُحافظ $\infty$-former على "ذكريات ملتصقة" قادرة على نمذجة سياقات طويلة بلا حدود مع الحفاظ على ميزانية الحساب ثابتة. وقد أظهرت التجارب على مهام ترتيب اصطناعية، ونمذجة اللغة، وإنشاء محادثات مبنية على المستندات، قدرة $\infty$-former على الاحتفاظ بالمعلومات من التسلسلات الطويلة.