تَوْزيع تدريب وحدة الذاكرة ليجندري

في الآونة الأخيرة، تم اقتراح شبكة عصبية متكررة جديدة تُسمى وحدة الذاكرة ليجندرية (LMU) وأظهرت تحقيق أداء متفوق على عدة مجموعات بيانات معيارية. في هذا البحث، نستفيد من المكون ذي الذاكرة الخطي الثابت بمرور الوقت (LTI) في وحدة الذاكرة ليجندرية لبناء نسخة مبسطة يمكن توازيها أثناء التدريب (وإلا يتم تنفيذها كشبكة عصبية متكررة أثناء الاستدلال)، مما يتجاوز أحد القيود المعروفة لتدريب الشبكات العصبية المتكررة على معالجات الوحدات الرسومية (GPUs). نوضح أن هذه الإعادة الصياغة التي تعين على التوازي، والتي يمكن تطبيقها بشكل عام على أي شبكة عميقة تكون مكوناتها المتكررة خطية، تجعل التدريب أسرع بمقدار يصل إلى 200 مرة. ثانيًا، للتحقق من فائدتها، نقارن أدائها مع الأداء الأصلي لوحدة الذاكرة ليجندرية ومع مجموعة متنوعة من شبكات LSTM والترانسفورمر المنشورة على سبعة مقاييس مختلفة، تتراوح بين psMNIST وتحليل المشاعر والترجمة الآلية. نثبت أن نماذجنا تظهر أداءً أفضل على جميع المجموعات البيانات، وفي كثير من الأحيان باستخدام عدد أقل من المعلمات. على سبيل المثال، يحدد LMU الخاص بنا نتيجة جديدة متفوقة في psMNIST ويستخدم نصف المعلمات بينما يتفوق على نماذج DistilBERT وLSTM في تحليل المشاعر لـ IMDB.