HyperAIHyperAI
منذ 2 أشهر

وحدة الذاكرة الدوارة

Rumen Dangovski; Li Jing; Marin Soljacic
وحدة الذاكرة الدوارة
الملخص

المفاهيم المتعلقة بمصفوفات التطور الموحدة والذاكرة المرتبطة قد رفعت مستوى شبكات العصب المتكررة (RNN) إلى أداء متميز في مجموعة متنوعة من المهام التسلسلية. ومع ذلك، لا تزال شبكات RNN لديها قدرة محدودة على التعامل مع الذاكرة طويلة الأجل. لتجاوز هذا الضعف، يتم استخدام تقنيات خارجية مثل آليات الانتباه في أكثر تطبيقات RNN نجاحًا. في هذه الورقة البحثية، نقترح نموذجًا جديدًا لشبكات RNN يجمع بين أفضل الأساليب الحالية: وحدة الذاكرة الدوارة (RUM). جوهر وحدة RUM هو عملية الدوران التي تكون، بطبيعتها، مصفوفة موحدة، مما يوفر للهياكل قوة التعلم للارتباطات طويلة الأجل عن طريق التغلب على مشكلتي الانخفاض والزيادة المفرطة في المنحنيات. بالإضافة إلى ذلك، تعمل الوحدة الدوارة أيضًا كذاكرة مرتبطة. نقيم نموذجنا على مهام الذاكرة الصناعية، وإجابات الأسئلة، ونمذجة اللغة. يتعلم نموذج RUM مهمة نسخ الذاكرة بشكل كامل ويحسن النتيجة الحالية الأفضل في مهمة الاستدعاء. أداء RUM في مهمة إجابات الأسئلة bAbI مماثل لأداء النماذج ذات آليات الانتباه. كما أننا نحسن النتيجة الحالية الأفضل إلى خسارة 1.189 بت لكل حرف (BPC) في مهمة Penn Treebank (PTB) على المستوى الحروفي، مما يدل على تطبيقات RUM على البيانات التسلسلية الواقعية. تعد كونية بناءنا، الذي يقع في صميم شبكات RNN، أساسًا واعدًا لنمذجة اللغة والتعرف على الكلام والترجمة الآلية.

وحدة الذاكرة الدوارة | الأوراق البحثية | HyperAI