منذ شهر واحد
حيل التحليل إلى عوامل لشبكات LSTM
Oleksii Kuchaiev; Boris Ginsburg

الملخص
نقدم طريقتين بسيطتين لخفض عدد المعلمات وتسريع تدريب شبكات الذاكرة القصيرة والطويلة الأجل (LSTM) الكبيرة: الأولى هي "تحليل المصفوفة حسب التصميم" لمصفوفة LSTM إلى حاصل ضرب مصفوفتين أصغر، والثانية هي تقسيم مصفوفة LSTM ومدخلاتها وأحالتها إلى مجموعات مستقلة. تسمح كلا الطريقتين بتدريب شبكات LSTM الكبيرة بشكل كبير أسرع لتحقيق درجة الحيرة القريبة من أفضل المستويات الحالية بينما يتم استخدام عدد أقل بكثير من معلمات الشبكة العصبية المتكررة (RNN).