HyperAIHyperAI
منذ شهر واحد

حيل التحليل إلى عوامل لشبكات LSTM

Oleksii Kuchaiev; Boris Ginsburg
حيل التحليل إلى عوامل لشبكات LSTM
الملخص

نقدم طريقتين بسيطتين لخفض عدد المعلمات وتسريع تدريب شبكات الذاكرة القصيرة والطويلة الأجل (LSTM) الكبيرة: الأولى هي "تحليل المصفوفة حسب التصميم" لمصفوفة LSTM إلى حاصل ضرب مصفوفتين أصغر، والثانية هي تقسيم مصفوفة LSTM ومدخلاتها وأحالتها إلى مجموعات مستقلة. تسمح كلا الطريقتين بتدريب شبكات LSTM الكبيرة بشكل كبير أسرع لتحقيق درجة الحيرة القريبة من أفضل المستويات الحالية بينما يتم استخدام عدد أقل بكثير من معلمات الشبكة العصبية المتكررة (RNN).

حيل التحليل إلى عوامل لشبكات LSTM | أحدث الأوراق البحثية | HyperAI