الذاكرة طويلة المدى ثنائية الاتجاه/الذاكرة طويلة المدى ثنائية الاتجاه

تعريف

لقد أظهرت الشبكات العصبية العميقة نتائج متفوقة في العديد من المجالات مثل التعرف على الكلام، ومعالجة الصور، ومعالجة اللغة الطبيعية. باعتبارها أحد أشكال RNN، يمكن لـ LSTM تعلم التبعيات طويلة المدى في البيانات مقارنةً بـ RNN.

في عام 2005، اقترح جريفز دمج LSTM وBRNN لتشكيل BLSTM. بالمقارنة مع BRNN، يمكن لـ BLSTM التعامل بشكل أفضل مع مشاكل اختفاء التدرج والانفجار. في عام 2013، اقترح جريفز BLSTM العميق، والذي يمكنه استخراج الميزات وتمثيلها بشكل أفضل، كما أن التأثير يتفوق أيضًا على BLSTM.

تحليل التنمية

عنق الزجاجة

على عكس CNN، من الصعب معالجة شبكات السلاسل الزمنية مثل LSTM بالتوازي وبالتالي يصعب تسريعها باستخدام وحدات معالجة الرسوميات. علاوة على ذلك، ستصبح شبكات RNN و LSTMs مع التعرف المتكرر وعقد الذاكرة المضمنة الخاصة بها أقل استخدامًا ولن تكون قادرة على المنافسة مع الحلول المستندة إلى CNN، حيث تتفوق البنيات المتوازية على البنيات المتسلسلة.

اتجاه التنمية المستقبلية

لدى BLSTM العديد من اتجاهات التطوير:

• من المرجح أن يتم استبدال بوابات الإدخال والإخراج الخاصة بذاكرة LSTM ومتغيراتها BLSTM بذاكرات مساعدة قابلة للتفاضل؛

• الشبكات العصبية الأكثر تعقيدًا، مثل مزيج من الشبكات العصبية المختلفة (BLSTM+CNN).