ذاكرة طويلة تعبيرية لنمذجة التسلسلات

نقترح طريقة جديدة تُسمى الذاكرة التعبيرية الطويلة (LEM) لتعلم الارتباطات التسلسلية طويلة المدى. تتميز هذه الطريقة بأنها تعتمد على التدرج، ويمكنها معالجة المهام التسلسلية ذات الارتباطات طويلة المدى بكفاءة عالية، كما أنها كافية في التعبير عن نفسها لكي تكون قادرة على تعلم الخرائط الإدخال-الإخراج المعقدة. لاستنتاج LEM، نأخذ بعين الاعتبار نظامًا من المعادلات التفاضلية العادية متعددة المقاييس الزمنية، بالإضافة إلى تقسيم زمني مناسب لهذا النظام. بالنسبة لـ LEM، نشتق حدودًا دقيقة لتوضيح كيفية تخفيف مشكلة الانفجار والاختفاء في التدرجات، وهي تحدي معروف جيدًا للطرق المستندة إلى التدرج في تعلم المتتاليات المتكررة. كما نثبت أن LEM يمكنها تقريب فئة واسعة من النظم الديناميكية بدقة عالية. تظهر النتائج التجريبية لدينا، التي تتراوح بين تصنيف الصور والمسلسلات الزمنية وتنبؤ النظم الديناميكية وحتى تمييز الكلام ونمذجة اللغة، أن LEM تتفوق على أحدث شبكات العصبونات المتكررة والوحدات المتكررة ذات الأبواب والنموذج ذا الذاكرة قصيرة المدى طويلة.ملاحظات:Long Expressive Memory (LEM): تم حفظ المصطلح الأصلي بين قوسين بعد الترجمة.Multiscale ordinary differential equations: تم استخدام المصطلح "المعادلات التفاضلية العادية متعددة المقاييس الزمنية" للحفاظ على الدقة.Time-discretization: تم استخدام المصطلح "تقسيم زمني" وهو المصطلح الأكثر شيوعًا في العربية.Exploding and vanishing gradients problem: تم استخدام المصطلح "مشكلة الانفجار والاختفاء في التدرجات" وهو المصطلح الأكثر دقة في هذا السياق.Dynamical systems: تم استخدام المصطلح "النظم الديناميكية" وهو المصطلح الأكثر شيوعًا في العربية.Recurrent neural networks: تم استخدام المصطلح "شبكات العصبونات المتكررة".Gated recurrent units: تم استخدام المصطلح "الوحدات المتكررة ذات الأبواب".Long short-term memory models: تم استخدام المصطلح "النموذج ذا الذاكرة قصيرة المدى طويلة".