UnICORNN: نموذج متكرر لتعلم الارتباطات الزمنية الطويلة جداً

تصميم الشبكات العصبية التكرارية (RNNs) لمعالجة المدخلات المتسلسلة بدقة مع الاعتماديات طويلة الأمد يمثل تحديًا كبيرًا بسبب مشكلة الانفجار والاختفاء للمنحنيات (الغراديانتس). لتجاوز هذا، نقترح هندسة جديدة للشبكات العصبية التكرارية تعتمد على تقسيم حافظ للهيكل لنظام هاملتوني من المعادلات التفاضلية العادية من الدرجة الثانية التي تُمثِّل شبكات المذبذبات. النتيجة هي أن الشبكة العصبية التكرارية تكون سريعة، قابلة للعكس (في الزمن)، فعالة في استخدام الذاكرة، ونستعرض حدودًا دقيقةً على منحنيات الحالة الخفية لإثبات تخفيف مشكلة الانفجار والاختفاء للمنحنيات. تم تقديم مجموعة من التجارب لإظهار أن الشبكة العصبية التكرارية المقترحة توفر أداءً متميزًا في مجموعة متنوعة من مهام التعلم ذات الاعتمadiات طويلة الأمد (جداً).