شبكات العصبيات المتكررة ليبشيتز

باعتبار الشبكات العصبية المتكررة (RNNs) أنظمة ديناميكية مستمرة زمنياً، نقترح وحدة متكررة تصف تطور الحالة الخفية بجزأين: مكون خطي جيد الفهم بالإضافة إلى عدم خطية ليبشيتز. يسهل هذا الشكل الوظيفي الخاص تحليل الاستقرار للسلوك على المدى الطويل لهذه الوحدة المتكررة باستخدام أدوات من نظرية الأنظمة غير الخطية. ومن ثم، يمكن اتخاذ قرارات تصميم هندسي قبل التجربة. يتم الحصول على شروط كافية للاستقرار العالمي للوحدة المتكررة، مما يحفز على وضع مخطط جديد لبناء مصفوفات الحالة الخفية إلى الحالة الخفية. أظهرت تجاربنا أن وحدة RNN ذات ليبشيتز يمكنها التفوق على الوحدات المتكررة الموجودة في مجموعة متنوعة من المهام القياسية، بما في ذلك مهام رؤية الكمبيوتر ونمذجة اللغة وتوقع الكلام. وأخيراً، من خلال تحليل يستند إلى الهيسين، أظهرنا أن وحدتنا المتكررة ذات ليبشيتز أكثر صلابة فيما يتعلق بالاضطرابات في الإدخال والمعامِلات مقارنة بأنواع أخرى من RNNs المستمرة زمنياً.