كيفية تدريب نموذج ODE العصبي: عالم الت régularisation الجاكوبيانية والديناميكية

يُعد تدريب النماذج العصبية المُشَكَّلة كمعادلات تفاضلية عادية (Neural ODEs) على مجموعات بيانات كبيرة أمرًا غير عملي بسبب الحاجة إلى السماح للمُحَلِّل العددي القائم على التغير التلقائي (adaptive numerical ODE solver) بتعديل حجم الخطوة إلى قيم صغيرة جدًا. في الممارسة العملية، يؤدي هذا إلى ديناميكيات تشبه عدد مئات أو حتى آلاف الطبقات. في هذه الورقة، نتغلب على هذه الصعوبة الظاهرة من خلال تقديم تركيب نظري مدعوم بتنظيمين: تنظيم النقل الأمثل (optimal transport) وتنظيم الاستقرار (stability regularization)، اللذين يشجعان النماذج العصبية المُشَكَّلة كمعادلات تفاضلية عادية على تفضيل ديناميكيات أبسط من بين جميع الديناميات التي تحل المشكلة بكفاءة. تؤدي الديناميات الأبسط إلى تقارب أسرع وعدد أقل من التجزئيات (discretizations) في المُحلِّل، مما يقلل بشكل كبير من الوقت الحقيقي (wall-clock time) دون التضحية بالأداء. يمكّننا هذا النهج من تدريب نماذج توليدية تعتمد على Neural ODEs لتحقيق نفس الأداء الذي تحققه الديناميات غير المُنظَّمة، مع تقليل كبير في وقت التدريب. وبذلك، نقترب أكثر من جعل Neural ODEs ذات صلة عملية في التطبيقات على نطاق واسع.