HyperAIHyperAI

Command Palette

Search for a command to run...

كيفية تدريب نموذج ODE العصبي: عالم الت régularisation الجاكوبيانية والديناميكية

Chris Finlay Jörn-Henrik Jacobsen Levon Nurbekyan Adam M Oberman

الملخص

يُعد تدريب النماذج العصبية المُشَكَّلة كمعادلات تفاضلية عادية (Neural ODEs) على مجموعات بيانات كبيرة أمرًا غير عملي بسبب الحاجة إلى السماح للمُحَلِّل العددي القائم على التغير التلقائي (adaptive numerical ODE solver) بتعديل حجم الخطوة إلى قيم صغيرة جدًا. في الممارسة العملية، يؤدي هذا إلى ديناميكيات تشبه عدد مئات أو حتى آلاف الطبقات. في هذه الورقة، نتغلب على هذه الصعوبة الظاهرة من خلال تقديم تركيب نظري مدعوم بتنظيمين: تنظيم النقل الأمثل (optimal transport) وتنظيم الاستقرار (stability regularization)، اللذين يشجعان النماذج العصبية المُشَكَّلة كمعادلات تفاضلية عادية على تفضيل ديناميكيات أبسط من بين جميع الديناميات التي تحل المشكلة بكفاءة. تؤدي الديناميات الأبسط إلى تقارب أسرع وعدد أقل من التجزئيات (discretizations) في المُحلِّل، مما يقلل بشكل كبير من الوقت الحقيقي (wall-clock time) دون التضحية بالأداء. يمكّننا هذا النهج من تدريب نماذج توليدية تعتمد على Neural ODEs لتحقيق نفس الأداء الذي تحققه الديناميات غير المُنظَّمة، مع تقليل كبير في وقت التدريب. وبذلك، نقترب أكثر من جعل Neural ODEs ذات صلة عملية في التطبيقات على نطاق واسع.


بناء الذكاء الاصطناعي بالذكاء الاصطناعي

من الفكرة إلى الإطلاق — سرّع تطوير الذكاء الاصطناعي الخاص بك مع المساعدة البرمجية المجانية بالذكاء الاصطناعي، وبيئة جاهزة للاستخدام، وأفضل أسعار لوحدات معالجة الرسومات.

البرمجة التعاونية باستخدام الذكاء الاصطناعي
وحدات GPU جاهزة للعمل
أفضل الأسعار

HyperAI Newsletters

اشترك في آخر تحديثاتنا
سنرسل لك أحدث التحديثات الأسبوعية إلى بريدك الإلكتروني في الساعة التاسعة من صباح كل يوم اثنين
مدعوم بواسطة MailChimp