المعادلات التفاضلية العادية العصبية

نقدم عائلة جديدة من نماذج الشبكات العصبية العميقة. بدلاً من تحديد تسلسل متقطع للطبقات الخفية، نقوم بتحديد مشتق الحالة الخفية باستخدام شبكة عصبية. يتم حساب مخرجات الشبكة باستخدام حلّال معادلات تفاضلية أسود الصندوق (black-box differential equation solver). هذه النماذج ذات العمق المستمر لديها تكلفة ذاكرة ثابتة، وتتكيف استراتيجيتها للتقييم مع كل إدخال، ويمكنها أن تتداول بشكل صريح بين الدقة العددية والسرعة. نوضح هذه الخصائص في شبكات البقايا ذات العمق المستمر وفي نماذج المتغيرات الكامنة المستمرة بالزمن. كما نبني جريان التطبيع المستمر، وهو نموذج مولّد يمكن تدريبه عن طريق الأرجحية القصوى دون تقسيم أو ترتيب أبعاد البيانات. فيما يتعلق بالتدريب، نوضح كيفية إجراء الانتشار العكسي بفعالية عبر أي حلّال للمعادلات التفاضلية الزمنية (ODE solver) دون الوصول إلى عملياته الداخلية. هذا يسمح بتدريب شامل للمعادلات التفاضلية الزمنية ضمن النماذج الأكبر.