تُعدّ المعادلات التفاضلية العصبية (NODEs) فئة جديدة من النماذج التي تقوم بتحويل البيانات بشكل مستمر من خلال بنى ذات عمق لانهائي. وقد جعلت الطبيعة المستمرة لـ NODEs هذه النماذج مناسبة بشكل خاص لتعلم ديناميات الأنظمة الفيزيائية المعقدة. في حين ركزت الدراسات السابقة بشكل رئيسي على المعادلات التفاضلية العادية من الدرجة الأولى، فإن ديناميات العديد من الأنظمة، وبخاصة في الفيزياء الكلاسيكية، تخضع لقوانين من الدرجة الثانية. في هذا العمل، نتناول المعادلات التفاضلية العصبية من الدرجة الثانية (SONODEs). نوضح كيف يمكن توسيع طريقة الحساسية المترافقة (adjoint sensitivity method) لتشمل SONODEs، ونُثبت أن عملية التحسين عبر نظام من المعادلات التفاضلية العادية من الدرجة الأولى المرتبطة ببعضها البعض تكون مكافئة من حيث النتائج، ولكنها أكثر كفاءة من الناحية الحسابية. علاوةً على ذلك، نوسع الفهم النظري للصيغة الأوسع من نماذج NODE الموسعة (ANODEs) من خلال إظهار قدرتها على تعلم الديناميات من درجات أعلى باستخدام عدد ضئيل جدًا من الأبعاد المُضافة، ولكن بثمن تقليل القدرة على التفسير. ويُشير هذا إلى أن المزايا التي تتمتع بها نماذج ANODEs تمتد إلى ما هو أبعد من المساحة الإضافية التي توفرها الأبعاد المُضافة، كما كان يُفترض في البداية. وأخيرًا، نُقارن بين SONODEs وANODEs على أنظمة ديناميكية اصطناعية وحقيقية، ونُظهر أن الانحيازات الاستقرائية (inductive biases) لـ SONODEs تؤدي عادةً إلى تدريب أسرع وأداءً أفضل.