Neuronale gewöhnliche Differentialgleichungen (Neural Ordinary Differential Equations, NODEs) stellen eine neue Klasse von Modellen dar, die Daten durch kontinuierliche Architekturen mit unendlicher Tiefe transformieren. Die kontinuierliche Natur von NODEs hat sie besonders geeignet für die Modellierung der Dynamik komplexer physikalischer Systeme gemacht. Während frühere Arbeiten sich hauptsächlich auf gewöhnliche Differentialgleichungen erster Ordnung konzentrierten, werden die Dynamiken vieler Systeme – insbesondere in der klassischen Physik – durch zweite Ordnungsgesetze bestimmt. In dieser Arbeit betrachten wir zweite Ordnung neuronale Differentialgleichungen (Second Order Neural ODEs, SONODEs). Wir zeigen, wie die adjungierte Sensitivitätsmethode auf SONODEs erweitert werden kann, und beweisen, dass die Optimierung eines gekoppelten Systems erster Ordnung äquivalent ist und rechnerisch effizienter ist. Zudem erweitern wir das theoretische Verständnis der allgemeineren Klasse der erweiterten NODEs (Augmented NODEs, ANODEs), indem wir nachweisen, dass sie auch höhere Ordnungsdynamiken mit nur einer minimalen Anzahl erweiterter Dimensionen lernen können, allerdings zum Preis der Interpretierbarkeit. Dies deutet darauf hin, dass die Vorteile von ANODEs über den zusätzlichen Freiheitsgrad durch die erweiterten Dimensionen hinausgehen, wie ursprünglich angenommen. Schließlich vergleichen wir SONODEs und ANODEs anhand synthetischer und realer dynamischer Systeme und zeigen, dass die induktiven Vorurteile der ersteren typischerweise zu schnellerer Konvergenz und besserer Leistung führen.