Les Équations différentielles ordinaires neuronales (NODEs) constituent une nouvelle catégorie de modèles qui transforment les données de manière continue au travers d'architectures à profondeur infinie. La nature continue des NODEs les rend particulièrement adaptés à l'apprentissage des dynamiques de systèmes physiques complexes. Alors que les travaux antérieurs se sont principalement concentrés sur les équations différentielles ordinaires du premier ordre, les dynamiques de nombreux systèmes, notamment en physique classique, sont régies par des lois du second ordre. Dans ce travail, nous considérons les Équations différentielles ordinaires neuronales du second ordre (SONODEs). Nous montrons comment la méthode de sensibilité adjointe peut être étendue aux SONODEs, et prouvons que l'optimisation d'un système d'ÉDOs couplées du premier ordre est équivalente tout en étant plus efficace sur le plan computationnel. En outre, nous approfondissons la compréhension théorique de la classe plus générale des NODEs augmentés (ANODEs) en démontrant qu'ils peuvent également apprendre des dynamiques d'ordre supérieur avec un nombre minimal de dimensions augmentées, au prix d'une perte d'interprétabilité. Cela indique que les avantages des ANODEs dépassent ceux offerts initialement par l'espace supplémentaire des dimensions augmentées. Enfin, nous comparons les SONODEs et les ANODEs sur des systèmes dynamiques synthétiques et réels, et montrons que les biais inductifs des premiers conduisent généralement à une convergence plus rapide et à de meilleures performances.