Neuronale gewöhnliche Differentialgleichungen

Wir stellen eine neue Familie von tiefen neuronalen Netzwerkmodellen vor. Anstatt eine diskrete Sequenz verborgener Schichten zu spezifizieren, parametrisieren wir die Ableitung des verborgenen Zustands mithilfe eines neuronalen Netzes. Die Ausgabe des Netzes wird unter Verwendung eines Black-Box-Differentialgleichungslösers berechnet. Diese kontinuierlich-tiefe Modelle haben einen konstanten Speicherbedarf, passen ihre Auswertungsstrategie an jede Eingabe an und können explizit zwischen numerischer Genauigkeit und Geschwindigkeit handeln. Wir demonstrieren diese Eigenschaften in kontinuierlich-tiefen Residualnetzen und kontinuierlichen Zeitmodellen mit latente Variablen. Darüber hinaus bauen wir kontinuierliche Normalizing Flows, ein generatives Modell, das durch Maximum-Likelihood-Schätzung trainiert werden kann, ohne die Daten-Dimensionen zu partitionieren oder zu ordnen. Für das Training zeigen wir, wie man skalierbar durch jeden Differentialgleichungslöser (ODE Solver) zurückpropagieren kann, ohne auf dessen interne Operationen zugreifen zu müssen. Dies ermöglicht das End-to-End-Training von ODEs innerhalb größerer Modelle.