Invertierbare Residualnetzwerke

Wir zeigen, dass Standard-ResNet-Architekturen invertierbar gemacht werden können, was es erlaubt, das gleiche Modell für Klassifikation, Dichteabschätzung und Generierung zu verwenden. Üblicherweise erfordert die Erzwingung der Invertierbarkeit die Aufteilung von Dimensionen oder Einschränkungen der Netzarchitekturen. Im Gegensatz dazu benötigt unser Ansatz lediglich die Hinzufügung eines einfachen Normalisierungsschritts während des Trainings, der bereits in Standard-Frameworks verfügbar ist. Invertierbare ResNets definieren ein generatives Modell, das durch Maximum-Likelihood-Schätzung auf unbeschrifteten Daten trainiert werden kann. Um Likelihoods zu berechnen, führen wir eine handhabbare Approximation des Jacobideterminanten-Logarithmus eines Residualblocks ein. Unsere empirische Auswertung zeigt, dass invertierbare ResNets sowohl mit den besten bildbasierten Klassifikatoren als auch mit flussbasierten generativen Modellen wettbewerbsfähig sind – etwas, das bisher mit keiner einzelnen Architektur erreicht wurde.