Réseaux de Résidus Inversibles

Nous démontrons que les architectures standard de ResNet peuvent être rendues inversibles, permettant d'utiliser le même modèle pour la classification, l'estimation de densité et la génération. Généralement, l'imposition de l'inversibilité nécessite une partition des dimensions ou des restrictions sur les architectures de réseau. En revanche, notre approche ne requiert que l'ajout d'une étape de normalisation simple lors de l'entraînement, déjà disponible dans les frameworks standards. Les ResNets inversibles définissent un modèle génératif qui peut être entraîné par vraisemblance maximale sur des données non étiquetées. Pour calculer les vraisemblances, nous introduisons une approximation réalisable du logarithme du déterminant jacobien d'un bloc résiduel. Notre évaluation empirique montre que les ResNets inversibles se comparent favorablement aux classifieurs d'images de pointe et aux modèles génératifs basés sur les flux, ce qui n'avait jamais été réalisé auparavant avec une seule architecture.