Identités dans les Réseaux de Neurones Résiduels Profonds

Les réseaux de neurones à résidus profonds sont apparus comme une famille d'architectures extrêmement profondes présentant des performances de précision convaincantes et de bons comportements de convergence. Dans cet article, nous analysons les formulations de propagation derrière les blocs de construction résiduels, qui suggèrent que les signaux avant et arrière peuvent être propagés directement d'un bloc à n'importe quel autre bloc, lorsque des cartes d'identité sont utilisées comme connexions de saut et après l'activation post-addition. Une série d'expériences d'élimination progressive soutient l'importance de ces cartes d'identité. Cela nous motive à proposer une nouvelle unité résiduelle, qui facilite l'apprentissage et améliore la généralisation. Nous rapportons des résultats améliorés en utilisant un ResNet à 1001 couches sur CIFAR-10 (4,62 % d'erreur) et CIFAR-100, ainsi qu'un ResNet à 200 couches sur ImageNet. Le code est disponible à l'adresse suivante : https://github.com/KaimingHe/resnet-1k-layers