Inception-v4, Inception-ResNet et l'impact des connexions résiduelles sur l'apprentissage

Les réseaux de neurones à convolution très profonds ont été au cœur des plus grandes avancées dans les performances de reconnaissance d'images ces dernières années. Un exemple en est l'architecture Inception, qui a montré qu'elle pouvait atteindre de très bonnes performances avec un coût computationnel relativement faible. Récemment, l'introduction de connexions résiduelles en conjonction avec une architecture plus traditionnelle a permis d'obtenir des performances d'état de l'art lors du défi ILSVRC 2015 ; ses performances étaient similaires à celles du réseau Inception-v3 de dernière génération. Cela soulève la question de savoir s'il y a un avantage à combiner l'architecture Inception avec des connexions résiduelles. Nous apportons ici une preuve empirique claire que l'entraînement avec des connexions résiduelles accélère considérablement l'entraînement des réseaux Inception. Il existe également quelques preuves que les réseaux Inception résiduels surpassent légèrement les réseaux Inception similaires sans connexions résiduelles. Nous présentons également plusieurs nouvelles architectures rationalisées pour les réseaux Inception résiduels et non résiduels. Ces variantes améliorent significativement les performances de reconnaissance mono-image sur la tâche de classification ILSVRC 2012. Nous démontrons en outre comment un échelonnage d'activation approprié stabilise l'entraînement des réseaux Inception résiduels très larges. Avec un ensemble composé de trois réseaux résiduels et un Inception-v4, nous obtenons une erreur top-5 de 3,08 % sur l'ensemble de test du défi de classification ImageNet (CLS).