Réseaux de Chemins Concurrents Profonds

Dans la conception d'architectures neuronales profondes, des études récentes ont démontré les avantages de regrouper des sous-réseaux au sein d'un réseau plus large. Par exemple, l'architecture Inception intègre des sous-réseaux à plusieurs échelles, et le réseau résiduel peut être considéré comme une unité résiduelle qui combine un sous-réseau résiduel avec un raccourci identité. Dans ce travail, nous adoptons cette observation et proposons le réseau de chemins concurrentiels (Competitive Pathway Network, CoPaNet). Le CoPaNet est composé d'une pile d'unités de chemins concurrentiels, chaque unité contenant plusieurs sous-réseaux résiduels parallèles suivis d'une opération maximale pour la compétition des caractéristiques. Ce mécanisme améliore les capacités du modèle en apprenant une variété de caractéristiques dans les sous-réseaux. La stratégie proposée montre explicitement que les caractéristiques se propagent à travers les chemins selon divers schémas de routage, ce qui est appelé l'encodage de chemins de l'information catégorielle. De plus, un raccourci inter-blocs peut être ajouté au CoPaNet pour encourager la réutilisation des caractéristiques. Nous avons évalué le CoPaNet proposé sur quatre benchmarks de reconnaissance d'objets : CIFAR-10, CIFAR-100, SVHN et ImageNet. Le CoPaNet a obtenu des résultats à l'état de l'art ou comparables en utilisant des quantités similaires de paramètres. Le code du CoPaNet est disponible à l'adresse suivante : https://github.com/JiaRenChang/CoPaNet.