Efficient-CapsNet : Réseau de capsules avec routage par attention auto-associative

Les réseaux neuronaux profonds à convolution, aidés par des stratégies de conception architecturale, utilisent abondamment des techniques d’augmentation de données et des couches comportant un grand nombre de cartes de caractéristiques afin d’incorporer les transformations d’objets. Cette approche s’avère très inefficace, et pour de grands ensembles de données, elle entraîne une redondance massive des détecteurs de caractéristiques. Bien que les réseaux de capsules soient encore à un stade précoce de développement, ils constituent une solution prometteuse pour étendre les réseaux convolutionnels actuels et doter la perception visuelle artificielle d’un mécanisme permettant de coder de manière plus efficace toutes les transformations affines des caractéristiques. En effet, un réseau de capsules fonctionnant correctement devrait théoriquement atteindre de meilleurs résultats avec un nombre de paramètres considérablement réduit, grâce à sa capacité intrinsèque à généraliser à de nouvelles perspectives. Pourtant, cet aspect pertinent a reçu peu d’attention. Dans cet article, nous étudions l’efficacité des réseaux de capsules, et en poussant leurs capacités à leurs limites grâce à une architecture extrême comptant à peine 160 K paramètres, nous démontrons que l’architecture proposée parvient encore à atteindre des résultats de pointe sur trois jeux de données différents, avec seulement 2 % du nombre de paramètres d’origine du CapsNet. En outre, nous remplaçons l’algorithme de routage dynamique par une nouvelle méthode de routage non itérative, fortement parallélisable, capable de s’adapter aisément à un nombre réduit de capsules. Des expérimentations étendues menées sur d’autres implémentations de réseaux de capsules ont confirmé l’efficacité de notre approche et la capacité des réseaux de capsules à encoder efficacement des représentations visuelles plus propices à la généralisation.