Réseau en réseau avec normalisation par lots et Maxout

Ce rapport présente une nouvelle architecture profonde appelée Maxout Network In Network (MIN), capable d'améliorer la discernabilité du modèle et de faciliter le processus d'abstraction des informations au sein du champ récepteur. Le réseau proposé adopte le cadre de la structure Network In Network récemment développée, qui fait glisser un approximateur universel, à savoir un perceptron multicouche (MLP) avec unités rectificatrices, pour extraire des caractéristiques. À la place de l'MLP traditionnel, nous utilisons un MLP maxout pour apprendre une variété de fonctions d'activation linéaires par morceaux et pour atténuer le problème des gradients disparaissants qui peut survenir lors de l'utilisation d'unités rectificatrices. De plus, la normalisation par lots est appliquée pour réduire la saturation des unités maxout en préconditionnant le modèle, tandis que la technique du dropout est utilisée pour éviter le surapprentissage. Enfin, le regroupement moyen est utilisé dans toutes les couches de regroupement afin de régulariser le MLP maxout, ce qui permet de faciliter l'abstraction des informations dans chaque champ récepteur tout en tolérant les changements de position des objets. Étant donné que le regroupement moyen conserve toutes les caractéristiques dans le patch local, le modèle MIN proposé peut imposer la suppression des informations non pertinentes pendant l'apprentissage. Nos expériences ont démontré des performances de classification de pointe lorsque le modèle MIN a été appliqué aux jeux de données MNIST, CIFAR-10 et CIFAR-100, ainsi que des performances comparables sur le jeu de données SVHN.