Gardons les choses simples, en utilisant des architectures simples pour surpasser des architectures plus profondes et complexes.

Les principaux réseaux de neurones convolutifs (CNN) gagnants, tels qu'AlexNet, VGGNet, ResNet et GoogleNet, comprennent des dizaines à des centaines de millions de paramètres, ce qui entraîne une charge de calcul et de mémoire considérable. Cela limite leur utilisation pratique pour l'entraînement, l'optimisation et l'efficacité mémoire. À l'inverse, les architectures légères, proposées pour résoudre ce problème, souffrent principalement d'une faible précision. Ces inefficacités proviennent en grande partie d'une procédure ad hoc. Nous proposons une architecture simple appelée SimpleNet, basée sur un ensemble de principes de conception. Nous montrons empiriquement qu'une architecture bien conçue mais simple et raisonnablement profonde peut se comparer aux architectures plus profondes et complexes. SimpleNet offre un bon compromis entre l'efficacité du calcul/mémoire et la précision. Notre architecture simple à 13 couches surpassent la plupart des architectures plus profondes et complexes actuelles telles que VGGNet, ResNet et GoogleNet sur plusieurs benchmarks reconnus tout en ayant 2 à 25 fois moins de paramètres et d'opérations. Cela la rend très pratique pour les systèmes embarqués ou les systèmes avec des limitations de calcul et de mémoire. Nous avons obtenu des résultats d'état de l'art sur CIFAR10 en surpassant plusieurs architectures plus lourdes, des résultats proches de l'état de l'art sur MNIST et des résultats compétitifs sur CIFAR100 et SVHN. Nous avons également surpassé les architectures beaucoup plus grandes et profondes comme VGGNet ainsi que les variantes populaires de ResNets parmi d'autres sur le jeu de données ImageNet. Les modèles sont disponibles à : https://github.com/Coderx7/SimpleNet