EfficientNet : Réflexion sur l'échelonnage des modèles pour les réseaux de neurones convolutifs

Les Réseaux Neuronaux Convolutifs (ConvNets) sont généralement développés avec un budget de ressources fixe, puis évolués pour améliorer la précision lorsque des ressources supplémentaires sont disponibles. Dans cet article, nous étudions systématiquement l'évolution des modèles et identifions que le soin apporté à l'équilibre entre la profondeur du réseau, sa largeur et sa résolution peut conduire à de meilleures performances. Sur la base de cette observation, nous proposons une nouvelle méthode d'évolution qui uniformise l'échelle de toutes les dimensions de profondeur/largeur/résolution en utilisant un coefficient composite simple mais très efficace. Nous démontrons l'efficacité de cette méthode pour l'évolution des MobileNets et des ResNet.Pour aller encore plus loin, nous utilisons une recherche d'architecture neuronale pour concevoir un nouveau réseau de base et le faire évoluer afin d'obtenir une famille de modèles appelée EfficientNets, qui atteignent une précision et une efficacité bien supérieures aux ConvNets précédents. En particulier, notre EfficientNet-B7 atteint un taux de précision top-1 record de 84,3 % sur ImageNet, tout en étant 8,4 fois plus petit et 6,1 fois plus rapide lors des inférences que le meilleur ConvNet existant. Nos EfficientNets se prêtent également bien au transfert d'apprentissage et atteignent des taux de précision records sur CIFAR-100 (91,7 %), Flowers (98,8 %) et trois autres jeux de données d'apprentissage par transfert, avec un ordre de grandeur moins de paramètres. Le code source est disponible à l'adresse suivante : https://github.com/tensorflow/tpu/tree/master/models/official/efficientnet.