EfficientNetV2 : des modèles plus petits et un entraînement plus rapide

Cet article présente EfficientNetV2, une nouvelle famille de réseaux convolutionnels offrant une vitesse d’entraînement plus rapide et une meilleure efficacité en termes de paramètres par rapport aux modèles précédents. Pour concevoir cette famille de modèles, nous avons combiné une recherche d’architecture neuronale consciente de l’entraînement avec une stratégie d’agrandissement, afin d’optimiser simultanément la vitesse d’entraînement et l’efficacité des paramètres. Les modèles ont été découverts dans un espace de recherche enrichi par de nouvelles opérations, telles que Fused-MBConv. Nos expérimentations montrent que les modèles EfficientNetV2 s’entraînent considérablement plus rapidement que les modèles de pointe, tout en étant jusqu’à 6,8 fois plus petits.Notre entraînement peut être encore accéléré en augmentant progressivement la taille des images pendant l’apprentissage, mais cela entraîne souvent une baisse de précision. Pour compenser cette perte de performance, nous proposons d’ajuster de manière adaptative la régularisation (par exemple, le dropout et les augmentations de données), de sorte à atteindre à la fois un entraînement rapide et une bonne précision.Grâce à cette approche d’apprentissage progressif, EfficientNetV2 surpasse significativement les modèles antérieurs sur les jeux de données ImageNet, CIFAR, Cars et Flowers. En pré-entraînement sur le même jeu ImageNet21k, EfficientNetV2 atteint une précision top-1 de 87,3 % sur ImageNet ILSVRC2012, dépassant ainsi le récent modèle ViT de 2,0 points de précision, tout en s’entraînant 5 à 11 fois plus vite, avec les mêmes ressources informatiques. Le code sera disponible à l’adresse suivante : https://github.com/google/automl/tree/master/efficientnetv2.