FBNetV2 : Recherche différentiable d'architecture de réseau neuronal pour les dimensions spatiales et canalaires

La recherche d'architecture neuronale différentiable (DNAS) a démontré un succès remarquable dans la conception d'architectures de réseaux neuronaux performantes et efficaces. Toutefois, l'espace de recherche de la DNAS basée sur DARTS reste relativement restreint par rapport à d'autres méthodes, car toutes les couches candidates du réseau doivent être explicitement instanciées en mémoire. Pour surmonter cette limitation, nous proposons une variante de DNAS à la fois plus efficace en mémoire et en calcul : DMaskingNAS. Cette méthode étend l'espace de recherche jusqu'à $10^{14}$ fois par rapport à la DNAS conventionnelle, en permettant des recherches sur des dimensions spatiales et canaliques autrement prohibitives, telles que la résolution d'entrée et le nombre de filtres. Nous introduisons un mécanisme de masquage pour la réutilisation des cartes de caractéristiques, garantissant que les coûts mémoire et computationnels restent pratiquement constants malgré l'expansion de l'espace de recherche. En outre, nous utilisons une propagation efficace des formes afin de maximiser l'exactitude par FLOP ou par paramètre. Les architectures FBNetV2 obtenues surpassent toutes les architectures antérieures en termes de performance. Avec jusqu'à 421 fois moins de coût de recherche, DMaskingNAS découvre des modèles offrant une précision supérieure de 0,9 %, tout en réduisant de 15 % le nombre de FLOPs par rapport à MobileNetV3-Small ; et avec une précision similaire, elle réduit de 20 % les FLOPs par rapport à Efficient-B0. De plus, nos modèles FBNetV2 surpassent MobileNetV3 de 2,6 % en précision, tout en conservant une taille de modèle équivalente. Les modèles FBNetV2 sont disponibles en open source sur https://github.com/facebookresearch/mobile-vision.