Espace de recherche densément connecté pour une recherche d'architecture neuronale plus flexible

La recherche d'architecture neuronale (Neural Architecture Search, NAS) a considérablement avancé le développement de la conception des réseaux neuronaux. Nous reprenons l'étude de l'espace de recherche utilisé dans la plupart des méthodes NAS précédentes et constatons que le nombre et les largeurs des blocs sont définis manuellement. Cependant, le nombre de blocs et leurs largeurs déterminent l'échelle du réseau (profondeur et largeur) et ont une influence significative sur la précision ainsi que sur le coût du modèle (FLOPs/latence). Dans cet article, nous proposons de rechercher le nombre de blocs et leurs largeurs en concevant un espace de recherche densément connecté, à savoir DenseNAS. L'espace de recherche nouveau est représenté par un super-réseau dense, qui est construit à partir des blocs de routage que nous avons conçus. Dans ce super-réseau, les blocs de routage sont densément connectés et nous cherchons le meilleur chemin entre eux pour déduire l'architecture finale. Nous proposons également un algorithme d'estimation du coût en chaîne pour approximer le coût du modèle pendant la recherche. La précision et le coût du modèle sont optimisés dans DenseNAS. Pour les expériences menées sur l'espace de recherche basé sur MobileNetV2, DenseNAS atteint une précision top-1 de 75,3% sur ImageNet avec seulement 361 millions d'opérations FLOPs et une latence de 17,9 ms sur une carte TITAN-XP unique. Le modèle plus grand recherché par DenseNAS atteint une précision de 76,1% avec seulement 479 millions d'opérations FLOPs. DenseNAS améliore également les performances de classification ImageNet des ResNet-18, -34 et -50-B respectivement de 1,5%, 0,5% et 0,3%, tout en réduisant respectivement les opérations FLOPs de 200 millions, 600 millions et 680 millions. Le code source associé est disponible à l'adresse suivante : https://github.com/JaminFong/DenseNAS.