LayerNAS : Recherche d'architecture neuronale en complexité polynomiale

La Recherche d'Architecture Neuronale (NAS) est devenue une méthode populaire pour découvrir des architectures de modèles efficaces, notamment pour des matériels cibles spécifiques. En conséquence, les méthodes NAS capables de trouver des architectures optimales sous contraintes sont essentielles. Dans notre travail, nous proposons LayerNAS pour relever le défi de la NAS multi-objectifs en la reformulant comme un problème d'optimisation combinatoire, ce qui permet de limiter efficacement la complexité de recherche à une croissance polynomiale.Pour une architecture de modèle comprenant $L$ couches, LayerNAS effectue une recherche couche par couche, en sélectionnant parmi un ensemble d'options de recherche $\mathbb{S}$. LayerNAS regroupe les candidats d'architecture en fonction d'un objectif donné, tel que la taille du modèle ou la latence, puis effectue une recherche de l'architecture optimale selon un autre objectif. Cette approche sépare ainsi les éléments de coût et de récompense dans le processus de recherche. Cette stratégie limite la complexité de recherche à $ O(H \cdot |\mathbb{S}| \cdot L) $, où $H$ est une constante prédéfinie dans LayerNAS.Nos expérimentations montrent que LayerNAS est capable de découvrir de manière cohérente des architectures supérieures dans divers espaces de recherche, en comparaison avec des méthodes de référence performantes, y compris des espaces de recherche dérivés de NATS-Bench, MobileNetV2 et MobileNetV3.