Recherche d'architecture de réseau neuronal One-Shot à chemin unique avec échantillonnage uniforme

Nous réexaminons le paradigme de la recherche d'architecture neuronale en un seul passage (One-Shot Neural Architecture Search, NAS) et analysons ses avantages par rapport aux approches NAS existantes. Cependant, les méthodes one-shot actuelles sont difficiles à entraîner et ne sont pas encore efficaces sur des jeux de données à grande échelle comme ImageNet. Cette étude propose un modèle One-Shot à Chemin Unique pour relever ce défi lors de l'entraînement. Notre idée centrale est de construire une supernet simplifiée, où toutes les architectures sont des chemins uniques, afin d'atténuer le problème de co-adaptation des poids. L'entraînement est effectué par échantillonnage uniforme des chemins. Toutes les architectures (et leurs poids) sont entraînées pleinement et de manière équivalente.Des expériences exhaustives vérifient que notre approche est flexible et efficace. Elle est facile à entraîner et rapide à rechercher. Elle prend en charge sans effort des espaces de recherche complexes (par exemple, des blocs de construction, des canaux, une quantification mixte-précision) et différentes contraintes de recherche (par exemple, FLOPs, latence). Elle est donc pratique à utiliser pour divers besoins. Elle atteint des performances au niveau de l'état de l'art sur le grand jeu de données ImageNet.