Bonsai-Net : Recherche d'architecture neuronale à un seul échantillon via des pruneurs différentiables

La recherche d'architecture neuronale à une seule tentative (one-shot Neural Architecture Search, NAS) vise à réduire les coûts computationnels liés à la découverte de modèles de pointe. Toutefois, au cours de la dernière année, une attention croissante s'est portée sur les performances comparables de la recherche aléatoire naïve dans les mêmes espaces de recherche utilisés par les algorithmes de NAS les plus avancés. Pour répondre à ce défi, nous étudions les effets d'une relaxation drastique de l'espace de recherche NAS, et présentons Bonsai-Net, une méthode efficace de NAS à une seule tentative conçue pour explorer cet espace de recherche relâché. Bonsai-Net repose sur un pruner différentiel modifié et parvient de manière cohérente à découvrir des architectures de pointe, nettement supérieures à celles obtenues par recherche aléatoire, tout en utilisant moins de paramètres que d'autres méthodes de pointe. En outre, Bonsai-Net effectue simultanément la recherche d'architecture et l'entraînement du modèle, réduisant ainsi de façon marquée le temps total nécessaire pour générer des modèles entièrement entraînés à partir de zéro.