NASI : Recherche d'architecture neuronale indépendante des étiquettes et des données au moment de l'initialisation

Ces dernières années, on a assisté à une croissance marquée de l'intérêt porté à la recherche d'architectures neuronales (Neural Architecture Search, NAS). De nombreuses algorithmes ont été proposés afin d'améliorer l'efficacité et l'efficacité de la recherche dans le cadre de la NAS, c’est-à-dire de réduire le coût de recherche et d'améliorer la capacité de généralisation des architectures sélectionnées, respectivement. Toutefois, l'efficacité de ces algorithmes est sévèrement limitée par la nécessité de former les modèles durant le processus de recherche. Pour surmonter cette limitation, nous proposons un nouvel algorithme de NAS, appelé NAS à l'initialisation (NASI), qui exploite la capacité du noyau tangent neuronal (Neural Tangent Kernel) à caractériser les performances des architectures candidates une fois l'initialisation effectuée, permettant ainsi d'éviter complètement l'entraînement du modèle et de considérablement accroître l'efficacité de la recherche. En plus d'une amélioration significative de l'efficacité de la recherche, NASI atteint également des performances compétitives sur divers jeux de données, tels que CIFAR-10/100 et ImageNet. En outre, NASI se révèle être indépendant des étiquettes et des données sous des conditions modérées, garantissant ainsi la transférabilité des architectures sélectionnées par notre méthode sur différents jeux de données.