PRE-NAS : Recherche d'architecture neuronale évolutionnaire assistée par prédicteur

La recherche d'architecture neuronale (NAS) vise à automatiser l'ingénierie des architectures de réseaux de neurones. Cela nécessite souvent un coût computationnel élevé pour évaluer un grand nombre de réseaux candidats parmi l'ensemble des architectures possibles dans l'espace de recherche. La prédiction de la performance de ces réseaux peut atténuer ce coût computationnel élevé en réduisant la nécessité d'évaluer chaque candidat. Toutefois, le développement d'un tel prédicteur exige généralement un grand nombre d'architectures déjà évaluées, ce qui peut s'avérer difficile à obtenir. Nous abordons ce défi en proposant une nouvelle stratégie de NAS basée sur l'évolution, appelée PRE-NAS (Predictor-assisted E-NAS), qui parvient à de bons résultats même avec un nombre extrêmement réduit d'architectures évaluées. Le PRE-NAS exploite de nouvelles stratégies de recherche évolutionnaire et intègre une héritage de poids de haute fidélité au fil des générations. Contrairement aux approches one-shot, qui peuvent souffrir d'un biais d'évaluation dû au partage de poids, les candidats descendants dans le PRE-NAS sont topologiquement homogènes, ce qui permet d'éviter ce biais et conduit à des prédictions plus précises. Des expériences étendues sur les espaces de recherche NAS-Bench-201 et DARTS montrent que le PRE-NAS surpasse les méthodes d'état de l'art en NAS. Avec une seule carte GPU utilisée pendant seulement 0,6 jour, une architecture compétitive peut être trouvée, atteignant des taux d'erreur de test respectivement de 2,40 % sur CIFAR-10 et de 24 % sur ImageNet.