EPE-NAS : estimation efficace des performances sans entraînement pour la recherche d'architectures neuronales

La Recherche d'Architecture Neuromorphique (NAS) a démontré des résultats remarquables dans la conception d'architectures pour des problèmes de vision par ordinateur. La NAS réduit la nécessité de réglages définis par l'humain en automatisant la conception et l'ingénierie d'architectures. Toutefois, les méthodes NAS sont souvent lentes, car elles nécessitent d'importants volumes de calculs sur GPU. Ce goulot d'étranglement provient principalement de la stratégie d'estimation des performances, qui exige l'évaluation des architectures générées, principalement par leur entraînement, afin de mettre à jour la méthode d'échantillonnage. Dans cet article, nous proposons EPE-NAS, une stratégie d'estimation de performance efficace, qui atténue le problème d'évaluation des réseaux en notant les réseaux non entraînés et en établissant une corrélation avec leurs performances après entraînement. Nous réalisons ce processus en analysant les corrélations intra-classes et inter-classes d'un réseau non entraîné. Nous montrons que EPE-NAS permet d'établir une corrélation robuste, et qu’en l’intégrant dans une simple stratégie d’échantillonnage aléatoire, il devient possible de rechercher des architectures compétitives, sans aucun entraînement, en quelques secondes uniquement sur une seule carte GPU. En outre, EPE-NAS est indépendante de la méthode de recherche, car elle se concentre sur l’évaluation des réseaux non entraînés, ce qui la rend facile à intégrer dans presque toutes les méthodes NAS.