Amélioration de la recherche d'architecture neuronale par le mélange d'un algorithme FireFly avec une évaluation sans entraînement

Les algorithmes de recherche d'architecture neuronale (Neural Architecture Search, NAS) sont utilisés pour automatiser la conception de réseaux de neurones profonds. La recherche de la meilleure architecture pour un jeu de données donné peut être très chronophage, car ces algorithmes doivent explorer un grand nombre de modèles et les évaluer en fonction de leurs performances afin de sélectionner celui qui est le plus adapté. Dans ce travail, nous proposons une nouvelle métrique qui utilise le score de distance intra-cluster (Intra-Cluster Distance, ICD) pour évaluer la capacité d'un modèle non entraîné à distinguer les données, afin d'approximer sa qualité. Nous utilisons également une version améliorée de l'algorithme FireFly, plus robuste au problème des optima locaux que l'algorithme FireFly de base, comme méthode de recherche pour identifier le meilleur modèle de réseau neuronal adapté à un jeu de données spécifique. Les résultats expérimentaux sur différentes benchmarks NAS montrent que notre métrique est valide pour évaluer à la fois les CNN et les RNN, et que notre algorithme FireFly amélioré permet d'améliorer les résultats obtenus par les méthodes de pointe actuelles basées sur l'entraînement absent.