Recherche d'architecture neuronique évolutionnaire guidée avec estimation efficace des performances

Les méthodes de recherche d'architecture neuronale (Neural Architecture Search, NAS) ont été efficacement appliquées aux tâches d'image, obtenant des résultats remarquables. Toutefois, ces méthodes sont souvent complexes et ont tendance à converger vers des minima locaux dès que les architectures générées semblent produire de bons résultats. Ce papier propose GEA, une nouvelle approche de NAS guidée. GEA guide l'évolution en explorant l'espace de recherche en générant et évaluant plusieurs architectures à chaque génération lors de l'étape d'initialisation, à l'aide d'un estimateur zéro-proxy, où seule l'architecture obtenant le meilleur score est entraînée et conservée pour la génération suivante. Par la suite, GEA extrait continuellement des connaissances sur l'espace de recherche sans augmenter la complexité, en générant plusieurs descendants à partir d'une architecture existante à chaque génération. De plus, GEA favorise l'exploitation des architectures les plus performantes par génération descendante, tout en stimulant l'exploration par mutation des architectures parentes, tout en privilégiant les architectures plus jeunes au détriment des plus anciennes. Les résultats expérimentaux démontrent l'efficacité de la méthode proposée, et des études d'ablation approfondies évaluent l'importance de différents paramètres. Les résultats montrent que GEA atteint des performances de pointe sur tous les jeux de données des benchmarks NAS-Bench-101, NAS-Bench-201 et TransNAS-Bench-101.