SNAS : Recherche Stochastique d'Architecture de Réseau Neuronal

Nous proposons la Recherche de Structure de Réseau Neuronal Stochastique (SNAS), une solution économique et intégrée à la Recherche de Structure de Réseau Neuronal (NAS) qui entraîne les paramètres des opérations neuronales et les paramètres de distribution de l'architecture dans le même cycle de rétropropagation, tout en maintenant l'intégrité et la différentiabilité du pipeline NAS. Dans ce travail, NAS est reformulé comme un problème d'optimisation sur les paramètres d'une distribution conjointe pour l'espace de recherche au sein d'une cellule. Pour exploiter les informations de gradient dans une perte différentiable générale pour la recherche d'architecture, un nouveau gradient de recherche est proposé. Nous démontrons que ce gradient de recherche optimise le même objectif que la NAS basée sur l'apprentissage par renforcement, mais attribue des crédits aux décisions structurelles plus efficacement. Cette attribution de crédit est encore améliorée par une récompense localement décomposable pour imposer une contrainte d'utilisation efficace des ressources. Dans les expériences menées sur CIFAR-10, SNAS trouve une architecture cellulaire avec une précision à l'état de l'art en moins d'époques que la NAS basée sur l'évolution non différentiable et la NAS basée sur l'apprentissage par renforcement, et cette architecture est également transférable à ImageNet. Il est également montré que les sous-réseaux enfants de SNAS peuvent maintenir la précision de validation lors de la recherche, alors qu'une NAS basée sur l'attention nécessite un réentraînement des paramètres pour être compétitive, ce qui souligne le potentiel de SNAS pour une recherche d'architecture efficace sur des grands ensembles de données. Notre implémentation a été rendue disponible à l'adresse suivante : https://github.com/SNAS-Series/SNAS-Series.