HyperAIHyperAI

Command Palette

Search for a command to run...

Recherche efficace d'architecture neuronale par partage de paramètres

Hieu Pham Quoc Le Melody Guan Barret Zoph Jeff Dean

Résumé

Nous proposons une recherche efficace d'architecture neuronale (ENAS), une approche rapide et peu coûteuse pour la conception automatique de modèles. ENAS construit un grand graphe computationnel, dans lequel chaque sous-graphe représente une architecture de réseau neuronal, forçant ainsi toutes les architectures à partager leurs paramètres. Un contrôleur est entraîné à l’aide d’un gradient de politique afin de rechercher un sous-graphe maximisant la récompense attendue sur un ensemble de validation. Parallèlement, un modèle correspondant au sous-graphe sélectionné est entraîné pour minimiser une perte croisée canonique. Le partage des paramètres entre les modèles enfants permet à ENAS d’obtenir de fortes performances empiriques, tout en nécessitant bien moins d’heures de calcul sur GPU que les approches existantes de conception automatique de modèles, et notamment 1 000 fois moins coûteux que la recherche standard d’architecture neuronale (NAS). Sur Penn Treebank, ENAS découvre une nouvelle architecture atteignant une perplexité de test de 56,3, au niveau de l’état de l’art actuel parmi toutes les méthodes ne nécessitant pas de traitement post-entraînement. Sur CIFAR-10, ENAS trouve une nouvelle architecture réalisant une erreur de test de 2,89 %, comparables à l’erreur de 2,65 % obtenue par NASNet (Zoph et al., 2018).


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp