HyperAIHyperAI

Command Palette

Search for a command to run...

DARTS : Recherche d'Architecture Différentiable

Hanxiao Liu* CMU [email protected] Karen Simonyan DeepMind [email protected] Yiming Yang CMU [email protected]

Résumé

Ce document aborde le défi de la scalabilité de la recherche d'architecture en formulant cette tâche de manière différentiable. Contrairement aux approches conventionnelles qui appliquent l'évolution ou l'apprentissage par renforcement sur un espace de recherche discret et non différentiable, notre méthode repose sur une relaxation continue de la représentation de l'architecture, permettant une recherche efficace de l'architecture à l'aide du gradient descendant. De nombreuses expériences menées sur CIFAR-10, ImageNet, Penn Treebank et WikiText-2 montrent que notre algorithme excelle dans la découverte d'architectures de convolution haute performance pour la classification d'images et d'architectures récurrentes pour la modélisation linguistique, tout en étant des ordres de grandeur plus rapide que les techniques non différentiables les plus avancées. Notre implémentation a été rendue publiquement disponible afin de faciliter des recherches ultérieures sur des algorithmes de recherche d'architecture efficaces.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp