DARTS : Recherche d'Architecture Différentiable

Ce document aborde le défi de la scalabilité de la recherche d'architecture en formulant cette tâche de manière différentiable. Contrairement aux approches conventionnelles qui appliquent l'évolution ou l'apprentissage par renforcement sur un espace de recherche discret et non différentiable, notre méthode repose sur une relaxation continue de la représentation de l'architecture, permettant une recherche efficace de l'architecture à l'aide du gradient descendant. De nombreuses expériences menées sur CIFAR-10, ImageNet, Penn Treebank et WikiText-2 montrent que notre algorithme excelle dans la découverte d'architectures de convolution haute performance pour la classification d'images et d'architectures récurrentes pour la modélisation linguistique, tout en étant des ordres de grandeur plus rapide que les techniques non différentiables les plus avancées. Notre implémentation a été rendue publiquement disponible afin de faciliter des recherches ultérieures sur des algorithmes de recherche d'architecture efficaces.