$μ$DARTS : Recherche d'architecture différentiable consciente de l'incertitude du modèle

Nous présentons une méthode de recherche d'architecture différentiable sensible à l'incertitude du modèle, nommée $μ$DARTS, qui optimise les réseaux de neurones afin d'atteindre simultanément une haute précision et une faible incertitude. Nous introduisons un dropout concret au sein des cellules DARTS, et intégrons un régularisateur de type Monte-Carlo dans la fonction de perte d'entraînement afin d'optimiser les probabilités du dropout concret. Un terme de variance prédictive est ajouté à la fonction de perte de validation, permettant ainsi de rechercher des architectures présentant une incertitude de modèle minimale. Les expériences menées sur CIFAR10, CIFAR100, SVHN et ImageNet confirment l'efficacité de $μ$DARTS dans l'amélioration de la précision tout en réduisant l'incertitude par rapport aux méthodes DARTS existantes. En outre, l'architecture finale obtenue par $μ$DARTS présente une robustesse accrue aux perturbations sur l'image d'entrée et sur les paramètres du modèle par rapport à celle obtenue par les méthodes DARTS classiques.