HardCoRe-NAS : Recherche d'architecture neuronale différentiable avec contraintes rigides

L’utilisation réaliste des réseaux de neurones exige souvent de respecter plusieurs contraintes simultanément, telles que le délai de latence, la consommation énergétique et la mémoire, entre autres. Une approche courante pour identifier des architectures adaptées consiste en une Recherche d’Architecture de Réseau de Neurones (NAS) sous contraintes ; toutefois, les méthodes précédentes imposent ces contraintes de manière souple. Par conséquent, les architectures résultantes ne respectent pas exactement les contraintes ressources, ce qui nuit à leur précision. Dans ce travail, nous résolvons ce problème en introduisant Hard Constrained diffeRentiable NAS (HardCoRe-NAS), fondé sur une formulation précise de la consommation attendue des ressources et sur une méthode de recherche évolutive qui garantit le respect strict de la contrainte tout au long du processus de recherche. Nos expérimentations montrent que HardCoRe-NAS permet de générer des architectures de pointe, dépassant les autres méthodes de NAS tout en respectant rigoureusement les contraintes de ressources, sans nécessiter de réglage supplémentaire.