$α$ DARTS une fois de plus : Améliorer la recherche d'architecture différentiable grâce au modèle d'image masquée

La recherche d'architecture différentiable (DARTS) constitue une direction dominante dans l'apprentissage automatique. Depuis la découverte selon laquelle la version originale de DARTS converge inévitablement vers des architectures de mauvaise qualité, les travaux récents tentent de pallier ce problème soit en proposant des méthodes de sélection d'architecture basées sur des règles, soit en intégrant des techniques de régularisation complexes, abandonnant ainsi la simplicité inhérente à l'approche initiale qui choisissait les architectures en se basant sur la plus grande valeur paramétrique, à savoir $α$. Par ailleurs, nous constatons que toutes les tentatives antérieures ne reposent que sur les étiquettes de classification, entraînant ainsi l'apprentissage d'informations d'un seul mode et limitant ainsi le pouvoir de représentation du réseau partagé. À cet effet, nous proposons d'injecter de manière supplémentaire des informations sémantiques en formulant une méthode de reconstruction de patch. Plus précisément, nous exploitons la tendance récente du modélisation d'images masquées tout en conservant le guidance des tâches de descente durant la phase de recherche. Notre méthode surpasser toutes les variantes antérieures de DARTS et atteint des résultats de pointe sur CIFAR-10, CIFAR-100 et ImageNet, sans recourir à des stratégies manuelles complexes.