BossNAS : Exploration de CNN-transformers hybrides via une recherche d'architecture neuronale auto-supervisée par blocs

Un grand nombre de progrès récents dans les architectures de réseaux neuronaux conçues à la main pour la reconnaissance visuelle a mis en évidence le besoin urgent d’explorer des architectures hybrides composées de blocs de construction diversifiés. Parallèlement, les méthodes de recherche d’architecture neuronale (NAS) connaissent un essor croissant, portant l’espoir de réduire considérablement l’effort humain. Toutefois, la question de savoir si les méthodes NAS peuvent traiter efficacement et efficacement des espaces de recherche diversifiés, comprenant des candidats hétérogènes (par exemple, les CNNs et les transformateurs), reste encore ouverte. Dans ce travail, nous proposons BossNAS, une méthode de NAS non supervisée qui répond au problème d’évaluation inexacte des architectures causé par un espace de partage de poids important et une supervision biaisée dans les approches antérieures. Plus précisément, nous factorisons l’espace de recherche en blocs et utilisons un nouveau schéma d’apprentissage auto-supervisé, nommé ensemble bootstrapping, pour entraîner chaque bloc de manière indépendante avant de les combiner dans une recherche globale orientée vers le centre de la population. En outre, nous introduisons l’espace de recherche HyTra, un espace hybride tissé de CNNs et de transformateurs, doté de positions de réduction de taille modulables. Sur cet espace de recherche exigeant, le modèle recherché, BossNet-T, atteint jusqu’à 82,5 % de précision sur ImageNet, dépassant EfficientNet de 2,4 % tout en conservant un temps de calcul comparable. En outre, notre méthode obtient une précision supérieure dans l’évaluation des architectures, avec des corrélations de Spearman de 0,78 et 0,76 respectivement sur l’espace de recherche canonique MBConv avec ImageNet et sur l’espace de recherche NATS-Bench avec CIFAR-100, surpassant ainsi les méthodes d’état de l’art en NAS. Code : https://github.com/changlin31/BossNAS