HyperAIHyperAI

Command Palette

Search for a command to run...

BossNAS : Exploration de CNN-transformers hybrides via une recherche d'architecture neuronale auto-supervisée par blocs

Changlin Li Tao Tang Guangrun Wang Jiefeng Peng Bing Wang Xiaodan Liang Xiaojun Chang

Résumé

Un grand nombre de progrès récents dans les architectures de réseaux neuronaux conçues à la main pour la reconnaissance visuelle a mis en évidence le besoin urgent d’explorer des architectures hybrides composées de blocs de construction diversifiés. Parallèlement, les méthodes de recherche d’architecture neuronale (NAS) connaissent un essor croissant, portant l’espoir de réduire considérablement l’effort humain. Toutefois, la question de savoir si les méthodes NAS peuvent traiter efficacement et efficacement des espaces de recherche diversifiés, comprenant des candidats hétérogènes (par exemple, les CNNs et les transformateurs), reste encore ouverte. Dans ce travail, nous proposons BossNAS, une méthode de NAS non supervisée qui répond au problème d’évaluation inexacte des architectures causé par un espace de partage de poids important et une supervision biaisée dans les approches antérieures. Plus précisément, nous factorisons l’espace de recherche en blocs et utilisons un nouveau schéma d’apprentissage auto-supervisé, nommé ensemble bootstrapping, pour entraîner chaque bloc de manière indépendante avant de les combiner dans une recherche globale orientée vers le centre de la population. En outre, nous introduisons l’espace de recherche HyTra, un espace hybride tissé de CNNs et de transformateurs, doté de positions de réduction de taille modulables. Sur cet espace de recherche exigeant, le modèle recherché, BossNet-T, atteint jusqu’à 82,5 % de précision sur ImageNet, dépassant EfficientNet de 2,4 % tout en conservant un temps de calcul comparable. En outre, notre méthode obtient une précision supérieure dans l’évaluation des architectures, avec des corrélations de Spearman de 0,78 et 0,76 respectivement sur l’espace de recherche canonique MBConv avec ImageNet et sur l’espace de recherche NATS-Bench avec CIFAR-100, surpassant ainsi les méthodes d’état de l’art en NAS. Code : https://github.com/changlin31/BossNAS


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp