HyperAIHyperAI
il y a 17 jours

CATE : Encodage d'architecture neuronale consciente du calcul avec des Transformers

Shen Yan, Kaiqiang Song, Fei Liu, Mi Zhang
CATE : Encodage d'architecture neuronale consciente du calcul avec des Transformers
Résumé

Des travaux récents (White et al., 2020a ; Yan et al., 2020) mettent en évidence l'importance des encodages architecturaux dans la Recherche d'Architecture Neuronale (NAS). Ces encodages représentent soit des informations structurelles, soit des informations computationnelles des architectures neuronales. Contrairement aux encodages sensibles à la structure, les encodages sensibles à la computation placent des architectures ayant des précisions similaires dans la même région de l'espace d'encodage, ce qui améliore les performances de la recherche d'architecture en aval (Zhang et al., 2019 ; White et al., 2020a). Dans ce travail, nous proposons une méthode d'encodage basée sur le Transformer et sensible à la computation, appelée CATE. À la différence des encodages sensibles à la computation existants, fondés sur des transformations fixes (par exemple, l'encodage par chemin), CATE utilise un schéma de pré-entraînement par paires pour apprendre des encodages sensibles à la computation à l’aide de Transformers munis d’attention croisée. Ces encodages appris contiennent des informations computationnelles riches et contextuelles sur les architectures neuronales. Nous comparons CATE à onze autres encodages dans trois sous-routines principales de NAS dépendantes de l’encodage, sur des espaces de recherche à la fois petits et grands. Nos expériences montrent que CATE améliore significativement la recherche en aval, en particulier dans les espaces de recherche volumineux. En outre, les expériences effectuées hors de l’espace d’entraînement démontrent sa capacité supérieure à généraliser au-delà de l’espace de recherche sur lequel elle a été entraînée. Le code est disponible à l’adresse suivante : https://github.com/MSU-MLSys-Lab/CATE.