HyperAIHyperAI

Command Palette

Search for a command to run...

NASI : Recherche d'architecture neuronale indépendante des étiquettes et des données au moment de l'initialisation

Yao Shu Shaofeng Cai Zhongxiang Dai Beng Chin Ooi Bryan Kian Hsiang Low

Résumé

Ces dernières années, on a assisté à une croissance marquée de l'intérêt porté à la recherche d'architectures neuronales (Neural Architecture Search, NAS). De nombreuses algorithmes ont été proposés afin d'améliorer l'efficacité et l'efficacité de la recherche dans le cadre de la NAS, c’est-à-dire de réduire le coût de recherche et d'améliorer la capacité de généralisation des architectures sélectionnées, respectivement. Toutefois, l'efficacité de ces algorithmes est sévèrement limitée par la nécessité de former les modèles durant le processus de recherche. Pour surmonter cette limitation, nous proposons un nouvel algorithme de NAS, appelé NAS à l'initialisation (NASI), qui exploite la capacité du noyau tangent neuronal (Neural Tangent Kernel) à caractériser les performances des architectures candidates une fois l'initialisation effectuée, permettant ainsi d'éviter complètement l'entraînement du modèle et de considérablement accroître l'efficacité de la recherche. En plus d'une amélioration significative de l'efficacité de la recherche, NASI atteint également des performances compétitives sur divers jeux de données, tels que CIFAR-10/100 et ImageNet. En outre, NASI se révèle être indépendant des étiquettes et des données sous des conditions modérées, garantissant ainsi la transférabilité des architectures sélectionnées par notre méthode sur différents jeux de données.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp