HyperAIHyperAI

Command Palette

Search for a command to run...

NAS-LID : Recherche efficace d'architecture neuronale basée sur la dimension intrinsèque locale

Xin He Jiangchao Yao Yuxin Wang Zhenheng Tang Ka Chu Cheung Simon See Bo Han Xiaowen Chu

Résumé

La recherche d’architecture neuronique (NAS) à une seule étape améliore considérablement l’efficacité de la recherche en entraînant un seul supernet pour estimer les performances de toutes les architectures enfants possibles (c’est-à-dire les sous-réseaux). Toutefois, l’incohérence des caractéristiques entre les sous-réseaux entraîne une forte interférence durant l’optimisation, ce qui se traduit par une mauvaise corrélation des classements de performance entre les sous-réseaux. Des travaux ultérieurs ont tenté de réduire cette interférence en décomposant les poids du supernet selon un critère particulier, comme le matching de gradients ; toutefois, ces approches souffrent d’un coût computationnel élevé et d’une faible séparabilité spatiale. Dans ce travail, nous proposons une méthode légère et efficace, basée sur la dimension intrinsèque locale (LID), appelée NAS-LID. NAS-LID évalue les propriétés géométriques des architectures en calculant, couche par couche, des caractéristiques de faible coût basées sur la LID. La similarité ainsi caractérisée présente une meilleure séparabilité que les gradients, réduisant ainsi efficacement les interférences entre les sous-réseaux. Des expériences étendues sur NASBench-201 montrent que NAS-LID atteint des performances supérieures avec une meilleure efficacité. Plus précisément, par rapport à la méthode pilotée par gradients, NAS-LID permet d’économiser jusqu’à 86 % de la charge mémoire GPU lors de la recherche sur NASBench-201. Nous démontrons également l’efficacité de NAS-LID sur les espaces ProxylessNAS et OFA. Code source : https://github.com/marsggbo/NAS-LID.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp