NAS-LID : Recherche efficace d'architecture neuronale basée sur la dimension intrinsèque locale

La recherche d’architecture neuronique (NAS) à une seule étape améliore considérablement l’efficacité de la recherche en entraînant un seul supernet pour estimer les performances de toutes les architectures enfants possibles (c’est-à-dire les sous-réseaux). Toutefois, l’incohérence des caractéristiques entre les sous-réseaux entraîne une forte interférence durant l’optimisation, ce qui se traduit par une mauvaise corrélation des classements de performance entre les sous-réseaux. Des travaux ultérieurs ont tenté de réduire cette interférence en décomposant les poids du supernet selon un critère particulier, comme le matching de gradients ; toutefois, ces approches souffrent d’un coût computationnel élevé et d’une faible séparabilité spatiale. Dans ce travail, nous proposons une méthode légère et efficace, basée sur la dimension intrinsèque locale (LID), appelée NAS-LID. NAS-LID évalue les propriétés géométriques des architectures en calculant, couche par couche, des caractéristiques de faible coût basées sur la LID. La similarité ainsi caractérisée présente une meilleure séparabilité que les gradients, réduisant ainsi efficacement les interférences entre les sous-réseaux. Des expériences étendues sur NASBench-201 montrent que NAS-LID atteint des performances supérieures avec une meilleure efficacité. Plus précisément, par rapport à la méthode pilotée par gradients, NAS-LID permet d’économiser jusqu’à 86 % de la charge mémoire GPU lors de la recherche sur NASBench-201. Nous démontrons également l’efficacité de NAS-LID sur les espaces ProxylessNAS et OFA. Code source : https://github.com/marsggbo/NAS-LID.