HyperAIHyperAI

Command Palette

Search for a command to run...

Apprendre où regarder — La NAS générative est étonnamment efficace

Jovita Lukasik Steffen Jung Margret Keuper

Résumé

La recherche efficace et automatisée d'architectures neuronales performantes (NAS) a suscité un intérêt croissant ces dernières années. L'objectif principal de la recherche actuelle consiste à réduire la nécessité d'évaluations coûteuses d'architectures neuronales tout en explorant efficacement de vastes espaces de recherche. À cette fin, les modèles surrogates plongent les architectures dans un espace latente et prédisent leur performance, tandis que les modèles générateurs d'architectures neuronales permettent une recherche fondée sur l'optimisation dans l'espace latente d'où le générateur tire ses échantillons. À la fois les modèles surrogates et les modèles générateurs visent à faciliter une recherche efficace en termes de requêtes au sein d'un espace latente bien structuré. Dans cet article, nous améliorons davantage l'équilibre entre efficacité en termes de requêtes et génération d'architectures prometteuses en tirant parti des avantages des modèles surrogates efficaces et de la conception générative. Pour ce faire, nous proposons un modèle générateur associé à un prédicteur surrogate, qui apprend itérativement à générer des échantillons à partir de sous-espaces latents de plus en plus prometteurs. Cette approche conduit à une recherche d'architectures particulièrement efficace et performante, tout en maintenant un faible nombre de requêtes. En outre, notre méthode permet de manière naturelle d'optimiser simultanément plusieurs objectifs, tels que la précision et la latence matérielle. Nous démontrons l'efficacité de cette approche non seulement en matière d'optimisation d'architectures pour une classification précise maximale, mais également dans un contexte de contraintes matérielles, surpassant les méthodes de pointe sur plusieurs benchmarks NAS, tant pour des objectifs uniques que multiples. Nous atteignons également des performances de pointe sur ImageNet. Le code est disponible à l'adresse http://github.com/jovitalukasik/AG-Net.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp