HyperAIHyperAI

Command Palette

Search for a command to run...

il y a 4 mois

TNASP : Un prédicteur NAS basé sur Transformer avec un cadre d'évolution auto-suffisante

{Ji Liu Sen yang Jianchao Tan Jixiang Li Shun Lu}

TNASP : Un prédicteur NAS basé sur Transformer avec un cadre d'évolution auto-suffisante

Résumé

La recherche d'architecture neuronale (NAS) basée sur un prédicteur reste un sujet d'importance car elle vise à atténuer le processus de recherche long et coûteux en temps des méthodes NAS traditionnelles. Un prédicteur de performance prometteur détermine directement la qualité des modèles finaux obtenus dans les approches NAS basées sur un prédicteur. La plupart des méthodes existantes entraînent des prédicteurs basés sur des modèles dans un cadre de jeu de données proxy, ce qui peut entraîner une dégradation de la précision et des problèmes de généralisation, principalement en raison de leur faible capacité à représenter l'information topologique spatiale des données structurées en graphe. En outre, au-delà de cette mauvaise représentation de l'information topologique spatiale, ces approches n'exploitent pas pleinement l'information temporelle, telle que l'historique des évaluations réalisées durant l'entraînement. Ainsi, nous proposons un prédicteur de performance NAS basé sur un Transformer, couplé à une stratégie d'encodage positionnel fondée sur la matrice de Laplace, qui permet une représentation améliorée de l'information topologique et obtient des performances supérieures à celles des méthodes de l'état de l'art précédentes sur les espaces de recherche NAS-Bench-101, NAS-Bench-201 et DARTS. En outre, nous introduisons également un cadre d'évolution auto-suffisante capable d'utiliser pleinement l'information temporelle comme guide. Ce cadre intègre itérativement les résultats d'évaluation prédits précédemment comme contraintes dans les itérations d'optimisation courantes, améliorant ainsi davantage les performances de notre prédicteur. Ce cadre est indépendant du modèle, ce qui permet d'améliorer la performance sur diverses architectures de base pour la tâche de prédiction. La méthode proposée nous a permis de terminer à la 2e place parmi toutes les équipes lors de la compétition CVPR 2021, Track 2 : Performance Prediction Track.

Benchmarks

BenchmarkMéthodologieMétriques
neural-architecture-search-on-cifar-10TNASP
Parameters: 3.7M
Search Time (GPU days): 0.3
Top-1 Error Rate: 2.52%

Construire l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec du co-codage IA gratuit, un environnement prêt à l'emploi et les meilleurs prix GPU.

Co-codage IA
GPU prêts à utiliser
Meilleurs prix
Commencer

Hyper Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp
TNASP : Un prédicteur NAS basé sur Transformer avec un cadre d'évolution auto-suffisante | Articles de recherche | HyperAI