TNASP : Un prédicteur NAS basé sur Transformer avec un cadre d'évolution auto-suffisante

La recherche d'architecture neuronale (NAS) basée sur un prédicteur reste un sujet d'importance car elle vise à atténuer le processus de recherche long et coûteux en temps des méthodes NAS traditionnelles. Un prédicteur de performance prometteur détermine directement la qualité des modèles finaux obtenus dans les approches NAS basées sur un prédicteur. La plupart des méthodes existantes entraînent des prédicteurs basés sur des modèles dans un cadre de jeu de données proxy, ce qui peut entraîner une dégradation de la précision et des problèmes de généralisation, principalement en raison de leur faible capacité à représenter l'information topologique spatiale des données structurées en graphe. En outre, au-delà de cette mauvaise représentation de l'information topologique spatiale, ces approches n'exploitent pas pleinement l'information temporelle, telle que l'historique des évaluations réalisées durant l'entraînement. Ainsi, nous proposons un prédicteur de performance NAS basé sur un Transformer, couplé à une stratégie d'encodage positionnel fondée sur la matrice de Laplace, qui permet une représentation améliorée de l'information topologique et obtient des performances supérieures à celles des méthodes de l'état de l'art précédentes sur les espaces de recherche NAS-Bench-101, NAS-Bench-201 et DARTS. En outre, nous introduisons également un cadre d'évolution auto-suffisante capable d'utiliser pleinement l'information temporelle comme guide. Ce cadre intègre itérativement les résultats d'évaluation prédits précédemment comme contraintes dans les itérations d'optimisation courantes, améliorant ainsi davantage les performances de notre prédicteur. Ce cadre est indépendant du modèle, ce qui permet d'améliorer la performance sur diverses architectures de base pour la tâche de prédiction. La méthode proposée nous a permis de terminer à la 2e place parmi toutes les équipes lors de la compétition CVPR 2021, Track 2 : Performance Prediction Track.