ParZC : Proxies zéro-coût paramétriques pour une NAS efficace

Les avancées récentes dans le domaine de la recherche d'architectures neuronales (NAS) sans apprentissage supervisé (zero-shot) mettent en évidence l'efficacité des proxies zéro-coût sur divers benchmarks NAS. Plusieurs études proposent la conception automatique de proxies zéro-coût afin d'atteindre des performances de pointe (SOTA), mais ces approches nécessitent souvent des processus de recherche fastidieux. En outre, nous identifions un problème critique des proxies zéro-coût actuels : ils agrégent des statistiques zéro-coût au niveau des nœuds sans tenir compte du fait que tous les nœuds d’un réseau neuronal n’ont pas une influence égale sur l’estimation de la performance. Nos observations révèlent que les statistiques zéro-coût au niveau des nœuds varient considérablement en termes de contribution à la prédiction de performance, chaque nœud présentant un certain degré d’incertitude. À partir de cette observation, nous introduisons une nouvelle méthode appelée cadre Parametric Zero-Cost Proxies (ParZC), conçue pour améliorer l’adaptabilité des proxies zéro-coût grâce à une paramétrisation. Pour surmonter l’indifférenciation entre les nœuds, nous proposons une architecture Mixer basée sur un réseau bayésien (MABN), permettant d’explorer les statistiques zéro-coût au niveau des nœuds et d’estimer l’incertitude spécifique à chaque nœud. En outre, nous introduisons DiffKendall, une fonction de perte différentiable, permettant d’optimiser directement le coefficient de corrélation de Kendall, afin que ParZC puisse mieux gérer les désaccords dans le classement des architectures. Des expériences approfondies menées sur les benchmarks NAS-Bench-101, NAS-Bench-201 et NDS démontrent l’avantage de notre méthode ParZC par rapport aux approches existantes de NAS sans apprentissage supervisé. Enfin, nous illustrons la polyvalence et l’adaptabilité de ParZC en la transférant avec succès dans un espace de recherche d’architectures de Vision Transformers.