HyperAIHyperAI
il y a 2 mois

Transformation de Réseau au Niveau des Chemins pour une Recherche d'Architecture Efficace

Han Cai; Jiacheng Yang; Weinan Zhang; Song Han; Yong Yu
Transformation de Réseau au Niveau des Chemins pour une Recherche d'Architecture Efficace
Résumé

Nous présentons une nouvelle transformation préservant les fonctions pour une recherche efficace d'architecture neuronale. Cette transformation de réseau permet de réutiliser les réseaux préalablement entraînés et les architectures réussies existantes, ce qui améliore l'efficacité échantillonnale. Nous visons à surmonter la limitation des opérations actuelles de transformation de réseau, qui ne peuvent effectuer que des modifications architecturales au niveau des couches, telles que l'ajout (ou la suppression) de filtres ou l'insertion (ou la suppression) d'une couche, sans parvenir à modifier la topologie des chemins de connexion. Nos opérations proposées de transformation au niveau des chemins permettent au méta-contrôleur de modifier la topologie des chemins du réseau donné tout en conservant les avantages de la réutilisation des poids, facilitant ainsi la conception efficace de structures complexes avec des topologies de chemins sophistiquées comme dans les modèles Inception. Nous proposons également un méta-contrôleur d'apprentissage par renforcement structuré en arbre bidirectionnel pour explorer un espace architectural arborescent simple mais hautement expressif, qui peut être considéré comme une généralisation des architectures multi-branches. Nous avons mené des expériences sur des ensembles de données de classification d'images avec des ressources informatiques limitées (environ 200 heures-GPU), où nous avons observé une meilleure efficacité paramétrique et des résultats de tests améliorés (97,70 % d'exactitude sur CIFAR-10 avec 14,3 millions de paramètres et 74,6 % d'exactitude en première position sur ImageNet dans le contexte mobile), démontrant ainsi l'efficacité et la transférabilité de nos architectures conçues.

Transformation de Réseau au Niveau des Chemins pour une Recherche d'Architecture Efficace | Articles de recherche récents | HyperAI