Découvrir les Connexions Neuronales

Le succès des réseaux de neurones a entraîné un déplacement de l'accent mis sur le génie des caractéristiques vers le génie des architectures. Cependant, les réseaux réussis d'aujourd'hui sont construits à partir d'un petit ensemble de briques de construction définies manuellement. Même dans les méthodes de recherche d'architecture neuronale (NAS), les schémas de connectivité des réseaux sont largement contraints. Dans ce travail, nous proposons une méthode pour découvrir les connexions neuronales. Nous relâchons la notion typique de couches et permettons aux canaux de former des connexions indépendamment les uns des autres. Cela permet une bien plus grande diversité d'architectures possibles. La connectivité de notre réseau n'est pas fixe pendant l'entraînement — en apprenant les paramètres du réseau, nous apprenons également sa structure. Nos expériences montrent que notre connectivité apprise surpasse celle des réseaux conçus manuellement et ceux dont la connectivité est aléatoire. En apprenant la connectivité du MobileNetV1, nous améliorons la précision sur ImageNet de 10% pour environ 41 millions d'opérations flottantes (FLOPs). De plus, nous montrons que notre méthode se généralise aux réseaux récurrents et aux réseaux en temps continu. Notre travail peut également être considéré comme unifiant les aspects fondamentaux du problème de recherche d'architecture neuronale avec l'apprentissage de réseaux de neurones épars. À mesure que le NAS devient plus fin, trouver une bonne architecture revient à trouver un sous-réseau épars du graphe complet. Par conséquent, DNW fournit un mécanisme efficace pour découvrir des sous-réseaux épars d'architectures prédéfinies lors d'une seule phase d'entraînement. Bien que nous utilisions seulement une petite partie des poids lors du passage en avant, nous participons toujours au fameux tirage au sort initial avec un nombre combinatoire de sous-réseaux. Le code source et les modèles pré-entraînés sont disponibles sur https://github.com/allenai/dnw tandis que des visualisations supplémentaires peuvent être trouvées sur https://mitchellnw.github.io/blog/2019/dnw/.