Exploration des réseaux de neurones à connexions aléatoires pour la reconnaissance d'images

Les réseaux neuronaux pour la reconnaissance d'images ont évolué grâce à un design manuel intensif, passant de modèles simples en chaîne à des structures dotées de multiples chemins de câblage. Le succès des ResNets et des DenseNets est en grande partie attribuable à leurs plans de câblage innovants. Aujourd'hui, les études sur la recherche d'architecture neuronale (NAS) explorent l'optimisation conjointe des types de câblage et d'opérations, bien que l'espace des câblages possibles reste contraint et continue d'être guidé par le design manuel malgré la recherche effectuée. Dans cet article, nous explorons un ensemble plus diversifié de schémas de connectivité à travers le prisme des réseaux neuronaux aléatoirement câblés. Pour ce faire, nous définissons d'abord le concept d'un générateur de réseau stochastique qui encapsule l'ensemble du processus de génération du réseau. Cette encapsulation offre une vue unifiée de la NAS et des réseaux aléatoirement câblés. Ensuite, nous utilisons trois modèles classiques de graphes aléatoires pour générer des graphes aléatoirement câblés pour les réseaux. Les résultats sont surprenants : plusieurs variantes de ces générateurs aléatoires produisent des instances de réseau ayant une précision compétitive sur le banc d'essai ImageNet. Ces résultats suggèrent que de nouveaux efforts axés sur la conception de meilleurs générateurs de réseaux pourraient conduire à des avancées majeures en explorant des espaces de recherche moins contraints avec plus de place pour des designs novateurs.