Réseaux Multipath Conscients du Contexte

Rendre un seul réseau capable d'aborder efficacement des contextes divers --- en apprenant les variations au sein d'un jeu de données ou de plusieurs jeux de données --- est une étape fascinante vers l'atteinte d'une intelligence généralisée. Les approches existantes consistant à approfondir, élargir et assembler des réseaux ne sont généralement pas rentables. À cet égard, les réseaux capables d'allouer des ressources en fonction du contexte de l'entrée et de réguler le flux d'informations à travers le réseau sont plus efficaces. Dans cet article, nous présentons le Context-Aware Multipath Network (CAMNet), un réseau neuronal multi-chemin avec un routage dépendant des données entre les tenseurs parallèles. Nous montrons que notre modèle agit comme un modèle généralisé capturant les variations dans des jeux de données individuels et multiples, tant simultanément que séquentiellement. CAMNet surpasse les performances des tâches de classification et d'étiquetage de pixels par rapport aux réseaux mono-chemin équivalents, multi-chemin et plus profonds mono-chemin, en considérant les jeux de données individuellement, séquentiellement et en combinaison. Le routage dépendant des données entre les tenseurs dans CAMNet permet au modèle de contrôler le flux d'informations bout à bout, décidant quelles ressources doivent être communes ou spécifiques au domaine.