Diversité et profondeur dans les modèles de routage par exemple

Les modèles de routage, une forme de calcul conditionnel où les exemples sont acheminés à travers un sous-ensemble de composants au sein d’un réseau plus vaste, ont récemment montré des résultats prometteurs. De façon surprenante, les modèles de routage développés jusqu’à présent manquent de propriétés essentielles, telles que la diversité architecturale et un grand nombre de décisions de routage. À la fois la diversité architecturale et la profondeur du routage peuvent renforcer la puissance représentationnelle d’un réseau de routage. Dans ce travail, nous abordons ces deux lacunes. Nous examinons l’importance de la diversité architecturale dans les modèles de routage, et expliquons les compromis entre capacité et optimisation lorsqu’on augmente la profondeur du routage. Dans nos expériences, nous constatons qu’ajouter de la diversité architecturale aux modèles de routage améliore significativement les performances, réduisant les taux d’erreur d’un modèle de référence solide de 35 % sur une configuration Omniglot. Toutefois, lorsqu’on augmente la profondeur du routage, nous observons que les techniques modernes de routage peinent à s’optimiser. Nous concluons en discutant à la fois des résultats positifs et négatifs, et en proposant des pistes pour des recherches futures.