Un algorithme pour le routage des capsules dans tous les domaines

S'appuyant sur les travaux récents sur les réseaux de capsules, nous proposons une nouvelle forme générale de « routage par accord » qui active les capsules de sortie d'une couche en fonction de leur bénéfice net d'utilisation et de leur coût net d'ignorance des capsules d'entrée provenant des couches antérieures. Pour illustrer l'utilité de notre algorithme de routage, nous présentons deux réseaux de capsules appliquant cette méthode dans des domaines distincts : la vision et le traitement du langage. Le premier réseau atteint une nouvelle précision de pointe de 99,1 % sur la tâche de reconnaissance visuelle smallNORB, avec moins de paramètres et un entraînement réduit d'un ordre de grandeur par rapport aux modèles capsule précédents, et nous observons des preuves qu'il apprend à réaliser une forme de « graphisme inversé ». Le second réseau obtient des précisions de pointe sur les phrases racines du Stanford Sentiment Treebank : 58,5 % pour les étiquettes fines et 95,6 % pour les étiquettes binaires, avec un modèle à tâche unique qui route des embeddings gelés issus d'un transformateur préentraîné comme capsules. Dans les deux domaines, l'entraînement est réalisé selon le même régime. Le code est disponible à l'adresse https://github.com/glassroom/heinsen_routing, accompagné d'instructions de reproduction.