Un algorithme pour le routage de vecteurs dans les séquences

Nous proposons un algorithme de routage qui prend une séquence de vecteurs en entrée et calcule une nouvelle séquence de taille et de dimension spécifiées. Chaque vecteur de sortie maximise le « rendement par bit », défini comme la différence entre le bénéfice net d’utilisation et le coût net d’ignorer les données, en prédisant de manière plus précise les vecteurs d’entrée. Nous décrivons les vecteurs de sortie comme des objets géométriques, comme des variables latentes attribuant une responsabilité (credit), comme des états de requête dans un modèle de mémoire associative, et comme des agents dans un modèle de « Société de l’Esprit ». Nous implémentons cet algorithme avec des optimisations qui réduisent de plusieurs ordres de grandeur le nombre de paramètres, la charge de calcul et l’utilisation de mémoire, permettant ainsi de router des séquences de longueur supérieure à toute précédente capacité. Nous évaluons notre implémentation sur des tâches de classification linguistique et visuelle, obtenant une précision compétitive ou de pointe, ainsi qu’une attribution de crédit end-to-end interprétable.