Ein Algorithmus zum Routing von Vektoren in Sequenzen

Wir schlagen einen Routing-Algorithmus vor, der eine Folge von Vektoren entgegennimmt und eine neue Folge mit vorgegebener Länge und Vektorgroße berechnet. Jeder Ausgabevector maximiert den „Bang pro Bit“, also die Differenz zwischen dem Nettoertrag der Nutzung und dem Nettoaufwand der Ignorierung von Daten, durch eine bessere Vorhersage der Eingabevektoren. Wir beschreiben die Ausgabevektoren als geometrische Objekte, als latente Variablen, die Verantwortung zuweisen, als Abfragezustände in einem Modell assoziativer Erinnerung und als Agenten in einem Modell einer Gesellschaft des Geistes. Wir implementieren den Algorithmus mit Optimierungen, die die Anzahl der Parameter, die Berechnungskosten und den Speicherverbrauch um Größenordnungen reduzieren und damit die Möglichkeit eröffnen, Folgen längerer Länge zu verarbeiten als bisher möglich. Wir evaluieren unsere Implementierung an Aufgaben der natürlichen Sprache und der visuellen Klassifikation und erzielen wettbewerbsfähige oder state-of-the-art Genauigkeit sowie end-to-end-Zuweisungen von Verantwortung, die interpretierbar sind.