Ein Algorithmus zur Routing von Capsules in allen Domänen

Aufbauend auf jüngste Arbeiten zu Capsule-Netzwerken stellen wir eine neue, allgemein anwendbare Form des „Routing durch Übereinstimmung“ vor, die die Aktivierung von Ausgabecapsules in einer Schicht als Funktion ihres Netto-Nutzens bei Nutzung und ihres Netto-Kosten bei Ignorieren von Eingabecapsules aus früheren Schichten modelliert. Um die Nützlichkeit unseres Routing-Algorithmus zu veranschaulichen, präsentieren wir zwei Capsule-Netzwerke, die ihn in unterschiedlichen Domänen anwenden: Vision und Sprache. Das erste Netzwerk erreicht auf der kleinenNORB-Aufgabe zur visuellen Erkennung eine neue State-of-the-Art-Genauigkeit von 99,1 % mit weniger Parametern und einer Größenordnung weniger Trainingsschritten im Vergleich zu früheren Capsule-Modellen. Zudem finden wir Hinweise darauf, dass es lernt, eine Form der „Rückwärts-Grafik“ durchzuführen. Das zweite Netzwerk erreicht neue State-of-the-Art-Ergebnisse auf den Stamm-Sätzen des Stanford Sentiment Treebank: 58,5 % bei feinkörniger und 95,6 % bei binärer Klassifikation mit einem einzigen Task-Modell, das gefrorene Embeddings aus einem vortrainierten Transformer als Capsules routet. In beiden Domänen wird mit derselben Trainingsstrategie gearbeitet. Der Quellcode ist unter https://github.com/glassroom/heinsen_routing zusammen mit Anweisungen zur Reproduktion verfügbar.