Matrix-Kapseln mit EM-Routing

Eine Capsule ist eine Gruppe von Neuronen, deren Ausgaben unterschiedliche Eigenschaften derselben Entität repräsentieren. Jede Schicht in einem Capsule-Netzwerk enthält zahlreiche Capsules. Wir beschreiben eine Version von Capsules, bei der jede Capsule eine logistische Einheit zur Repräsentation der Existenz einer Entität und eine 4×4-Matrix enthält, die lernen kann, die Beziehung zwischen dieser Entität und dem Betrachter (die Pose) darzustellen. Eine Capsule in einer Schicht stimmt für die Pose-Matrix vieler verschiedener Capsules in der darüberliegenden Schicht ab, indem sie ihre eigene Pose-Matrix mit trainierbaren, perspektivinvarianten Transformationsmatrizen multipliziert, die lernen können, Teile-Ganzes-Beziehungen zu erfassen. Jeder dieser Voten wird mit einem Zuordnungskoeffizienten gewichtet. Diese Koeffizienten werden iterativ für jedes Bild mittels des Erwartungswert-Maximierungsalgorithmus (Expectation-Maximization, EM) aktualisiert, sodass die Ausgabe jeder Capsule an eine Capsule in der darüberliegenden Schicht weitergeleitet wird, die eine Gruppe ähnlicher Voten erhält. Die Transformationsmatrizen werden diskriminativ trainiert, indem der Rückpropagationsalgorithmus über die ausgerollten Iterationen des EM-Verfahrens zwischen jeweils zwei benachbarten Capsule-Schichten durchgeführt wird. Auf dem smallNORB-Benchmark reduzieren Capsules die Anzahl der Testfehler im Vergleich zum Stand der Technik um 45 %. Zudem zeigen Capsules eine erheblich größere Robustheit gegenüber weißem Kasten-Adversarial-Angriffen im Vergleich zu unserem Baseline-Convolutional Neural Network.