Kapsel-Routing durch variationelle Bayes-Verfahren

Kapselnetze sind ein kürzlich vorgeschlagener Typ von neuronalen Netzen, der sich bei anspruchsvollen Aufgaben der Formerkennung als überlegen erwiesen hat. In Kapselnetzen werden skalare Neuronen durch Kapselvektoren oder -matrizen ersetzt, deren Einträge verschiedene Eigenschaften von Objekten darstellen. Die Beziehungen zwischen Objekten und ihren Teilen werden durch lernbare, sichtweise invariante Transformationsmatrizen gelernt, und die Anwesenheit eines bestimmten Objekts wird anhand des Übereinstimmungsgrades der Stimmen seiner Teile entschieden. Diese Interaktion findet zwischen den Kapselschichten statt und wird als Routing-by-Agreement bezeichnet. In dieser Arbeit schlagen wir einen neuen Kapsel-Routing-Algorithmus vor, der auf Variational Bayes basiert und zur Anpassung einer Mischung transformierender Gaußscher Verteilungen dient. Wir zeigen, dass es möglich ist, unser Kapselnetz in eine Capsule-VAE zu transformieren. Unser bayesscher Ansatz behebt einige der inhärenten Schwächen von MLE-basierten Modellen wie die Varianz-Kollaps, indem er Unsicherheiten über die Poseparameter der Kapseln modelliert. Wir erreichen den Stand der Technik auf smallNORB mit 50 % weniger Kapseln als bisher berichtet und erzielen wettbewerbsfähige Leistungen auf CIFAR-10, Fashion-MNIST und SVHN. Darüber hinaus demonstrieren wir eine signifikante Verbesserung der Generalisierung von MNIST zu affNIST im Vergleich zu früheren Arbeiten.