Zu skalierbaren und zuverlässigen Kapselnetzen für anspruchsvolle NLP-Anwendungen

Hindernisse, die die Entwicklung von Kapselnetzen für anspruchsvolle NLP-Anwendungen behindern, umfassen eine mangelnde Skalierbarkeit auf große Ausgaberaumdimensionen und weniger zuverlässige Routingprozesse. In dieser Arbeit stellen wir folgende Ansätze vor: 1) einen Übereinstimmungswert (agreement score), um die Leistung der Routingprozesse auf Instanzenebene zu bewerten; 2) einen adaptiven Optimierer, um die Zuverlässigkeit des Routings zu erhöhen; 3) Kapselkompression und teilweises Routing, um die Skalierbarkeit von Kapselnetzen zu verbessern. Wir überprüfen unseren Ansatz anhand zweier NLP-Aufgaben, nämlich der Multi-Label-Textklassifizierung und der Fragebeantwortung. Die experimentellen Ergebnisse zeigen, dass unser Ansatz in beiden Aufgaben erheblich bessere Ergebnisse als starke Konkurrenten erzielt. Darüber hinaus erhalten wir in Ressourcen-schwachen Szenarien mit wenigen Trainingsinstanzen die besten Ergebnisse.