SetVAE: Lernen hierarchischer Komposition für die generative Modellierung von mengenstrukturierten Daten

Die generative Modellierung von mengenstrukturierten Daten, wie beispielsweise Punktwolken, erfordert die Berücksichtigung lokaler und globaler Strukturen auf verschiedenen Skalen. Die Übertragung von Multi-Skala-Frameworks, die für gewöhnliche sequenzielle Daten entwickelt wurden, auf mengenstrukturierte Daten ist jedoch nicht trivial, da das Modell permutationsinvariant gegenüber den Elementen der Menge sein muss. In diesem Paper stellen wir SetVAE vor, einen hierarchischen variationalen Autoencoder für Mengen. Angeregt durch jüngste Fortschritte in der Mengencodierung bauen wir SetVAE auf Aufmerksamkeitsmodulen auf, die zunächst die Menge partitionieren und die Partition anschließend wieder auf die ursprüngliche Kardinalität abbilden. Durch die Nutzung dieses Moduls lernt unser hierarchischer VAE latente Variablen auf mehreren Skalen, wodurch sowohl grobe als auch feine Abhängigkeiten zwischen den Mengenelementen erfasst werden können, gleichzeitig aber die Permutationsinvarianz gewährleistet bleibt. Wir evaluieren unser Modell im Task der Punktwolken-Generierung und erreichen eine konkurrenzfähige Leistung im Vergleich zu vorherigen Ansätzen, wobei das Modell erheblich geringere Kapazität benötigt. Qualitativ zeigen wir, dass unser Modell auf unbekannte Mengengrößen generalisiert und interessante Teilmenge-Beziehungen ohne überwachtes Lernen erlernt. Die Implementierung ist unter https://github.com/jw9730/setvae verfügbar.