SetVAE : Apprentissage de la composition hiérarchique pour la modélisation générative de données structurées en ensemble

La modélisation générative de données structurées en ensemble, telles que les nuages de points, nécessite une raison sur des structures locales et globales à différentes échelles. Toutefois, l’adaptation de cadres multi-échelles conçus pour des données séquentielles ordinaires aux données structurées en ensemble s’avère non triviale, car elle doit être invariante aux permutations de ses éléments. Dans cet article, nous proposons SetVAE, un auto-encodeur variationnel hiérarchique dédié aux ensembles. Inspirés des récents progrès dans l’encodage d’ensembles, nous construisons SetVAE autour de modules attentifs qui partitionnent d’abord l’ensemble, puis projettent cette partition de retour vers la cardinalité d’origine. Grâce à ce module, notre auto-encodeur hiérarchique apprend des variables latentes à plusieurs échelles, capturant ainsi les dépendances de grosses à fines entre les éléments de l’ensemble tout en assurant l’invariance aux permutations. Nous évaluons notre modèle sur la tâche de génération de nuages de points, où il atteint des performances compétitives par rapport aux méthodes précédentes, avec une capacité de modèle significativement réduite. Nous démontrons qualitativement que notre modèle généralise à des tailles d’ensemble non vues auparavant et apprend des relations intéressantes entre sous-ensembles sans apprentissage supervisé. Notre implémentation est disponible à l’adresse suivante : https://github.com/jw9730/setvae.