SetVAE: 집합 구조 데이터의 생성 모델링을 위한 계층적 조합 학습

점군과 같이 집합 구조 데이터의 생성 모델링은 다양한 척도에서 국소적 및 전역적 구조에 대한 추론이 필요하다. 그러나 일반적인 순차적 데이터에 적용되는 다중 척도 프레임워크를 집합 구조 데이터에 적용하는 것은 요소들의 순열 불변성(permutation invariance)을 보장해야 한다는 점에서 비선형적이다. 본 논문에서는 집합을 위한 계층적 변분 오토인코더인 SetVAE를 제안한다. 최근의 집합 인코딩 기술의 발전에 영감을 받아, SetVAE는 주의 메커니즘(attentional modules)을 기반으로 하며, 먼저 집합을 분할하고 분할된 결과를 원래의 원소 개수로 다시 매핑하는 구조를 채택한다. 이 모듈을 활용함으로써, 제안하는 계층적 VAE는 다양한 척도에서 잠재 변수를 학습하여 집합 원소 간의 거시적에서 미시적까지의 의존성을 포착하면서도 순열 불변성을 유지한다. 우리는 점군 생성 작업에서 제안 모델을 평가하여, 상대적으로 훨씬 작은 모델 용량으로 기존의 최고 성능 모델들과 경쟁 가능한 성능을 달성하였다. 또한 질적 실험을 통해, 모델이 사전 학습되지 않은 집합 크기에 대해 일반화 가능하며, 감독 없이도 흥미로운 부분 집합 관계를 학습함을 입증하였다. 본 연구의 구현 코드는 https://github.com/jw9730/setvae 에서 공개되어 있다.