GENESIS: 객체 중심 잠재 표현을 이용한 생성적 장면 추론 및 샘플링

생성 잠재 변수 모델은 로봇공학과 강화 학습 분야에서 유망한 도구로 떠오르고 있습니다. 그러나 이들 영역의 작업은 일반적으로 고유한 객체를 포함하지만, 대부분의 최신 생성 모델은 시각적 장면의 구성적 특성을 명시적으로 포착하지 않습니다. 최근 두 예외 사례인 MONet과 IODINE은 감독 없이 장면을 객체로 분해합니다. 그러나 이들의 기본적인 생성 과정은 구성 요소 간 상호 작용을 고려하지 않으므로, 새로운 장면을 원칙에 따라 샘플링할 수 없습니다. 본 연구에서는 GENESIS를 소개합니다. GENESIS는 3D 시각적 장면의 객체 중심 생성 모델로서, 장면 구성 요소 간 관계를 포착하여 장면을 분해하고 생성할 수 있는 첫 번째 모델입니다. GENESIS는 이미지에 대한 공간 GMM(가우스 혼합 모델)을 매개변수화하며, 이는 순차적으로 추론된 객체 중심 잠재 변수 집합 또는 자기 회귀 사전 확률분포에서 샘플링된 변수 집합으로 디코딩됩니다. 우리는 여러 공개 데이터셋에서 GENESIS를 훈련시키고, 그 성능을 장면 생성, 분해 및 준감독 학습 측면에서 평가했습니다.