잔여 흐름을 이용한 역할성 생성 모델링

플로우 기반 생성 모델은 역변환을 통해 확률 분포를 매개화하며 최대 우도 방법으로 학습될 수 있습니다. 역잔차 네트워크는 엄격한 구조적 제약보다 리프시츠 조건(Lipschitz conditions)만 필요로 하는 유연한 변환 가족을 제공합니다. 그러나 이전 연구에서는 밀도 추정을 위해 역잔차 네트워크를 편향된 로그 밀도 추정치에 의존하여 학습하였으며, 이 편향은 네트워크의 표현력이 증가함에 따라 커졌습니다. 우리는 "러시아 룰렛" 추정기를 사용하여 계산 가능한 비편향 로그 밀도 추정치를 제공하고, 대체 무한 급수를 사용하여 학습 중 필요한 메모리를 줄였습니다. 또한, 우리는 역잔차 블록의 성능을 개선하기 위해 도함수 포화를 피하는 활성화 함수의 사용을 제안하고 리프시츠 조건을 유도 혼합 노름(induced mixed norms)으로 일반화하였습니다. 이러한 접근법은 플로우 기반 모델 중 밀도 추정에서 최고 성능을 달성하였으며, 결합 생성 및 판별 모델링에서 커플링 블록을 사용하는 네트워크보다 우수한 성능을 보였습니다.