
정규화 흐름( Normalizing flow)은 효율적인 샘플링이 가능한 생성 모델링 접근법이다. 그러나 흐름 기반 모델은 두 가지 문제를 겪는다. 첫째, 타겟 분포가 매니폴드(manifold) 구조를 가질 경우, 잠재 변수 분포와 데이터 분포 간 차원 불일치로 인해 흐름 기반 모델의 성능이 저하될 수 있다. 둘째, 이산형 데이터는 흐름 기반 모델이 점 질량(point masses)의 탈진한 혼합 모델(degenerate mixture)로 붕괴되게 할 수 있다. 이러한 문제를 해결하기 위해 우리는 패딩 차원 노이즈를 도입하는 새로운 디퀀타이제이션(dequantization) 방법인 PaddingFlow를 제안한다. PaddingFlow는 정규화 흐름의 차원을 패딩 차원 노이즈로 확장함으로써 성능을 향상시킨다. PaddingFlow를 구현하기 위해서는 정규화 흐름의 차원만 수정하면 되므로, 구현이 간단하고 계산 비용이 낮다. 또한 패딩 차원 노이즈는 패딩 차원에만 추가되므로, 데이터 분포를 변경하지 않고도 디퀀타이제이션을 수행할 수 있다. 기존의 디퀀타이제이션 방법은 데이터 분포를 변경해야 하며, 이는 성능 저하를 초래할 수 있다. 우리는 비조건부 밀도 추정의 주요 벤치마크에서 PaddingFlow의 성능을 검증하였으며, 이는 다섯 개의 표형(tabular) 데이터셋과 네 개의 이미지 데이터셋을 포함한 변분 오토인코더(Variational Autoencoder, VAE) 모델, 그리고 조건부 밀도 추정에 해당하는 역운동학(Inverse Kinematics, IK) 실험을 대상으로 하였다. 실험 결과, 본 논문에서 제시된 모든 실험에서 PaddingFlow가 더 우수한 성능을 보였으며, 이는 PaddingFlow가 다양한 작업에 널리 적합함을 의미한다. 코드는 다음 링크에서 확인할 수 있다: https://github.com/AdamQLMeng/PaddingFlow.