한 달 전

MaCow: 마스크된 합성곱 생성 흐름

Xuezhe Ma; Xiang Kong; Shanghang Zhang; Eduard Hovy
MaCow: 마스크된 합성곱 생성 흐름
초록

유동 기반 생성 모델은 정확한 로그-우도 계산과 잠재 변수 추론의 실현 가능성, 그리고 학습과 샘플링의 효율성으로 인해 개념적으로 매력적이며, 이는 많은 인상적인 경험적 성공과 고급 변형 및 이론적 연구를 촉발시켰습니다. 그러나 그들의 계산 효율성에도 불구하고, 유동 기반 생성 모델의 밀도 추정 성능은 최신 자기 회귀 모델에 비해 크게 뒤떨어집니다. 본 연구에서는 마스킹된 합성곱을 사용하는 간단하면서도 효과적인 유동 기반 생성 모델 구조인 마스킹된 합성곱 유동(MaCow)을 소개합니다. 작은 커널에서의 국소 연결성을 제한함으로써, MaCow는 빠르고 안정적인 학습 및 효율적인 샘플링의 특성을 유지하면서 표준 이미지 벤치마크에서 Glow보다 상당히 개선된 밀도 추정 성능을 달성하여 자기 회귀 모델과의 격차를 크게 좁혔습니다.