ContextFlow++: 혼합 변수 컨텍스트 인코딩을 사용한 전문가-일반인 흐름 기반 생성 모델

정규화 흐름 기반 생성 모델은 정확한 밀도 추정이 중요한 응용 분야에서 널리 사용되고 있습니다. 최근 연구에서는 이러한 모델의 표현력을 개선하기 위한 다양한 방법을 제안하고 있습니다. 그러나, 양방향 흐름 연구에서 문맥(conditioning)에 대한 조건부 학습은 크게 간과된 영역입니다. 전통적인 벡터 연결(concatenation) 방식의 조건부 학습은 몇몇 흐름 유형에만 제한됩니다. 더욱 중요한 점은, 이 접근법이 고정된事前訓練된 일반 지식(일반주의, generalist) 모델과 함께 문맥 조건부(전문가, specialist) 모델들의 집합을 학습하는 실제 설정을 지원할 수 없다는 것입니다.우리는 이러한 제한을 극복하기 위해 명시적인 일반주의-전문가 지식 분리를 사용하는 가산적 조건부 학습(additive conditioning) 방식인 ContextFlow++ 접근법을 제안합니다. 또한, 제안된 혼합 변수 구조와 문맥 인코더를 통해 이산형 문맥(discrete contexts)을 지원합니다. 특히, 우리의 이산 변수를 위한 문맥 인코더는 문맥 조건부 연속 변수(context-conditioned continuous variables)를 샘플링하는 전사 사상(surjective flow)입니다.회전된 MNIST-R, 손상된 CIFAR-10C, 실제 세계의 ATM 예측 유지보수 및 SMAP 비지도 이상 탐지 벤치마크에서 수행한 실험 결과, 제안된 ContextFlow++가 더 빠르고 안정적인 학습을 제공하며 더 높은 성능 지표를 달성함을 보여주었습니다. 우리의 코드는 https://github.com/gudovskiy/contextflow 에 공개되어 있습니다.注：在翻译中，“事前訓練된” 是“预训练的”的意思，但为了保持句子的流畅性和正式性，建议将其改为“事前に 훈련된” 或者直接使用“事전훈련된”。以下是修改后的版本：우리는 이러한 제한을 극복하기 위해 명시적인 일반주의-전문가 지식 분리를 사용하는 가산적 조건부 학습(additive conditioning) 방식인 ContextFlow++ 접근법을 제안합니다. 또한, 제안된 혼합 변수 구조와 문脈 인코더를 통해 이산형 문맥(discrete contexts)을 지원합니다. 특히, 우리의 이산 변수를 위한 문맥 인코더는 문맥 조건부 연속 변수(context-conditioned continuous variables)를 샘플링하는 전사 사상(surjective flow)입니다.회전된 MNIST-R, 손상된 CIFAR-10C, 실제 세계의 ATM 예측 유지보수 및 SMAP 비지도 이상 탐지 벤치마크에서 수행한 실험 결과, 제안된 ContextFlow++가 더 빠르고 안정적인 학습을 제공하며 더 높은 성능 지표를 달성함을 보여주었습니다. 우리의 코드는 https://github.com/gudovskiy/contextflow 에 공개되어 있습니다.