생성 모델링을 위한 플로우 매칭

지속적 정규화 흐름(Continuous Normalizing Flows, CNFs)을 기반으로 한 생성 모델링의 새로운 패러다임을 제안한다. 이는 기존에 없던 규모로 CNFs를 훈련할 수 있도록 한다. 구체적으로, 고정된 조건부 확률 경로의 벡터 필드를 회귀하는 방식으로 CNFs를 훈련하는 '흐름 매칭(Flow Matching, FM)'의 개념을 제시한다. FM은 노이즈와 데이터 샘플 간의 변환을 위한 일반적인 가우시안 확률 경로의 가족과 호환되며, 기존의 확산 경로(diffusion paths)를 특수한 사례로 포함한다. 흥미롭게도, 확산 경로와 함께 FM을 활용할 경우, 확산 모델을 훈련하는 데 있어 더 강건하고 안정적인 대안이 된다는 점을 발견했다. 더 나아가, 흐름 매칭은 확산 외의 다른 비확산 확률 경로를 이용한 CNFs 훈련을 가능하게 한다. 특히 주목할 만한 예는 최적 운송(Optimal Transport, OT) 이동 보간법을 활용하여 조건부 확률 경로를 정의하는 것이다. 이러한 경로는 확산 경로보다 더 효율적이며, 훈련과 샘플링 속도가 빠르고, 일반화 성능도 향상된다. ImageNet에서 흐름 매칭을 이용한 CNFs 훈련은 확산 기반의 대안 방법들과 비교해 우수한 로그우도(log-likelihood) 및 샘플 품질을 지속적으로 달성하며, 표준 수치적 상미분 방정식(OED) 해법기를 활용해 빠르고 신뢰할 수 있는 샘플 생성이 가능하다.