Command Palette
Search for a command to run...
Shangyuan Tong Nanye Ma Saining Xie Tommi Jaakkola

초록
최신의 흐름 모델은 놀라운 품질을 달성하지만, 느리고 반복적인 샘플링이 필요하다. 이를 가속화하기 위해 사전 훈련된 교사 모델의 흐름 맵을 촉진(다이스틸)하는 방법이 제안되어 왔다. 그러나 기존의 이 과정은 외부 데이터셋에서 샘플링을 수행해야 하는 단점이 있다. 본 연구에서는 이러한 데이터 의존성으로 인해 교사-데이터 불일치(teacher-data mismatch)라는 근본적인 위험이 발생할 수 있다고 주장한다. 정적 데이터셋은 교사 모델의 전체 생성 능력을 충분히 또는 정확히 반영하지 못할 수 있으며, 이는 생성 품질에 부정적 영향을 줄 수 있다. 이에 따라, 흐름 맵 촉진에 있어 데이터에 의존하는 것이 진정으로 필수적인지에 대해 의문을 제기한다. 본 연구에서는 데이터에 의존하지 않고, 오직 사전 분포(prior distribution)에서만 샘플링하는 데이터 없이(free)의 대안을 탐구한다. 이 사전 분포는 교사 모델이 구조적으로 반드시 따르게 되어 있어, 불일치 위험을 완전히 회피할 수 있다. 본 연구의 철학적 접근을 실현 가능한 방식으로 보여주기 위해, 교사 모델의 샘플링 경로를 예측하는 프리미티브한 프레임워크를 제안한다. 이 프레임워크는 자체적으로 누적되는 오류를 적극적으로 보정함으로써 높은 정밀도(high fidelity)를 보장한다. 제안한 방법은 모든 데이터 기반 대안을 능가하며, 상당한 격차로 새로운 최고 성능(state-of-the-art)을 수립한다. 구체적으로, SiT-XL/2+REPA에서 촉진한 결과, 이미지넷 256×256에서 FID 1.45, 512×512에서 FID 1.49를 달성하였으며, 각각 단 1단계의 샘플링만을 사용하였다. 본 연구가 생성 모델의 가속화를 위한 더 견고한 패러다임을 제시하고, 데이터 없이도 흐름 맵 촉진 기법의 광범위한 도입을 촉진하기를 기대한다.