17일 전

수정된 흐름의 훈련 향상

Sangyun Lee, Zinan Lin, Giulia Fanti
수정된 흐름의 훈련 향상
초록

확산 모델은 이미지 및 영상 생성 분야에서 큰 잠재력을 보여왔지만, 최첨단 모델에서 샘플링을 수행하기 위해서는 생성적 ODE의 비용이 큰 수치적 적분이 필요하다. 이 문제를 해결하기 위한 한 가지 접근법으로는 보정된 흐름(rectified flows)이 있으며, 이는 트렁케이션 오차에 덜 민감한 매끄러운 ODE 경로를 반복적으로 학습한다. 그러나 보정된 흐름 역시 상대적으로 많은 함수 평가 횟수(NFE)를 요구한다. 본 연구에서는 보정된 흐름의 훈련 기술을 개선하여, 낮은 NFE 환경에서도 \emph{지식 증류(knowledge distillation)} 기법과 경쟁할 수 있도록 한다. 우리의 주요 통찰은 현실적인 설정 하에서 보정된 흐름 훈련을 위한 Reflow 알고리즘의 단일 반복만으로도 거의 직선에 가까운 경로를 학습할 수 있다는 점이다. 따라서 기존의 다중 Reflow 반복을 사용하는 관행은 불필요하다는 결론에 도달했다. 이를 바탕으로, 단일 라운드 훈련을 개선하기 위한 기법들을 제안한다. 구체적으로 U자형 타임스텝 분포와 LPIPS-Huber 전미터릭(pre metric)을 도입하였다. 이러한 기법들을 적용함으로써, CIFAR-10에서 1 NFE 환경에서 기존의 2-rectified flow의 FID를 최대 75%까지 향상시켰다. ImageNet 64×64에서도, 단일 스텝 및 이중 스텝 설정 모두에서 최첨단 증류 기법인 일관성 증류(consistency distillation)와 점진적 증류(progressive distillation)를 초월하며, 개선된 일관성 훈련(iCT)의 성능과도 비슷한 수준의 FID를 달성하였다. 코드는 https://github.com/sangyun884/rfpp 에 공개되어 있다.

수정된 흐름의 훈련 향상 | 최신 연구 논문 | HyperAI초신경