HyperAIHyperAI

Command Palette

Search for a command to run...

데이터 없는 흐름 맵 증류

Shangyuan Tong Nanye Ma Saining Xie Tommi Jaakkola

초록

최신의 흐름 모델은 놀라운 품질을 달성하지만, 느리고 반복적인 샘플링이 필요하다. 이를 가속화하기 위해 사전 훈련된 교사 모델의 흐름 맵을 촉진(다이스틸)하는 방법이 제안되어 왔다. 그러나 기존의 이 과정은 외부 데이터셋에서 샘플링을 수행해야 하는 단점이 있다. 본 연구에서는 이러한 데이터 의존성으로 인해 교사-데이터 불일치(teacher-data mismatch)라는 근본적인 위험이 발생할 수 있다고 주장한다. 정적 데이터셋은 교사 모델의 전체 생성 능력을 충분히 또는 정확히 반영하지 못할 수 있으며, 이는 생성 품질에 부정적 영향을 줄 수 있다. 이에 따라, 흐름 맵 촉진에 있어 데이터에 의존하는 것이 진정으로 필수적인지에 대해 의문을 제기한다. 본 연구에서는 데이터에 의존하지 않고, 오직 사전 분포(prior distribution)에서만 샘플링하는 데이터 없이(free)의 대안을 탐구한다. 이 사전 분포는 교사 모델이 구조적으로 반드시 따르게 되어 있어, 불일치 위험을 완전히 회피할 수 있다. 본 연구의 철학적 접근을 실현 가능한 방식으로 보여주기 위해, 교사 모델의 샘플링 경로를 예측하는 프리미티브한 프레임워크를 제안한다. 이 프레임워크는 자체적으로 누적되는 오류를 적극적으로 보정함으로써 높은 정밀도(high fidelity)를 보장한다. 제안한 방법은 모든 데이터 기반 대안을 능가하며, 상당한 격차로 새로운 최고 성능(state-of-the-art)을 수립한다. 구체적으로, SiT-XL/2+REPA에서 촉진한 결과, 이미지넷 256×256에서 FID 1.45, 512×512에서 FID 1.49를 달성하였으며, 각각 단 1단계의 샘플링만을 사용하였다. 본 연구가 생성 모델의 가속화를 위한 더 견고한 패러다임을 제시하고, 데이터 없이도 흐름 맵 촉진 기법의 광범위한 도입을 촉진하기를 기대한다.


AI로 AI 구축

아이디어에서 출시까지 — 무료 AI 코코딩, 즉시 사용 가능한 환경, 최적의 GPU 가격으로 AI 개발을 가속화하세요.

AI 협업 코딩
바로 사용 가능한 GPU
최적의 가격

HyperAI Newsletters

최신 정보 구독하기
한국 시간 매주 월요일 오전 9시 에 이번 주의 최신 업데이트를 메일로 발송합니다
이메일 서비스 제공: MailChimp
데이터 없는 흐름 맵 증류 | 문서 | HyperAI초신경