Command Palette

Search for a command to run...

7시간 전

데이터 없는 흐름 맵 증류

Shangyuan Tong Nanye Ma Saining Xie Tommi Jaakkola

데이터 없는 흐름 맵 증류

초록

최신의 흐름 모델은 놀라운 품질을 달성하지만, 느리고 반복적인 샘플링이 필요하다. 이를 가속화하기 위해 사전 훈련된 교사 모델의 흐름 맵을 촉진(다이스틸)하는 방법이 제안되어 왔다. 그러나 기존의 이 과정은 외부 데이터셋에서 샘플링을 수행해야 하는 단점이 있다. 본 연구에서는 이러한 데이터 의존성으로 인해 교사-데이터 불일치(teacher-data mismatch)라는 근본적인 위험이 발생할 수 있다고 주장한다. 정적 데이터셋은 교사 모델의 전체 생성 능력을 충분히 또는 정확히 반영하지 못할 수 있으며, 이는 생성 품질에 부정적 영향을 줄 수 있다. 이에 따라, 흐름 맵 촉진에 있어 데이터에 의존하는 것이 진정으로 필수적인지에 대해 의문을 제기한다. 본 연구에서는 데이터에 의존하지 않고, 오직 사전 분포(prior distribution)에서만 샘플링하는 데이터 없이(free)의 대안을 탐구한다. 이 사전 분포는 교사 모델이 구조적으로 반드시 따르게 되어 있어, 불일치 위험을 완전히 회피할 수 있다. 본 연구의 철학적 접근을 실현 가능한 방식으로 보여주기 위해, 교사 모델의 샘플링 경로를 예측하는 프리미티브한 프레임워크를 제안한다. 이 프레임워크는 자체적으로 누적되는 오류를 적극적으로 보정함으로써 높은 정밀도(high fidelity)를 보장한다. 제안한 방법은 모든 데이터 기반 대안을 능가하며, 상당한 격차로 새로운 최고 성능(state-of-the-art)을 수립한다. 구체적으로, SiT-XL/2+REPA에서 촉진한 결과, 이미지넷 256×256에서 FID 1.45, 512×512에서 FID 1.49를 달성하였으며, 각각 단 1단계의 샘플링만을 사용하였다. 본 연구가 생성 모델의 가속화를 위한 더 견고한 패러다임을 제시하고, 데이터 없이도 흐름 맵 촉진 기법의 광범위한 도입을 촉진하기를 기대한다.

AI로 AI 구축

아이디어에서 출시까지 — 무료 AI 공동 코딩, 즉시 사용 가능한 환경, 최적 가격 GPU로 AI 개발을 가속화하세요.

AI 공동 코딩
즉시 사용 가능한 GPU
최적 가격
시작하기

Hyper Newsletters

최신 정보 구독하기
한국 시간 매주 월요일 오전 9시 에 이번 주의 최신 업데이트를 메일로 발송합니다
이메일 서비스 제공: MailChimp
데이터 없는 흐름 맵 증류 | 연구 논문 | HyperAI초신경