17일 전

블록 흐름: 데이터 블록 상에서의 직선 흐름 학습

Zibin Wang, Zhiyuan Ouyang, Xiangyun Zhang
블록 흐름: 데이터 블록 상에서의 직선 흐름 학습
초록

플로우 매칭 모델은 효율적인 샘플링과 유연한 확률 경로 모델링을 가능하게 하여 다양한 응용 분야에서 강력한 프레임워크를 제공한다. 이러한 모델은 학습된 생성 경로에서 낮은 곡률을 가지는 플로우를 특징으로 하며, 이로 인해 각 샘플링 단계에서의 절단 오차가 감소한다. 곡률을 추가로 줄이기 위해 본 연구에서는 블록 매칭(block matching)을 제안한다. 이 새로운 접근법은 레이블 정보를 활용하여 데이터 분포를 블록으로 분할하고, 동일한 레이블 정보를 사용해 파라미터화된 사전 분포와 매칭함으로써 더 직선에 가까운 플로우를 학습한다. 우리는 사전 분포의 분산이 플로우 매칭 모델에서 전방 경로의 곡률 상한을 조절할 수 있음을 입증한다. 이러한 분산을 유연한 정규화 전략으로 조절함으로써, 생성 샘플의 다양성을 유지하면서 수치적 해법 오차를 최소화하는 데 효과적으로 균형을 이룰 수 있으며, 최적의 생성 성능을 달성할 수 있다. 실험 결과는 동일한 파라미터 규모를 가진 기존 모델들과 경쟁 가능한 성능을 보였다. 코드는 \url{https://github.com/wpp13749/block_flow}에서 제공된다.

블록 흐름: 데이터 블록 상에서의 직선 흐름 학습 | 최신 연구 논문 | HyperAI초신경