Yatai Ji Teng Wang Yuying Ge Zhiheng Liu Sidi Yang Ying Shan Ping Luo

초록

이산 확산 모델은 양방향적 문맥 모델링과 이론적 병렬화 가능성을 제공함으로써 시각-언어 임무에 있어 유망한 방향성으로 부상하고 있다. 그러나 학습과 추론 간의 불일치 문제로 인해 실제 적용이 심각하게 제약받고 있다. 이는 치명적인 오류 전파 현상을 유발한다. 병렬 디코딩 과정에서 초기 토큰 오류가 생성된 후, 이는 생성 맥락을 오염시키며 오류가 누적되는 연쇄 반응을 유도하고, 구문 오류 및 의미적 환각 현상을 초래한다. 이러한 근본적인 과제를 해결하기 위해, 우리는 생성 과정을 수동적 노이즈 제거에서 능동적 개선으로 재정의한다. 본 연구에서는 모델이 스스로의 오류를 식별하고 수정할 수 있도록 교육하는 ‘ReDiff’라는 개선 강화 확산 프레임워크를 제안한다. 제안한 방법은 이단계 학습 프로세스를 특징으로 한다. 첫 번째 단계에서는 합성 오류를 수정하도록 모델을 훈련함으로써 기초적인 수정 능력을 부여한다. 두 번째 단계에서는 모델이 전문가의 수정 사례를 학습함으로써 스스로 생성한 잘못된 초안을 수정하도록 명시적으로 훈련하는 새로운 온라인 자기보정 루프를 도입한다. 이러한 오류 기반 학습은 모델이 이미 생성한 출력을 다시 검토하고 개선할 수 있는 핵심 능력을 부여함으로써, 오류 전파를 효과적으로 차단한다. 광범위한 실험 결과는 ReDiff가 생성 콘텐츠의 통일성과 사실적 정확도를 크게 향상시킴으로써, 기존의 수동적 노이즈 제거 방법보다 훨씬 더 안정적이고 효율적인 병렬 생성을 가능하게 한다는 것을 입증한다. 본 연구의 코드와 모델은 https://rediff-hku.github.io/ 에 공개되어 있다.