Command Palette
Search for a command to run...
Seo Hyun Kim Sunwoo Hong Hojung Jung Youngrok Park Se-Young Yun

초록
마스킹된 확산 모델은 언어 생성을 포함한 다양한 작업에서 경쟁력 있는 성능을 보여주고 있다. 그러나 반복적인 정밀화 과정으로 인해 추론 과정에서 샘플링 속도가 느리고 정적이라는 한계가 존재한다. 이 문제를 해결하기 위해, 우리는 토큰 단위의 KL 발산을 활용하여 안정적이고 높은 신뢰도를 가진 예측을 식별하는 빠르고 효과적인 샘플링 방법인 KL-적응형 안정성 샘플링(KL-Adaptive Stability Sampling, KLASS)을 제안한다. 추가적인 모델 훈련 없이 각 반복 단계에서 다수의 토큰을 동시에 마스크 해제함으로써, 생성 속도를 크게 향상시키면서도 샘플 품질을 유지할 수 있다. 추론 벤치마크에서 KLASS는 기준 탐욕적 디코딩보다 성능을 향상시키며, 벽시계 기준 최대 2.78배의 속도 향상을 달성하여 확산 기반 샘플러 중 최고 수준의 성능을 기록하였다. 또한, 텍스트, 이미지, 분자 생성에 이르는 다양한 영역에서 KLASS의 유효성을 검증하여, 다양한 모델에 광범위하게 적용 가능한 샘플링 기법임을 입증하였다.