Command Palette

Search for a command to run...

14일 전

KLASS: KL을 통한 마스크된 확산 모델에서의 빠른 추론

Seo Hyun Kim Sunwoo Hong Hojung Jung Youngrok Park Se-Young Yun

KLASS: KL을 통한 마스크된 확산 모델에서의 빠른 추론

초록

마스킹된 확산 모델은 언어 생성을 포함한 다양한 작업에서 경쟁력 있는 성능을 보여주고 있다. 그러나 반복적인 정밀화 과정으로 인해 추론 과정에서 샘플링 속도가 느리고 정적이라는 한계가 존재한다. 이 문제를 해결하기 위해, 우리는 토큰 단위의 KL 발산을 활용하여 안정적이고 높은 신뢰도를 가진 예측을 식별하는 빠르고 효과적인 샘플링 방법인 KL-적응형 안정성 샘플링(KL-Adaptive Stability Sampling, KLASS)을 제안한다. 추가적인 모델 훈련 없이 각 반복 단계에서 다수의 토큰을 동시에 마스크 해제함으로써, 생성 속도를 크게 향상시키면서도 샘플 품질을 유지할 수 있다. 추론 벤치마크에서 KLASS는 기준 탐욕적 디코딩보다 성능을 향상시키며, 벽시계 기준 최대 2.78배의 속도 향상을 달성하여 확산 기반 샘플러 중 최고 수준의 성능을 기록하였다. 또한, 텍스트, 이미지, 분자 생성에 이르는 다양한 영역에서 KLASS의 유효성을 검증하여, 다양한 모델에 광범위하게 적용 가능한 샘플링 기법임을 입증하였다.

AI로 AI 구축

아이디어에서 출시까지 — 무료 AI 공동 코딩, 즉시 사용 가능한 환경, 최적 가격 GPU로 AI 개발을 가속화하세요.

AI 공동 코딩
즉시 사용 가능한 GPU
최적 가격
시작하기

Hyper Newsletters

최신 정보 구독하기
한국 시간 매주 월요일 오전 9시 에 이번 주의 최신 업데이트를 메일로 발송합니다
이메일 서비스 제공: MailChimp
KLASS: KL을 통한 마스크된 확산 모델에서의 빠른 추론 | 연구 논문 | HyperAI초신경