Command Palette
Search for a command to run...
협력 확산-자기회귀 패러다임 SDAR
시너지스틱 확산-자기회귀(Synergistic Diffusion-AutoRegression, SDAR)는 2025년 10월 상하이 인공지능 연구실에서 제안되었으며, 관련 연구 결과는 논문 "SDAR: 확장 가능한 시퀀스 생성을 위한 시너지적 확산-자기회귀 패러다임".
SDAR은 새로운 언어 모델링 프레임워크를 구축하는 협력적 확산-자기회귀 패러다임입니다. 자기회귀의 학습 효율성과 확산의 병렬 추론 기능을 결합하여 자기회귀 학습의 효율성과 확산 기반 추론의 병렬성을 조화시키는 것을 목표로 합니다. SDAR의 핵심 원리는 두 단계를 분리하는 것입니다. 첫 번째 단계는 안정성과 효율성을 보장하기 위해 전체 AR 사전 학습을 활용하는 것이고, 두 번째 단계는 모델이 블록 기반 확산 디코딩을 수행할 수 있도록 가벼운 적응 단계를 도입하는 것입니다. 이 설계는 키-값 캐싱, 가변 길이 생성, 강력한 최적화 동작과 같은 AR의 실질적인 이점을 유지하면서도 확산의 고유한 블록 내 병렬 생성 이점을 극대화합니다.