HyperAIHyperAI

Command Palette

Search for a command to run...

협력 확산-자기회귀 패러다임 SDAR

날짜

6달 전

조직

상하이 인공 지능 연구소

Paper URL

2510.06303

시너지스틱 확산-자기회귀(Synergistic Diffusion-AutoRegression, SDAR)는 2025년 10월 상하이 인공지능 연구실에서 제안되었으며, 관련 연구 결과는 논문 "SDAR: 확장 가능한 시퀀스 생성을 위한 시너지적 확산-자기회귀 패러다임".

SDAR은 새로운 언어 모델링 프레임워크를 구축하는 협력적 확산-자기회귀 패러다임입니다. 자기회귀의 학습 효율성과 확산의 병렬 추론 기능을 결합하여 자기회귀 학습의 효율성과 확산 기반 추론의 병렬성을 조화시키는 것을 목표로 합니다. SDAR의 핵심 원리는 두 단계를 분리하는 것입니다. 첫 번째 단계는 안정성과 효율성을 보장하기 위해 전체 AR 사전 학습을 활용하는 것이고, 두 번째 단계는 모델이 블록 기반 확산 디코딩을 수행할 수 있도록 가벼운 적응 단계를 도입하는 것입니다. 이 설계는 키-값 캐싱, 가변 길이 생성, 강력한 최적화 동작과 같은 AR의 실질적인 이점을 유지하면서도 확산의 고유한 블록 내 병렬 생성 이점을 극대화합니다.

AI로 AI 구축

아이디어에서 출시까지 — 무료 AI 코코딩, 즉시 사용 가능한 환경, 최적의 GPU 가격으로 AI 개발을 가속화하세요.

AI 협업 코딩
바로 사용 가능한 GPU
최적의 가격

HyperAI Newsletters

최신 정보 구독하기
한국 시간 매주 월요일 오전 9시 에 이번 주의 최신 업데이트를 메일로 발송합니다
이메일 서비스 제공: MailChimp