Command Palette
Search for a command to run...
DiDi-Instruct 사후 훈련 방법
DiDi-Instruct(Discrete Diffusion Divergence Instruction)는 퍼듀 대학교, 텍사스 대학교, 샤오홍슈 하이랩 등의 연구팀에 의해 2025년 9월에 제안되었습니다. 관련 연구 결과는 "[…]" 논문에 게재되었습니다.이산 확산 발산 지시를 통한 초고속 언어 생성".
이산 확산 명령어(DiDi-Instruct)는 빠른 언어 생성을 위한 새로운 증류 프레임워크입니다. 사전 훈련된(마스크 처리된) 이산 확산 언어 모델(dLLM)을 초기화하고, 몇 단계만으로 학생 모델을 증류하여 빠른 생성을 구현합니다. 결과적으로 생성된 DiDi-Instruct 모델은 dLLM 교사 모델 및 GPT-2 기준 모델과 동등하거나 그 이상의 성능을 달성하는 동시에 최대 64배의 속도 향상을 달성합니다.