초록

확산 언어 모델은 순방향 자동 회귀 코더가 갖지 못한 이방향 컨텍스트 처리 및 중간 채우기(인필링) 기능을 제공할 것으로 기대되지만, 실용적인 시스템은 여전히 무거운 부담을 안고 있다. 우리는 TPU에서 훈련된 17억 파라미터의 확산 코더인 CoDA를 소개한다. CoDA는 완전히 오픈소스 훈련 파이프라인을 갖추고 있으며, 대규모 확산 사전 훈련을 코드 중심의 중간 훈련 및 지시 조정(instruction tuning)과 결합함으로써, 추론 지연(latency)을 경쟁 수준으로 유지하면서 신뢰도 기반 샘플링을 가능하게 한다. Humaneval, MBPP, EvalPlus 평가에서 CoDA-1.7B-Instruct는 최대 70억 파라미터 규모의 확산 모델과 비교해도 동등하거나 이를 능가한다. 본 연구에서 공개하는 내용에는 모델 체크포인트, 평가용 허니스(평가 허브), TPU 기반 훈련 파이프라인 등이 포함되어 있어, 경량 확산 기반 코딩 보조 도구에 대한 연구를 가속화할 수 있다.