要約

拡散型言語モデルは、自己回帰型コーディング手法に欠けている双方向的な文脈理解および穴埋め機能を実現する可能性を秘めているが、実用的なシステムは依然として重い課題を抱えている。本研究では、TPU上で訓練された17億パラメータの拡散コーディングモデル「CoDA」を提案する。CoDAは、完全にオープンソース化されたトレーニングパイプラインを採用しており、大規模な拡散事前学習に加え、コード中心のミドルトレーニングおよび指示チューニングを組み合わせることで、信頼度に基づくサンプリングを可能にし、推論遅延を競争力ある水準に維持している。Humaneval、MBPP、EvalPlusの各ベンチマークにおいて、CoDA-1.7B-Instructは最大70億パラメータ規模の拡散モデルと同等あるいはそれ以上の性能を達成している。本研究では、モデルのチェックポイント、評価ハarness、TPU用トレーニングパイプラインを公開することで、軽量な拡散ベースのコーディングアシスタントに関する研究を加速することを目的としている。