DeepSeek-Coder：大規模言語モデルがプログラミングと出会ったとき――コードインテリジェンスの台頭

大規模言語モデルの急速な発展により、ソフトウェア開発におけるコードインテリジェンスが大きく進化している。しかし、閉鎖型モデルの優位性が、広範な研究開発を制限する要因となっていた。こうした課題に対応するため、本研究では、2兆トークンにのぼる高品質なプロジェクトレベルのコードコーパスを用いて、スクラッチから訓練された、1.3B～33Bのパラメータ規模を有するオープンソースコードモデル「DeepSeek-Coderシリーズ」を紹介する。これらのモデルは、16Kのウィンドウサイズを採用した「穴埋め」タスクを用いて、コード生成およびコード補完性能を強化している。広範な評価結果から、DeepSeek-Coderは複数のベンチマークにおいて、オープンソースコードモデルの中でも最先端の性能を達成しているだけでなく、CodexやGPT-3.5といった既存の閉鎖型モデルをも上回ることが明らかになった。さらに、DeepSeek-Coderモデルは、研究および無制限な商用利用を許可する柔軟なライセンスのもとで提供されている。