コードスニペットを用いたプログラミング質問への回答のための大規模言語モデルのファインチューニング

事前学習された大規模言語モデル（LLM）が、Stack Overflowのようなオンライン質問応答フォーラムからの質問に回答する能力について研究する。本研究では、回答の主要部分がソースコードで構成される質問・回答ペアを対象とする。CoNaLaおよびStack Overflowに基づいて新たに収集したデータセットという2つのベンチマークデータセット上で、下流タスク向けの微調整（fine-tuning）、プロンプト工学（prompt engineering）、データ前処理の手法を用いて、閉じた書籍型（closed-book）質問応答システムの性能向上を検証する。公開されている自己回帰型言語モデル（GPT-Neo、CodeGen、PanGu-Coderなど）を用い、提案する微調整手法を適用した結果、CoNaLaテストセットにおいてBLEUスコア0.4432を達成し、このタスクにおける従来の最良手法を顕著に上回った。