基于代码片段的编程问题回答的大型语言模型微调

我们研究了预训练大型语言模型（LLM）在回答在线问答平台（如 Stack Overflow）中问题的能力。重点关注那些答案主体由源代码构成的问题-答案对。在两个基准数据集——CoNaLa 以及基于 Stack Overflow 新收集的数据集上，我们探讨了通过微调语言模型以适应下游任务、优化提示工程（prompt engineering）以及改进数据预处理等方法，如何提升闭卷问答系统的性能。实验中使用了公开可用的自回归语言模型，如 GPT-Neo、CodeGen 和 PanGu-Coder。经过所提出的微调策略后，模型在 CoNaLa 测试集上的 BLEU 得分达到 0.4432，显著超越了该任务此前的最先进水平。