프로그래밍 질문에 코드 조각을 사용하여 답변하는 데 있어 대규모 언어 모델의 피니 튜닝

우리는 사전 훈련된 대규모 언어 모델(Large Language Model, LLM)이 Stack Overflow와 같은 온라인 질문-답변 포럼에서의 질문에 답변할 수 있는 능력을 연구한다. 본 연구에서는 답변의 주요 부분이 소스 코드로 구성된 질문-답변 쌍을 대상으로 한다. CoNaLa와 Stack Overflow 기반으로 새로 수집한 데이터셋이라는 두 가지 벤치마크 데이터셋을 이용하여, 폐쇄형 질문-답변 시스템의 성능을 개선하기 위해 LLM을 하류 작업에 맞게 미세조정(fine-tuning), 프롬프트 공학(prompt engineering), 데이터 전처리를 수행하는 방법을 탐구한다. 공개된 자동 회귀 언어 모델인 GPT-Neo, CodeGen, PanGu-Coder를 활용하며, 제안하는 미세조정 방식을 적용한 결과, CoNaLa 테스트 세트에서 BLEU 점수가 0.4432에 달하여 이 작업에 대한 기존 최고 성능을 크게 상회하였다.