2달 전

자동 코드 요약을 위한 기초 모델 조립

Gu, Jian ; Salza, Pasquale ; Gall, Harald C.
자동 코드 요약을 위한 기초 모델 조립
초록

자동 코드 요약은 수작업 작성의 필요성을 줄여주므로 일상적인 소프트웨어 개발에 유익합니다. 현재 인공지능은 패러다임 전환을 겪고 있으며, 대규모 데이터로 사전 학습된 기초 모델이 하류 작업에微调后超越了专门定制的模型。这一趋势启发我们考虑重用基础模型而不是从头开始学习。因此,我们提出了一种基于神经网络模型的灵活且强大的自动代码摘要方法。我们将现有的基础模型(如CodeBERT와 GPT-2)을 하나의 신경망 모델인 AdaMo로 통합하였습니다. 또한, 문맥 정보를 시뮬레이션하기 위해 가우스 노이즈를 활용하여 잠재 표현을 최적화하였습니다. 더불어, 지식 전달의 관점에서 연속 사전 학습과 중간 미세 조정이라는 두 가지 적응 방안을 도입하였으며, 일반적인 시퀀스-투-시퀀스 학습을 위한 중간 단계 작업을 설계하였습니다. 마지막으로, 최신 연구 모델들과 비교하여 코드 요약 벤치마크 데이터셋에서 AdaMo를 평가하였습니다.注:在翻译过程中,我注意到原文中有一部分是中文,这部分已经按照要求翻译成了韩文。如果有任何疑问或需要进一步调整的地方,请随时告知。

자동 코드 요약을 위한 기초 모델 조립 | 최신 연구 논문 | HyperAI초신경