CodeTrans: Self-Supervised Deep Learning 및 High Performance Computing을 통한 실리콘 코드 언어 해독 연구

현재, 성숙한 자연어 처리 응용 프로그램이 점점 더 많은 사람들에게 편의를 제공하고 있습니다. 이러한 응용 프로그램은 소프트웨어 공학에서 사용되는 소스 코드 언어로 구축됩니다. 그러나 소프트웨어 공학 과정을 용이하게 하기 위한 소스 코드 언어 이해 응용 프로그램에 대한 연구는 아직 부족한 상태입니다. 동시에, 트랜스포머 모델, 특히 전이 학습과의 조합은 자연어 처리 작업에 있어 강력한 기술임이 입증되었습니다. 이러한 혁신들은 소스 코드 처리와 소프트웨어 공학 작업 해결을 위한 유망한 방향성을 제시합니다.본 논문에서는 CodeTrans(코드트랜스)를 소개합니다. CodeTrans는 소프트웨어 공학 영역에서의 작업을 위해 설계된 인코더-디코더 트랜스포머 모델로, 6개의 소프트웨어 공학 작업과 13개의 하위 작업에서 인코더-디코더 트랜스포머 모델의 효과성을 탐구합니다. 또한, 단일 작업 학습, 전이 학습, 다중 작업 학습 및 미세 조정을 포함한 다양한 훈련 전략의 영향을 조사하였습니다. CodeTrans는 모든 작업에서 최신 모델들을 능가하는 성능을 보였습니다. 미래의 소프트웨어 공학 영역 연구를 가속화하기 위해, 우리는 CodeTrans의 사전 훈련된 모델들을 공개하였습니다. https://github.com/agemagician/CodeTrans