초록
우리는 자동완성 시스템에서 사용되는 코드 예측(다음 토큰 예측)의 정확도 분야에서 최신 기술 수준을 한층 끌어올렸다. 먼저, 최근 제안된 Transformer 아키텍처를 단순히 사전 훈련된 상태에서 사용함으로써, 기존의 신경망 기반 및 비신경망 기반 시스템을 모두 초월함을 보고한다. 그 후, Transformer 아키텍처가 코드의 구문 구조를 인지하도록 설계함으로써, 기존 Transformer 기반 시스템이 기존 방법들을 앞서는 정확도 격차를 더욱 확대함을 보여준다. 이를 통해 RNN 기반 시스템( Hellendoorn 등, 2018년과 유사한 구조)보다 18.3% 높은 정확도를 달성하였으며, Deep3 시스템(Raychev 등, 2016년)보다 14.1%, Code2Seq(Alon 등, 2018년)의 코드 예측을 위한 변형 버전보다 14.4% 높은 성능을 기록하였다.본 논문에서는 Transformer가 순서 기반 데이터를 처리하도록 설계된 구조를 고려할 때, 코드 구조 정보를 효과적으로 전달하는 여러 방법을 제안한다. 우리는 표준 파이썬 데이터셋과 페이스북 내부 파이썬 코퍼스를 대상으로 제안한 방법과 다양한 대안적 설계 선택지를 종합적으로 실험적으로 평가하였다. 본 연구의 코드 및 데이터 준비 파이프라인은 오픈소스로 공개될 예정이다.