초록
최근 대규모 언어 모델(Large Language Models)은 코드 생성 분야에서 널리 활용되고 있다. 오픈애이(Optai)에서 개발한 GPT-4는 현재까지 가장 강력한 대규모 언어 모델로 평가받고 있다. 본 논문에서는 GPT-3.5와 GPT-4를 코딩 보조 도구로서 평가한다. 구체적으로, 두 시스템이 a) 코드 개발 과정에서 발생할 수 있는 일반적인 질문에 답할 수 있는지, b) 신뢰할 수 있는 코드를 생성할 수 있는지, 그리고 c) 코드 디버깅에 기여할 수 있는지를 확인하기 위해 적절한 테스트를 설계하였다. 테스트 결과는 매우 인상적이다. GPT-4의 성능은 뛰어나며, 프로그래머의 생산성 향상과 이러한 새로운 도구를 기반으로 한 소프트웨어 개발 절차의 재구성 가능성을 시사한다.