이름 붙이기가 LLMs의 코드 분석 작업에 미치는 영향은 무엇인가?

대규모 언어 모델(Large Language Models, LLMs), 예를 들어 GPT와 BERT와 같은 모델들은 자연어 처리(Natural Language Processing, NLP)를 위해 제안되었으며, 일반 목적의 언어 모델로서 유망한 성과를 보여주고 있다. 점점 더 많은 산업 전문가와 연구자들이 프로그램 분석 작업에 LLMs를 도입하고 있다. 그러나 프로그래밍 언어와 자연어 사이에는 중요한 차이점이 있다. 즉, 프로그래머는 프로그램 내 변수, 메서드, 함수에 대해 임의의 이름을 부여할 수 있는 유연성을 가지지만, 자연어 작성자는 그러한 자유를 갖지 못한다. 직관적으로 프로그램 내 이름의 품질은 LLM이 프로그램 분석 작업에서의 성능에 영향을 미친다. 본 논문은 이름이 코드 분석 작업에서 LLM에 미치는 영향을 조사한다. 구체적으로, 변수, 메서드, 함수에 대해 의미 없거나 오해를 유도하는 이름을 포함한 데이터셋을 생성한 후, 잘 훈련된 모델(CodeBERT)을 활용하여 해당 데이터셋에서 코드 분석 작업을 수행한다. 실험 결과, 이름이 LLM 기반 코드 분석 작업의 성능에 중대한 영향을 미친다는 것이 확인되었으며, 이는 LLM 기반 코드 표현 학습이 코드 내 명확하고 잘 정의된 이름에 크게 의존하고 있음을 시사한다. 또한, GPT를 활용하여 일부 특수한 코드 분석 작업에 대한 사례 연구를 수행함으로써 추가적인 통찰을 제공한다.