초록
이 논문은 웹 애플리케이션 코드 생성 능력을 평가하기 위해 설계된 WebApp1K 벤치마크를 기반으로, 16개의 최첨단 대규모 언어 모델(Large Language Models, LLMs)을 평가한 결과를 제시한다. 분석 결과, 모든 모델은 유사한 기반 지식을 보유하고 있음에도 불구하고, 오류 발생 빈도의 차이에 따라 성능이 구분됨을 확인할 수 있었다. 코드 라인(Line of Code, LOC) 및 실패 분포를 분석한 결과, 올바른 코드를 작성하는 것은 잘못된 코드를 생성하는 것보다 훨씬 복잡함을 알 수 있었다. 또한 프롬프트 엔지니어링이 특정 사례를 제외하고는 오류 감소에 한정된 효과를 보임을 발견하였다. 이러한 결과는 코딩용 LLM의 향후 발전 방향이 모델의 신뢰성 강화와 오류 최소화에 초점을 맞춰야 함을 시사한다.