HyperAIHyperAI

Command Palette

Search for a command to run...

AI 코드 도구 오류율 25%로 분석

Waterloo 대학교의 새로운 연구에 따르면 현재 주요 AI 코딩 도구들은 작업 수행 시 네 번 중 한 번, 즉 약 25%의 확률로 오류를 범하는 것으로 드러났습니다. 이는 대형 언어 모델 (LLM) 이 소프트웨어 개발 프로세스에 점차 통합되고 있는 상황에서 생성된 응답의 정확성과 신뢰성에 대한 의문을 제기합니다. 연구진은 "StructEval: Benchmarking LLMs' Capabilities to Generate Structural Outputs"라는 제목의 논문을 통해 개발자들이 AI 응답의 일관성과 대규모 워크플로우 통합의 난관을 겪고 있음을 지적했습니다. 이번 연구는 OpenAI, Google, Anthropic 등 주요 기술 기업들이 도입한 '구조화 출력' 기능이 실제로 얼마나 효과적인지를 검증하기 위해 수행되었습니다. 구조화 출력은 LLM 의 응답을 JSON, XML, Markdown 등 미리 정의된 형식으로 제한하여 인간과 소프트웨어 시스템이 이를 더 쉽게 읽을 수 있도록 하는 기술입니다. 하지만 Waterloo 대학 연구팀은 이러한 기술이 여전히 개발자들의 기대만큼 신뢰할 수 없음을 밝혔습니다. 시험 결과 가장 고급스러운 모델들조차 약 75% 의 정확도만을 달성했으며, 오픈소스 모델들의 경우 약 65% 수준의 성능을 보였습니다. 연구진은 11 개의 LLM 모델을 대상으로 18 가지 구조화 출력 형식과 44 개의 다양한 작업을 테스트했습니다. 이 과정은 코드의 구문적 규칙 준수 여부뿐만 아니라 실제 작업 수행의 정확성까지 종합적으로 평가하는 데 초점을 맞추었습니다. 공동 저자인 컴퓨터공학 박사과정생인 동푸 장은 "이러한 연구를 통해 코드가 규칙을 따르는지 여부를 넘어 실제 작업 결과가 정확한지를 측정하고자 했다"고 설명했습니다. 그는 텍스트 기반 작업에서는 모델들이 제법 괜찮은 성과를 보였지만, 이미지, 비디오 또는 웹사이트 생성과 같은 복잡한 작업에서는 큰 어려움을 겪는다고 덧붙였습니다. 이번 연구는 Waterloo 대학의 학부생인 지아린 양과 컴퓨터공학 교수인 문후 쩐 박사가 주도했으며, 전 세계 17 명의 연구진이 데이터 주석 작업에 협력했습니다. 쩐 교수는 "최근 연구실에서는 비슷한 벤치마킹 프로젝트가 활발히 진행되고 있다"며 "Waterloo 학생들은 annotator 로 시작해 직접 프로젝트를 조직하고 벤치마킹 연구를 수행하는 등 AI 를 단순히 사용하는 것을 넘어 개발하고 평가하는 과정에 깊이 관여한다"고 강조했습니다. 연구진은 LLM 의 구조화 출력이 소프트웨어 개발 분야에서 중요한 진전이지만, 아직은 인간 감독 없이 독자적으로 작동하기에는 신뢰도가 충분하지 않다고 결론지었습니다. 개발자들이 이러한 AI 에이전트를 업무에 활용하더라도 지속적인 인간의 감독이 필수적이라는 것입니다. 이는 현재 AI 기술이 소프트웨어 개발의 완전한 자동화를 실현하기까지는 여전히 상당한 개선이 필요함을 시사합니다.

관련 링크