HyperAI
Command Palette
Search for a command to run...
문제 해결률(Issue Resolved Rate)은 자연어 처리 분야의 코드 자동 수정 / 오류 수정 작업에서 중요한 평가 지표입니다. 모델이 생성한 패치가 GitHub issue를 성공적으로 해결하는 비율(관련 테스트 또는 수동 확인을 통해)을 측정하며, 엔드투엔드 issue 수정의 핵심 역량을 반영합니다. 일반적으로 백분율 또는 0–1 점수로 보고됩니다. 이 지표는 관련 벤치마크와 논문에서 널리 사용되며, 해당 차원에서 모델의 성능을 효과적으로 반영합니다. 값이 높을수록 좋습니다.