HyperAI
Command Palette
Search for a command to run...
BLEU(Bilingual Evaluation Understudy)는 Kishore Papineni 등이 2002년에 제안한 지표로, 후보 문장과 참조 문장 사이의 n-gram 정밀도(통상 1~4-gram)를 계산하고 길이 페널티 인자를 곱하여 종합 점수를 산출합니다. 점수 범위는 0–100이며, 높을수록 좋습니다.
ROUGE(Recall-Oriented Understudy for Gisting Evaluation)는 Chin-Yew Lin이 2004년에 제안한 지표로, 처음에는 자동 요약 평가를 위해 개발되었으나 이후 기계 번역 및 텍스트 생성 작업으로 확장되었습니다. ROUGE-L은 최장 공통 부분 서열(LCS)을 기반으로 재현율과 정밀도의 조화 평균을 계산하며, 내용 커버리지와 순서를 모두 고려합니다. 참조 텍스트와의 n-gram 중복도를 기반으로 생성 텍스트의 충실도를 평가하므로, 참조 답변이 있는 개방형 생성 작업에 적합합니다. 값이 높을수록 좋습니다. 이 지표는 요약의 핵심 정보 커버리지에 민감하며, 텍스트 요약 평가의 표준 지표 중 하나입니다.
두 지표 모두 참조 답변이 있는 개방형 생성 작업에 사용됩니다.