초록
AMR 파싱 정확도 평가는 AMR 그래프 쌍을 비교하는 과정을 포함합니다. 주요 평가 지표인 SMATCH(Cai와 Knight, 2013)는 탐욕적 경사 상승 알고리즘(greedy hill-climbing algorithm)을 사용하여 두 AMR의 노드 간 일대일 매핑을 찾는데, 이로 인해 탐색 오류(search errors)가 발생할 수 있습니다. 우리는 이러한 문제를 해결하기 위해 BLEU(Papineni 등, 2002)를 AMR에 확장한 견고한 지표인 SEMBLEU를 제안합니다. SEMBLEU는 탐색 오류로부터 자유롭고, 국소(local) 대응뿐만 아니라 비국소(non-local) 대응도 고려합니다. SEMBLEU는 완전히 내용 중심적이며, 시스템의 출력이 입력에서 대부분의 정보를 보존하지 않는 경우를 처벌합니다. 문장 및 말뭉치(corpus) 수준에서 수행된 예비 실험 결과, SEMBLEU가 SMATCH보다 약간 더 인간의 판단과 일관성이 높다는 것을 보여주었습니다. 우리의 코드는 http://github.com/freesunshine0316/sembleu에서 확인할 수 있습니다.