초록
의미 표현(AMR) 그래프를 비교하기 위해 다양한 지표가 제안되어 왔다. 전통적인 Smatch 지표는 Cai와 Knight(2013)에 의해 제안되었으며, 두 그래프의 변수를 정렬하고 삼중항 일치 여부를 평가한다. 최근에 등장한 SemBleu 지표(Song과 Gildea, 2019)는 기계 번역 분야의 Bleu 지표(Papineni 등, 2002)를 기반으로 하되, 변수 정렬 과정을 제거함으로써 계산 효율성을 높였다.본 논문에서는 i) AMR과 같은 의미 표현을 비교하는 지표들을 체계적으로 평가할 수 있도록 연구자들이 따를 수 있는 기준을 제시한다; ii) Smatch와 SemBleu 지표를 철저히 분석하여, 후자가 일부 바람직하지 않은 성질을 보임을 입증한다. 예를 들어 SemBleu는 ‘불변성의 원리’(identity of indiscernibles)를 만족하지 않으며, 제어하기 어려운 편향을 도입한다; iii) 이러한 문제점을 해결하고, 매우 미세한 의미 차이에 대해 더 유연한 반응을 보이며, 모든 설정된 기준을 충족하는 새로운 지표인 S²match를 제안한다. 제안된 지표의 적합성을 평가하고, Smatch 및 SemBleu 대비 그 우수성을 실험적으로 확인한다.