要約
抽象意味表現（AMR）グラフを比較するためのさまざまな評価指標が提案されてきた。代表的なものとして、CaiとKnight（2013）が提唱した標準的なSmach指標があり、これは2つのグラフの変数を対応付け、トリプルの一致度を評価するものである。近年、SongとGildea（2019）が提案したSemBleu指標は、機械翻訳におけるBleu指標（Papineniら、2002）を基盤としており、変数の対応付けを省略（ablating）することで計算効率を向上させている。本論文では、i) AMRのような意味表現を比較する指標を体系的かつ根拠に基づいて評価するための基準を提示する。ii) SmatchとSemBleuの包括的な分析を行い、後者がいくつかの望ましくない性質を有することを示す。例えば、同一性の不識別性（identity of indiscernibles）の法則に従わないことや、制御が困難なバイアスを導入する点が挙げられる。iii) これらの問題を克服し、わずかな意味のずれに対してもより寛容であり、すべての確立された基準を満たすことを目的とした、新しい指標S²matchを提案する。本研究では、S²matchの適切さを評価し、従来のSmachおよびSemBleuとの比較を通じてその優位性を示す。