11日前
アクション・ポインタTransformerを用いたAMR解析
Jiawei Zhou, Tahira Naseem, Ramón Fernandez Astudillo, Radu Florian

要約
抽象意味表現(Abstract Meaning Representation; AMR)パーシングは、ターゲットノードが文のトークンに明示的に対応付けられていない文からグラフへの予測タスクである。しかし、グラフのノードは1つ以上の文トークンに基づいて意味的に構成されるため、暗黙的な対応関係を導出可能である。遷移ベースのパーサーは文を左から右へと処理し、対応関係を用いてこの誘導的バイアスを捉えるが、その代償として表現力が制限される。本研究では、文に対するハードアテンションとターゲット側のアクションポインタ機構を組み合わせた遷移ベースのシステムを提案する。これにより、ソーストークンとノード表現との間の結合を解消し、対応関係の問題を克服する。遷移とポインタ機構の両方を、単一のTransformerアーキテクチャ内で簡潔な修正によってモデル化する。パーサーの状態やグラフ構造情報は、効率的にアテンションヘッドを用いて符号化される。実験の結果、本手法によるアクションポインタアプローチは表現力を向上させ、類似した条件下で最良の遷移ベースAMRパーサーと比較して大幅な性能向上(+1.6ポイント)を達成した。グラフ再カテゴリ化を一切使用せずに、単一モデルでAMR 2.0において2番目の高いSmachスコア(81.8)を達成し、銀データ(silver data)とアンサンブルデコードを用いることでさらにスコアを改善し、83.4まで向上した。