要約
文献において、抽象意味表現（AMR）解析に関する研究は、良好なパフォーマンスを発揮するAMRパーサーを構築するために不可欠な人手によるデータセットの規模に大きく制限されている。このようなデータサイズの制約を緩和するため、事前学習モデル（pre-trained models）がAMR解析分野においてますます注目を集めている。しかし、従来の事前学習モデル（例：BERT）は汎用的な目的で設計されており、AMR解析という特定のタスクに対しては期待通りの性能を発揮しない可能性がある。本論文では、シーケンス・トゥ・シーケンス（seq2seq）型AMR解析に焦点を当て、機械翻訳、構文解析、およびAMR解析自体の3つの関連タスク上で、単一および統合的な方法で事前学習モデルを構築するseq2seq事前学習アプローチを提案する。さらに、従来の単一タスク微調整（fine-tuning）手法を拡張し、AMR解析のパフォーマンス向上を最適化しつつ、事前学習モデルの保持応答性（response）を維持する多タスク学習型微調整手法を導入する。2つの英語ベンチマークデータセットを用いた広範な実験結果から、単一および統合事前学習モデルの両方が性能を著しく向上させること（例：AMR 2.0において71.5から80.2へ）が確認され、最先端の水準に達した。特に、複雑なモデルではなくseq2seqモデルのみを用いてこの成果を達成できた点は、非常に前向きな結果である。本研究で開発したコードおよびモデルは、https://github.com/xdqkid/S2S-AMR-Parser にて公開している。