グラフ情報のTransformerベースのAMR解析への組み込み

概要抽象意味表現（Abstract Meaning Representation: AMR）は、与えられたテキストを意味的に表すグラフの抽象化を提供することを目指した意味解析形式である。現在のアプローチでは、BARTやT5などの自己回帰型言語モデルを使用し、教師強制（Teacher Forcing）を通じて文からAMRグラフの線形化バージョンを取得するために微調整が行われている。本論文では、LeakDistillというモデルと手法を紹介する。この手法は、Transformerアーキテクチャに構造アダプターを導入することで、学習された表現にグラフ情報を明示的に組み込み、AMR解析の性能を向上させるための変更点を探る。実験結果から、訓練時に単語対ノードのアライメントを使用してグラフ構造情報をエンコーダーに埋め込むことで、追加データを使用せずに自己知識蒸留を通じて最先端のAMR解析が得られることを示している。コードは \url{http://www.github.com/sapienzanlp/LeakDistill} で公開されている。論文本文抽象意味表現（Abstract Meaning Representation: AMR）は、与えられたテキストを意味的なグラフとして抽象化する形式であり、その目的はテキストの深い意味構造を捕捉することにある。現在のアプローチでは、BARTやT5などの自己回帰型言語モデルが使用され、教師強制（Teacher Forcing）によってこれらのモデルが微調整され、文からAMRグラフの線形化バージョンを生成する能力が向上している。本論文では、LeakDistillという新しいモデルと手法について述べる。LeakDistillはTransformerアーキテクチャに構造アダプターを取り入れることで、学習された表現にグラフ情報を明示的に組み込む方法を探求する。これによりAMR解析の性能が大幅に向上することが期待される。我々の実験結果は以下の通りである。訓練時に単語対ノードのアライメントを使用してグラフ構造情報をエンコーダーに埋め込むことで、追加データなしでも自己知識蒸留を通じて最先端レベルのAMR解析性能を得られることが確認された。これは従来の方法に対して显著な改善であり、AMR解析における新たな方向性を示唆している。最後に、本研究で開発したコードは \url{http://www.github.com/sapienzanlp/LeakDistill} で公開されており、他の研究者や開発者が利用できるようにしている。