事前学習された言語モデルにおける構造的アダプタによるAMR-to-text生成

事前学習済み言語モデル（PLM）は、近年、グラフからテキストを生成するタスクにおいて大きな進展を遂げている。このアプローチでは、入力となるグラフがシーケンスに線形化され、PLMに投入されて表現を獲得する。しかし、PLMは自然言語データ上で事前学習されているため、構造化データをモデル化しようとすると、分布的な知識が著しく失われ（catastrophic forgetting）、グラフ構造を効率的に表現することは困難である。本論文では、PLMにグラフ構造を組み込むためのアダプタ手法であるStructAdaptを提案する。従来の手法とは異なり、StructAdaptはグラフの接続性に基づいてノード間の相互作用を効果的にモデル化しつつ、グラフ構造に敏感なパラメータのみを微調整する。この方法により、タスク固有の知識を統合しつつ、グラフのトポロジー構造を保持することが可能となる。実験的に、StructAdaptを用いてPLMにグラフ構造を明示的にエンコードすることで、2つのAMR-to-textデータセットにおいて最先端の性能を達成できることを示した。なお、モデル全体のパラメータのうちわずか5.1%のみを学習することで、その効果が確認された。