GAP: グラフ認識型言語モデルフレームワークによる知識グラフからテキストの生成

最近の知識グラフ（KG）からテキストへの生成における改善は、ファインチューニングタスクの性能向上を支援するために設計された追加の補助的な事前学習タスクによるものです。これらのタスクは、僅かな改善しか示さないにもかかわらず、大量の計算リソースを必要とします。本研究では、既存の事前学習言語モデルにグラフ認識要素を融合することで、最先端モデルを上回り、追加的事前学習タスクによって課されるギャップを埋めることを示します。これにより、近傍情報を捉えるためのマスク構造と、接続タイプに応じてグラフ注意重みにバイアスを加える新しいタイプエンコーダーを提案します。2つのKG-to-textベンチマークデータセットでの実験結果は、当社のモデルが競争力がありながらもパラメータ数が少なく、追加的事前学習タスクを必要としないことを示しています。問題をフレームワークとして定式化することにより、提案された各種コンポーネントを入れ替えることができ、グラフ内のトポロジカル情報やタイプ情報に基づいてKG-to-text生成モデルを解釈し始めることができます。