K-Adapter：Adaptersを用いた事前学習モデルへの知識の組み込み

我々は、BERTやRoBERTaなどの大規模事前学習モデルに知識を注入する問題を研究する。既存の手法は、知識注入時に事前学習モデルの元のパラメータを更新するものが多いが、複数種類の知識を注入する場合、過去に注入された知識が失われてしまうという課題がある。これを解決するために、本研究ではK-Adapterというフレームワークを提案する。このフレームワークは、事前学習モデルの元のパラメータを固定したままにし、多様な知識を組み込んだモデルの開発を可能にする。RoBERTaをバックボーンモデルとして採用し、注入される各タイプの知識に対して、神経ネットワークアダプタを設ける。これらはRoBERTaにプラグインのように接続される。異なるアダプタ間には情報の流れが存在しないため、複数のアダプタを分散的に効率的に学習できる。本研究における事例として、2種類の知識を注入した。1つはWikipediaとWikidata上のテキストトリプルを自動的に対応させることで得られる事実知識であり、もう1つは依存構文解析を用いて得られる言語知識である。関係分類、エンティティタイプ指定、質問応答という3つの知識駆動型タスクにおける実験結果から、各アダプタが性能向上をもたらし、両アダプタの組み合わせによりさらなる性能向上が確認された。さらに分析の結果、K-AdapterはRoBERTaよりも多様な知識を捉えていることが示された。