17日前

知識集約型NLPタスクにおける効率的なメモリ拡張型Transformer

Yuxiang Wu, Yu Zhao, Baotian Hu, Pasquale Minervini, Pontus Stenetorp, Sebastian Riedel
知識集約型NLPタスクにおける効率的なメモリ拡張型Transformer
要約

外部知識へのアクセスは、質問応答や対話などの多くの自然言語処理タスクにおいて不可欠である。従来の手法は、知識をパラメータに格納するパラメトリックモデルに依存する場合が多い一方で、外部知識源にアクセス可能なリトリーブ拡張型モデルも用いられている。パラメトリックモデルとリトリーブ拡張型モデルは、計算効率と予測精度という観点で互いに補完的な強みを有している。両者の長所を統合するため、本研究では効率的なメモリ拡張型トランスフォーマー(Efficient Memory-Augmented Transformer; EMAT)を提案する。EMATは外部知識をキー・バリュー形式のメモリに符号化し、メモリ検索に高速な最大内積検索(maximum inner product search)を活用する。さらに、EMATが情報豊かなキー・バリュー表現を学習できるようにする事前学習タスクを導入し、複数のメモリスロットをトランスフォーマーに統合するための暗黙的な戦略を学習可能にする。質問応答や対話データセットなど、多様な知識依存型タスクにおける実験結果から、本手法をパラメトリックモデル(T5-base)に単純に拡張するだけで、より高い精度(例:NQにおけるEMスコアが25.8から44.3へ)を達成しつつ、高いスループット(例:NQで1秒間に1000クエリ)を維持できることを示した。リトリーブ拡張型モデルと比較して、EMATは全般的に著しく高速であり、WoWおよびELI5のタスクにおいてもより高い精度を達成した。本研究のコードとデータセットは、https://github.com/uclnlp/EMAT にて公開されている。

知識集約型NLPタスクにおける効率的なメモリ拡張型Transformer | 最新論文 | HyperAI超神経