17日前
DyREx:抽出型質問応答のための動的クエリ表現
Urchade Zaratiana, Niama El Khbir, Dennis Núñez, Pierre Holat, Nadi Tomeh, Thierry Charnois

要約
抽出型質問応答(ExQA)は自然言語処理における重要なタスクである。ExQAの主流アプローチは、入力シーケンス(質問と本文)のトークンを事前学習済みTransformerで表現し、その後、開始位置および終了位置の答えスパンに対する確率分布を計算するために、2つの学習可能なクエリベクトルを用いるものである。しかしながら、これらのクエリベクトルは入力の文脈を反映していないため、モデルの性能にボトルネックとなる可能性がある。この問題に対処するため、本研究では「DyREx」という新しいアプローチを提案する。これは従来のアプローチの一般化であり、Transformer層を介したアテンション機構を用いて、入力に応じてクエリベクトルを動的に計算するものである。実証的な観察により、本手法が標準的手法に比べて一貫して性能向上を示すことが確認された。実験を実行するためのコードおよび関連ファイルは、\url{https://github.com/urchade/DyReX} にて公開されている。