HyperAIHyperAI

Command Palette

Search for a command to run...

DyREx:抽出型質問応答のための動的クエリ表現

Urchade Zaratiana Niama El Khbir Dennis Núñez Pierre Holat Nadi Tomeh Thierry Charnois

概要

抽出型質問応答(ExQA)は自然言語処理における重要なタスクである。ExQAの主流アプローチは、入力シーケンス(質問と本文)のトークンを事前学習済みTransformerで表現し、その後、開始位置および終了位置の答えスパンに対する確率分布を計算するために、2つの学習可能なクエリベクトルを用いるものである。しかしながら、これらのクエリベクトルは入力の文脈を反映していないため、モデルの性能にボトルネックとなる可能性がある。この問題に対処するため、本研究では「DyREx」という新しいアプローチを提案する。これは従来のアプローチの一般化であり、Transformer層を介したアテンション機構を用いて、入力に応じてクエリベクトルを動的に計算するものである。実証的な観察により、本手法が標準的手法に比べて一貫して性能向上を示すことが確認された。実験を実行するためのコードおよび関連ファイルは、\url{https://github.com/urchade/DyReX} にて公開されている。


AIでAIを構築

アイデアからローンチまで — 無料のAIコーディング支援、すぐに使える環境、最高のGPU価格でAI開発を加速。

AI コーディング補助
すぐに使える GPU
最適な料金体系

HyperAI Newsletters

最新情報を購読する
北京時間 毎週月曜日の午前9時 に、その週の最新情報をメールでお届けします
メール配信サービスは MailChimp によって提供されています