HyperAIHyperAI

Command Palette

Search for a command to run...

FiE:エンコーダーにおける早期統合を活用したグローバル確率空間の構築によるオープンドメイン質問応答

Akhil Kedia Mohd Abbas Zaidi Haejun Lee

概要

近年、生成モデルは、複数のエンコーディングされたパラグラフにわたる情報にデコーダを用いて注目(attention)し、その情報を統合する手法を活用することで、オープンドメイン質問応答(Open Domain Question Answering)において抽出型モデルを上回る性能を示すようになってきた。しかし、生成モデルはデコーダの必要性から抽出型モデルよりもモデルが大きく、推論時に自己回帰的デコーダのビームサーチにより処理が遅くなる傾向があり、生成出力はしばしば幻覚(hallucination)を引き起こすという課題を抱えている。本研究では、複数のパラグラフからの情報を統合できるようにTransformerエンコーダを拡張する手法を提案する。具体的には、すべてのサンプルのトークンにわたるクロスサンプル注意機構を提供するためのグローバル表現を導入する。さらに、すべてのサンプルのグローバル空間における回答スコアをより適切に集約するための代替的な回答スパン確率計算手法も提案する。本手法を用いることで、Natural Questionsデータセットにおいて、現在の最先端手法より2.5のExact Matchスコアを上回りながら、パラメータ数を25%、推論時のレイテンシを35%に削減した。また、WebQuestionsデータセットでは4.4のExact Matchスコアの向上を達成した。さらに、合成データ増強(synthetic data augmentation)と組み合わせることで、TrivQAデータセットにおいてもより大きなモデルを上回る性能を発揮した。本手法のレイテンシおよびパラメータ削減効果は、計算負荷が高くなる傾向があるオープンドメイン質問応答の文脈において特に魅力的である。


AIでAIを構築

アイデアからローンチまで — 無料のAIコーディング支援、すぐに使える環境、最高のGPU価格でAI開発を加速。

AI コーディング補助
すぐに使える GPU
最適な料金体系

HyperAI Newsletters

最新情報を購読する
北京時間 毎週月曜日の午前9時 に、その週の最新情報をメールでお届けします
メール配信サービスは MailChimp によって提供されています