HyperAIHyperAI

Command Palette

Search for a command to run...

マルチパスージュ BERT: オープンドメインの質問応答向けにグローバルに正規化されたBERTモデル

Zhiqiang Wang Yuhao Zhang Xiaoyan Yan

概要

BERTモデルはオープンドメインのQAタスクに成功裏に適用されてきました。しかし、これまでの研究では、同じ質問に対応する文書を独立した訓練インスタンスとして扱ってBERTを学習させており、これにより異なる文書からの回答のスコアが比較不能になる可能性があります。この問題を解決するために、私たちは同一の質問に対するすべての文書間で回答スコアをグローバルに正規化するマルチパスージBERTモデルを提案します。この変更により、より多くの文書を利用することでより良い回答を見つけることが可能になります。さらに、スライディングウィンドウ法を使用して記事を100単語の長さの文書に分割することで、性能が4%向上することがわかりました。高品質な文書を選択するためにパッセージランカーを利用することで、マルチパスージBERTはさらに2%の性能向上が見られました。4つの標準的なベンチマークでの実験結果から、私たちのマルチパスージBERTはすべてのベンチマークにおいて最先端モデルを上回ることが示されました。特にOpenSQuADデータセットでは、非BERTベースモデルに対してEM(完全一致率)で21.4%、F1F_1F1値で21.5%の改善が見られました。また、BERTベースモデルに対してはEMで5.8%、F1F_1F1値で6.5%の改善が見られました。


AIでAIを構築

アイデアからローンチまで — 無料のAIコーディング支援、すぐに使える環境、最高のGPU価格でAI開発を加速。

AI コーディング補助
すぐに使える GPU
最適な料金体系

HyperAI Newsletters

最新情報を購読する
北京時間 毎週月曜日の午前9時 に、その週の最新情報をメールでお届けします
メール配信サービスは MailChimp によって提供されています