HyperAIHyperAI

Command Palette

Search for a command to run...

長文ドキュメント上の複雑な質問への対応のための反復的階層的アテンション

Haitian Sun William W. Cohen Ruslan Salakhutdinov

概要

我々は、長く階層構造を持つドキュメントの異なる部分に反復的に注目することで、複雑な質問に答える新しいモデル「DocHopper」を提案する。マルチホップ質問応答(QA)システムと同様に、各ステップにおいてDocHopperは質問qqqを用いてドキュメントからの情報を注目し、得られた「取得した」情報をqqqと統合して次の質問を生成する。しかし、これまでの多くのマルチホップQAシステムとは異なり、DocHopperはドキュメントから短い文章や長大なセクションを「取得」できるため、長大なドキュメントを「ナビゲート」する多段階的なプロセスを模倣することが可能となる。この新たな挙動を実現するため、DocHopperはqqqのテキストとドキュメントの階層的部分のテキストを単純に連結するのではなく、qqqのコンパクトなニューラル表現と、階層的部分(非常に大きなものも含む)のコンパクトなニューラル表現を統合する。我々は、マルチホップの質問を解くために長く複雑なドキュメントを読解する必要がある4つの異なるQAタスクにおいてDocHopperを実験し、その結果、3つのデータセットで最先端(SOTA)の性能を達成した。さらに、推論時間においても効率的であり、ベースラインに対して3〜10倍の高速性を示した。


AIでAIを構築

アイデアからローンチまで — 無料のAIコーディング支援、すぐに使える環境、最高のGPU価格でAI開発を加速。

AI コーディング補助
すぐに使える GPU
最適な料金体系

HyperAI Newsletters

最新情報を購読する
北京時間 毎週月曜日の午前9時 に、その週の最新情報をメールでお届けします
メール配信サービスは MailChimp によって提供されています