リトリーブをアテンションとして：単一のTransformer内でのリトリーブとリーディングのエンドツーエンド学習

知識集約型タスク、特にオープンドメイン質問応答（QA）においては、通常、大規模な文書コーパスから関連する文書を効率的に検索する段階と、選択された文書を詳細に読解して回答を生成する段階の2段階から構成される。これらの検索器（retriever）と読解器（reader）は通常、別々にモデル化されるため、実装が煩雑になり、エンド・トゥ・エンド（端末間）での学習および適応が困難となる。本論文では、この従来のアーキテクチャを再検討し、検索と読解を分離する設計を避け、単一のTransformerモデルによって「検索をアテンションとして実行（Retrieval as Attention, ReAtt）」するアプローチを提案する。このモデルは、最終的なQAタスクからのみの教師信号に基づいてエンド・トゥ・エンドで学習される。我々は、初めて単一のエンド・トゥ・エンド学習モデルが、競争力のある検索性能とQA性能の両方を達成できることを実証した。その性能は、別々に訓練された最新の検索器および読解器と同等、あるいはわずかに上回る。さらに、エンド・トゥ・エンドでの適応により、教師ありおよび教師なしの設定において、ドメイン外データセット上での性能が著しく向上する。これにより、本モデルは知識集約型タスクに対するシンプルかつ柔軟な解決策を提供する。コードとモデルは、https://github.com/jzbjyb/ReAtt にて公開されている。