要約
検索拡張モデルは自然言語処理タスクにおいて有効であることが実証されているが、変分推論を用いた最適化に関する研究は依然として不足している。本研究では、オープンドメイン質問応答および言語モデリングを対象として、検索拡張モデルのエンドツーエンド学習と評価を可能にする変分オープンドメイン（Variational Open-Domain: VOD）フレームワークを提案する。VODの目的関数は、Rényi変分境界の自己正規化推定であり、タスクの周辺尤度を近似するもので、補助的なサンプリング分布（キャッシュされた検索エンジンや近似事後分布）から抽出されたサンプルに基づいて評価される。このアプローチは、大規模なコーパス上に定義された検索エンジン分布に対しても、依然として計算可能である。VODの汎用性を示すために、複数選択式の医学試験問題を用いて、読解器と検索エンジンを組み合わせたBERTサイズのモデルを学習した。MedMCQAデータセットにおいて、パラメータ数が2,500分の1にまで削減されたにもかかわらず、ドメイン特化されたMed-PaLMを+5.3%の精度で上回った。さらに、検索拡張型のBioLinkBERTモデルは、MedMCQAで62.9%、MedQA-USMLEで55.0%の精度を達成した。最後に、医学的意味検索の文脈において、学習された検索モジュールの有効性を実証した。