オープンドメイン多文書要約：検索下におけるモデルの脆性に関する包括的研究

複数文書要約（Multi-document summarization: MDS）は、入力としてトピックに関連する文書群が提供されることを前提としている。実際には、こうした文書群が常に入手可能であるとは限らない。情報ニーズ（質問やトピック記述）に対して、適切な文書を検索して取得する必要があるが、このような設定を「オープンドメインMDS」と呼ぶ。本研究では、既存のデータセット、検索モデル、要約モデルを活用してタスクを形式化し、ボトムアップ的にオープンドメインMDSを研究した。広範な自動評価および人間による評価を通じて、以下の知見を得た：（1）最先端の要約モデルは、オープンドメインMDSに適用された際、性能が著しく低下する傾向にある；（2）オープンドメイン設定での追加学習により、不完全な検索結果に対する感度を低減できる；（3）重複文書の検索や検索結果の順序変更には要約モデルがほとんど敏感ではなく、一方で、関連のない文書の混入といった他のエラーには非常に敏感である。これらの結果をもとに、今後のオープンドメインMDS研究に向けた実用的なガイドラインを提示する。たとえば、要約対象とする検索結果の数の選定方法などである。本研究の結果から、オープンドメイン設定におけるさらなる進展には、新たな検索手法・要約手法、およびそれらの訓練・評価に用いる注釈付きリソースの開発が不可欠であることが示唆された。