凸集合による意見要約

最近のテキストオートエンコーダーの進歩により、潜在空間の品質が大幅に向上し、モデルは集約された潜在ベクトルから文法的で一貫性のあるテキストを生成することが可能になりました。この特性の成功例として、無監督意見要約モデルは入力の集約された潜在ベクトルをデコードすることで要約を生成します。より具体的には、これらのモデルは単純平均を使用して集約を行います。しかし、ベクトル集約ステップが生成品質にどのように影響を与えるかについてはほとんど知られていません。本研究では、一般的に使用されている単純平均アプローチを見直すために、潜在空間と生成された要約を検討しました。その結果、単純平均化された潜在ベクトルから生成される要約が予想外の$L_2$ノルム縮小（summary vector degeneration）によって過度に一般的なものになる傾向があることがわかりました。この問題を克服するために、入力-出力語彙重複を使用して潜在ベクトルの集約を行うための入力組み合わせを探索するフレームワークCoopを開発しました。実験結果は、Coopが要約ベクトル退化問題を効果的に軽減し、2つの意見要約ベンチマークにおいて新しい最先端の性能を達成したことを示しています。コードは\url{https://github.com/megagonlabs/coop}で公開されています。