HyperAIHyperAI

Command Palette

Search for a command to run...

凸集合による意見要約

Hayate Iso Xiaolan Wang Yoshihiko Suhara Stefanos Angelidis Wang-Chiew Tan

概要

最近のテキストオートエンコーダーの進歩により、潜在空間の品質が大幅に向上し、モデルは集約された潜在ベクトルから文法的で一貫性のあるテキストを生成することが可能になりました。この特性の成功例として、無監督意見要約モデルは入力の集約された潜在ベクトルをデコードすることで要約を生成します。より具体的には、これらのモデルは単純平均を使用して集約を行います。しかし、ベクトル集約ステップが生成品質にどのように影響を与えるかについてはほとんど知られていません。本研究では、一般的に使用されている単純平均アプローチを見直すために、潜在空間と生成された要約を検討しました。その結果、単純平均化された潜在ベクトルから生成される要約が予想外のL2L_2L2ノルム縮小(summary vector degeneration)によって過度に一般的なものになる傾向があることがわかりました。この問題を克服するために、入力-出力語彙重複を使用して潜在ベクトルの集約を行うための入力組み合わせを探索するフレームワークCoopを開発しました。実験結果は、Coopが要約ベクトル退化問題を効果的に軽減し、2つの意見要約ベンチマークにおいて新しい最先端の性能を達成したことを示しています。コードは\url{https://github.com/megagonlabs/coop}で公開されています


AIでAIを構築

アイデアからローンチまで — 無料のAIコーディング支援、すぐに使える環境、最高のGPU価格でAI開発を加速。

AI コーディング補助
すぐに使える GPU
最適な料金体系

HyperAI Newsletters

最新情報を購読する
北京時間 毎週月曜日の午前9時 に、その週の最新情報をメールでお届けします
メール配信サービスは MailChimp によって提供されています