HyperAIHyperAI

Command Palette

Search for a command to run...

多様性駆動のアテンションモデルによるクエリベースの抽象的要約

Preksha Nema Mitesh M. Khapra Anirban Laha Balaraman Ravindran

概要

抽象的要約生成は、文書の主要なポイントをコンパクトかつ一貫性のある形で短縮するを目指しています。一方、クエリベースの要約生成は、特定のクエリに関連するポイントを強調することに焦点を当てています。エンコード・アテンション・デコーディング(encode-attend-decode)パラダイムは、機械翻訳、抽出的要約生成、対話システムなどにおいて著しい成功を収めています。しかし、このパラダイムには同一フレーズの繰り返し生成という欠点があります。本研究では、エンコード・アテンション・デコーディングパラダイムに基づくクエリベースの要約生成タスク向けモデルを提案します。このモデルには以下の2つの重要な追加が含まれています。(i) クエリアテンションモデル(文書アテンションモデルに加えて):これは異なる時間ステップでクエリの異なる部分に注目する方法を学習します(クエリの静的な表現を使用する代わりに)。(ii) 新たな多様性に基づくアテンションモデル:これは要約内のフレーズ繰り返し問題を軽減することを目指しています。このモデルのテストを可能にするために、 DebatePedia を基にした新しいクエリベースの要約データセットを導入しました。実験結果は、これらの2つの追加により提案されたモデルが単純なエンコード・アテンション・デコーディングモデルに対して明確に優れており、ROUGE-L スコアで28%(絶対値)の向上が見られることを示しています。


AIでAIを構築

アイデアからローンチまで — 無料のAIコーディング支援、すぐに使える環境、最高のGPU価格でAI開発を加速。

AI コーディング補助
すぐに使える GPU
最適な料金体系

HyperAI Newsletters

最新情報を購読する
北京時間 毎週月曜日の午前9時 に、その週の最新情報をメールでお届けします
メール配信サービスは MailChimp によって提供されています
多様性駆動のアテンションモデルによるクエリベースの抽象的要約 | 記事 | HyperAI超神経