Command Palette
Search for a command to run...
クローズドブックトレーニングによる要約エンコーダーの記憶力向上
クローズドブックトレーニングによる要約エンコーダーの記憶力向上
Yichen Jiang Mohit Bansal
概要
優れたニューラルシーケンス・トゥ・シーケンス要約モデルは、長い入力テキストから重要な情報を抽出し記憶する強力なエンコーダを有すべきであり、そのエンコーダの記憶に基づいてデコーダが重要な要約を生成できるようにする必要があります。本論文では、ポインタジェネレータモデルのエンコーダの記憶能力を向上させるために、アテンションやポインタメカニズムを持たない追加の「クローズドブック」デコーダを導入することを目指しています。このようなデコーダは、アテンションやコピー機能によって提供される追加情報に頼ることができないため、エンコーダがその記憶状態に含まれる情報をより選択的に扱うことを強制し、結果として全体的なモデル性能を向上させます。CNN/デイリーメールデータセットにおいて、我々の2つのデコーダを持つモデルは、クロスエントロピーおよび強化学習設定(および人間評価)においてベースラインに対してROUGEおよびMETEOR指標で有意に優れた性能を示しました。さらに、当該モデルはDUC-2002のテスト専用汎化設定でも高い得点を達成しています。我々はまた、メモリ能力テスト、2つの重要度指標、ならびにいくつかの健全性確認アブレーション(固定エンコーダ、勾配フロー遮断、モデル容量に基づく)を提示することで、2つのデコーダを持つモデルのエンコー�ダが実際にはベースラインエンコーダよりも強い記憶表現を学習していることを証明しています。