HyperAIHyperAI

Command Palette

Search for a command to run...

クローズドブックトレーニングによる要約エンコーダーの記憶力向上

Yichen Jiang Mohit Bansal

概要

優れたニューラルシーケンス・トゥ・シーケンス要約モデルは、長い入力テキストから重要な情報を抽出し記憶する強力なエンコーダを有すべきであり、そのエンコーダの記憶に基づいてデコーダが重要な要約を生成できるようにする必要があります。本論文では、ポインタジェネレータモデルのエンコーダの記憶能力を向上させるために、アテンションやポインタメカニズムを持たない追加の「クローズドブック」デコーダを導入することを目指しています。このようなデコーダは、アテンションやコピー機能によって提供される追加情報に頼ることができないため、エンコーダがその記憶状態に含まれる情報をより選択的に扱うことを強制し、結果として全体的なモデル性能を向上させます。CNN/デイリーメールデータセットにおいて、我々の2つのデコーダを持つモデルは、クロスエントロピーおよび強化学習設定(および人間評価)においてベースラインに対してROUGEおよびMETEOR指標で有意に優れた性能を示しました。さらに、当該モデルはDUC-2002のテスト専用汎化設定でも高い得点を達成しています。我々はまた、メモリ能力テスト、2つの重要度指標、ならびにいくつかの健全性確認アブレーション(固定エンコーダ、勾配フロー遮断、モデル容量に基づく)を提示することで、2つのデコーダを持つモデルのエンコー�ダが実際にはベースラインエンコーダよりも強い記憶表現を学習していることを証明しています。


AIでAIを構築

アイデアからローンチまで — 無料のAIコーディング支援、すぐに使える環境、最高のGPU価格でAI開発を加速。

AI コーディング補助
すぐに使える GPU
最適な料金体系

HyperAI Newsletters

最新情報を購読する
北京時間 毎週月曜日の午前9時 に、その週の最新情報をメールでお届けします
メール配信サービスは MailChimp によって提供されています
クローズドブックトレーニングによる要約エンコーダーの記憶力向上 | 記事 | HyperAI超神経