HyperAIHyperAI

Command Palette

Search for a command to run...

深層強化モデルによる抽象的要約

Romain Paulus Caiming Xiong Richard Socher

概要

アテンションを用いたRNNベースのエンコーダー-デコーダーモデルは、抽象的要約において短い入力と出力シーケンスに対して良好な性能を達成しています。しかし、より長い文書や要約については、これらのモデルがしばしば反復的で一貫性のないフレーズを含むことがあります。本研究では、入力と連続的に生成される出力を別々に注意する新しい内部アテンション機構を持つニューラルネットワークモデルを提案し、標準的な教師あり単語予測と強化学習(Reinforcement Learning, RL)を組み合わせた新たな訓練方法を導入します。教師あり学習のみで訓練されたモデルは、「露出バイアス」(exposure bias) を示すことがよくあります - つまり、訓練中に各ステップで真実値が提供されることを前提としています。しかし、標準的な単語予測とRLの全体的なシーケンス予測訓練を組み合わせることで、生成される要約の読みやすさが向上します。本モデルはCNN/Daily Mailデータセットおよびニューヨーク・タイムズデータセットで評価されました。当該モデルはCNN/Daily Mailデータセットにおいて41.16のROUGE-1スコアを得ており、従来の最先端モデルよりも改善しています。また、人間による評価でも当該モデルがより高品質な要約を生成することが示されています。


AIでAIを構築

アイデアからローンチまで — 無料のAIコーディング支援、すぐに使える環境、最高のGPU価格でAI開発を加速。

AI コーディング補助
すぐに使える GPU
最適な料金体系

HyperAI Newsletters

最新情報を購読する
北京時間 毎週月曜日の午前9時 に、その週の最新情報をメールでお届けします
メール配信サービスは MailChimp によって提供されています