要約
Sequence-to-Sequence (seq2seq) モデリングは、急速に重要な汎用的な自然言語処理 (NLP) ツールとなり、多くのテキスト生成およびシーケンスラベリングタスクにおいて効果を示しています。Seq2seq は深層ニューラル言語モデルに依存しており、局所的な次の単語の分布を推定する際のその優れた精度を受け継いでいます。本研究では、Daume III と Marcu (2005) の研究に基づいて、seq2seq をグローバルなシーケンススコアを学習するように拡張するモデルとビームサーチ訓練スキームを導入します。この構造化されたアプローチは、局所的な訓練に関連する古典的なバイアスを回避し、訓練時の損失関数とテスト時の使用を統一しながら、seq2seq の証明済みのモデルアーキテクチャと効率的な訓練手法を維持します。我々のシステムが、最適化された注意機構に基づく seq2seq システムや他の基準モデルに対して、単語順序付け、パーシング（解析）、機械翻訳という3つの異なるシーケンスタスクで優れていることを示しています。