2ヶ月前

位置エンコーディングを用いた出力シーケンス長の制御

Sho Takase; Naoaki Okazaki
位置エンコーディングを用いた出力シーケンス長の制御
要約

ニューラルエンコーダー・デコーダーモデルは自然言語生成タスクにおいて成功を収めてきました。しかし、抽象的要約の実際の応用では、生成された要約が所望の長さを超えないようにするという追加の制約を考慮しなければなりません。本論文では、正弦位置エンコーディング(Sinusoidal Positional Encoding)(Vaswaniら, 2017)を簡潔かつ効果的に拡張し、ニューラルエンコーダー・デコーダーモデルが長さ制約を維持できるようにする方法を提案します。従来の研究では各長さを表現する埋め込みを学習していましたが、提案手法は訓練データに含まれていない目標長さでも任意の長さのテキストを生成することができます。実験結果は、提案手法が生成長さを制御不仅能改善ROUGE得点还能提高其表现。修正后的翻译:実験結果は、提案手法が生成長さを制御するだけでなく、ROUGEスコアも向上させることを示しています。

位置エンコーディングを用いた出力シーケンス長の制御 | 最新論文 | HyperAI超神経