HyperAIHyperAI

Command Palette

Search for a command to run...

位置エンコーディングを用いた出力シーケンス長の制御

Sho Takase Naoaki Okazaki

概要

ニューラルエンコーダー・デコーダーモデルは自然言語生成タスクにおいて成功を収めてきました。しかし、抽象的要約の実際の応用では、生成された要約が所望の長さを超えないようにするという追加の制約を考慮しなければなりません。本論文では、正弦位置エンコーディング(Sinusoidal Positional Encoding)(Vaswaniら, 2017)を簡潔かつ効果的に拡張し、ニューラルエンコーダー・デコーダーモデルが長さ制約を維持できるようにする方法を提案します。従来の研究では各長さを表現する埋め込みを学習していましたが、提案手法は訓練データに含まれていない目標長さでも任意の長さのテキストを生成することができます。実験結果は、提案手法が生成長さを制御不仅能改善ROUGE得点还能提高其表现。修正后的翻译:実験結果は、提案手法が生成長さを制御するだけでなく、ROUGEスコアも向上させることを示しています。


AIでAIを構築

アイデアからローンチまで — 無料のAIコーディング支援、すぐに使える環境、最高のGPU価格でAI開発を加速。

AI コーディング補助
すぐに使える GPU
最適な料金体系

HyperAI Newsletters

最新情報を購読する
北京時間 毎週月曜日の午前9時 に、その週の最新情報をメールでお届けします
メール配信サービスは MailChimp によって提供されています