HyperAIHyperAI

Command Palette

Search for a command to run...

文法的に先読み注意ネットワークによる文圧縮

Hidetaka Kamigaito Manabu Okumura

概要

文の圧縮は、冗長な単語を削除して長い文を短い文に圧縮するタスクである。シーケンス・ツー・シーケンス(Seq2Seq)ベースのモデルでは、デコーダーが一方向的に単語を保持するか削除するかを決定するため、通常はデコードされた単語と将来の時間ステップでデコードされる未見の単語との関係を明示的に捉えることができない。したがって、文法的に正しくない文を生成しないようにするために、デコーダーは時として重要な単語を落としてしまうことがある。この問題を解決するために、我々は新しいSeq2Seqモデルである構文先読み注意ネットワーク(Syntactically Look-Ahead Attention Network: SLAHAN)を提案する。このモデルは、デコーディング中に依存関係の親単語と子単語双方を明示的に追跡し、将来デコードされる重要な単語を捉えることで情報量豊かな要約を作成できる。Googleの文圧縮データセットにおける自動評価の結果、SLAHANは保持トークンに基づくF1値、ROUGE-1、ROUGE-2およびROUGE-Lスコアにおいてそれぞれ85.5、79.3、71.3および79.1という最高得点を達成した。また、SLAHANは長い文での要約性能も向上させた。さらに人間による評価では、SLAHANは情報量を向上させつつ読みやすさを損なわなかった。


AIでAIを構築

アイデアからローンチまで — 無料のAIコーディング支援、すぐに使える環境、最高のGPU価格でAI開発を加速。

AI コーディング補助
すぐに使える GPU
最適な料金体系

HyperAI Newsletters

最新情報を購読する
北京時間 毎週月曜日の午前9時 に、その週の最新情報をメールでお届けします
メール配信サービスは MailChimp によって提供されています
文法的に先読み注意ネットワークによる文圧縮 | 記事 | HyperAI超神経