HyperAIHyperAI

Command Palette

Search for a command to run...

ドキュメント要約のための粗いから細かいアテンションモデル

er Alex Rush Jeffrey Ling

概要

注目メカニズムを備えたシーケンス・トゥ・シーケンスモデルは、自然言語処理(NLP)の多様な課題において成功を収めてきたが、ドキュメント要約など、長大なソースシーケンスを扱うタスクではその処理速度がスケーラビリティに劣るという問題がある。本研究では、ドキュメントを階層的に読み込む新しい粗粒度から細粒度への注目モデルを提案する。このモデルは、まず粗粒度の注目メカニズムを用いてテキストの上位レベルの断片(chunk)を選択し、その後、選択された断片内の単語を細粒度の注目で読み込む。標準的な注目モデルの学習における計算量はソースシーケンス長に対して線形に増加するのに対し、本手法は上位レベルの断片数に比例して増加するため、より長大なシーケンスを扱うことが可能となる。実証的な評価において、粗粒度から細粒度への注目モデルは最先端のベースラインに比べて若干性能が劣るものの、生成過程においてドキュメントの部分集合に疎に注目するという望ましい振る舞いを実現していることが確認された。


AIでAIを構築

アイデアからローンチまで — 無料のAIコーディング支援、すぐに使える環境、最高のGPU価格でAI開発を加速。

AI コーディング補助
すぐに使える GPU
最適な料金体系

HyperAI Newsletters

最新情報を購読する
北京時間 毎週月曜日の午前9時 に、その週の最新情報をメールでお届けします
メール配信サービスは MailChimp によって提供されています
ドキュメント要約のための粗いから細かいアテンションモデル | 記事 | HyperAI超神経