要約
現在のシーケンス・トゥ・シーケンス（seq2seq）モデルにおける課題の一つは、要約や文書レベルの機械翻訳タスクなどで見られる長大なシーケンスを効果的に処理することである。これらのタスクでは、モデルがトークンレベルだけでなく、文や段落レベルでの推論能力も必要とされる。本研究では、標準的なTransformerを上回る性能を発揮する新しい階層型アテンション・Transformerベースのアーキテクチャ（HAT: Hierarchical Attention Transformer）を設計・検討した。さらに、PubMed、arXiv、CNN/DM、SAMSum、AMIの4つの要約タスクにおいて、最先端のROUGEスコアを達成した。また、WMT20の英語→ドイツ語翻訳タスクにおいて、文書レベルの機械翻訳ベースラインを上回る結果を得た。階層型エンコーダー・デコーダーのアテンションを可視化することで、階層構造がどのような情報を学習しているかを分析した。最後に、エンコーダー専用の事前学習における階層的学習の有効性を検証し、分類タスクにおける性能を評価した。