マスクアテンションネットワーク：Transformerの再考と強化

Transformerは、自己注意機構（Self-Attention Network: SAN）とフィードフォワードネットワーク（Feed-Forward Network: FFN）という2つのサブレイヤーから構成される、注意メカニズムに基づくニューラルネットワークである。従来の研究では、SANとFFNのそれぞれを独立して強化することで、Transformerのテキスト表現能力の向上が試みられている。本論文では、SANとFFNをそれぞれマスク注意ネットワーク（Mask Attention Networks: MANs）として新たな視点から捉え、それらが定常的なマスク行列を持つMANの特殊なケースであることを示す。しかし、これらの定常的マスク行列は、テキスト表現学習における局所性モデリングの能力を制限する要因となっている。そこで、学習可能なマスク行列を備える動的マスク注意ネットワーク（Dynamic Mask Attention Network: DMAN）を提案し、局所性を適応的にモデル化できるようにする。DMAN、SAN、FFNの各層の利点を統合するため、これら3種類のレイヤーを順次連結する構造を提案する。ニューラル機械翻訳やテキスト要約を含む多様なタスクにおける広範な実験の結果、本モデルは元のTransformerを上回る性能を示した。