SG-Net: 構文ガイド付き機械読解

機械読解のためには、詳細が詰まった長い文章から言語知識を効果的にモデル化し、ノイズを取り除く能力がその性能向上に不可欠です。従来の注意モデルは明示的な制約なしで全ての単語に注目するため、一部の不要な単語に不適切に集中してしまうことがあります。本研究では、文法を用いてテキストモデリングをガイドすることを提案し、注意メカニズムに明示的な文法制約を取り入れることで、より言語学的に動機付けられた単語表現を実現します。具体的には、Transformerベースのエンコーダーを使用した自己注意ネットワーク（SAN）に対して、興味のある文法的依存関係（SDOI）設計を導入し、文法ガイド付き自己注意を持つSDOI-SANを形成します。さらに、この追加のSDOI-SANと元のTransformerエンコーダーからのSANを双方向コンテクストアーキテクチャで組み合わせて構成された文法ガイド付きネットワーク（SG-Net）が提案されます。その有効性を検証するために、提案されたSG-Netは典型的な事前学習言語モデルBERT（Transformerエンコーダーに基づく）に適用されました。SQuAD 2.0やRACEなどの人気ベンチマークでの広範な実験結果は、提案されたSG-Net設計が強力な基準モデルに対して大幅な性能向上を達成することを示しています。