18日前

文脈対のモデリングのためのマルチウェイアテンションネットワーク

{Ming Zhou, Furu Wei, Chuanqi Tan, Weifeng Lv, Wenhui Wang}
文脈対のモデリングのためのマルチウェイアテンションネットワーク
要約

文脈対のモデリングは、類義文同定、自然言語推論、回答文選択といった二文間の関係を判断する上で極めて重要な役割を果たす。従来の研究では、アテンション機構を備えたニューラルネットワークを用いることで、非常に有望な成果が得られている。本論文では、マッチング・アグリゲーションフレームワークの下で、複数のアテンション関数を用いて文対をマッチングするマルチウェイアテンションネットワークを提案する。具体的には、対応する文内の単語をマッチングするための4つのアテンション関数を設計し、各関数から得られたマッチング情報を集約した後、すべての関数からの情報を統合して最終的な表現を獲得する。実験結果により、提案するマルチウェイアテンションネットワークが、Quora Question Pairs、SNLI、MultiNLI、およびSQuADデータセットにおける回答文選択タスクにおいて、性能向上を示した。