複数の言及を用いて共参照を行うためのニューラルモデル

自然言語処理（NLP）の多くの問題は、文中で遠くに位置する可能性のある同一エンティティの複数の言及から情報を集約する必要がある。既存のリカレントニューラルネットワーク（RNN）層は短期依存関係に偏っており、そのためこのようなタスクには適していない。本研究では、共参照依存関係に偏った新たなリカレント層を提案する。この層は、外部システムから抽出した共参照アノテーションを使用して、同じクラスターに属するエンティティの言及を接続する。最先端の読解モデルにこの層を取り入れることで、Wikihop、LAMBADA、およびbAbi AIタスクという3つのデータセットにおいて性能が向上し、特に訓練データが少ない場合に大きな改善が見られた。