11日前
無視する技術の習得:限界記憶ニューラルネットワークを用いた長文コアファレンス
Shubham Toshniwal, Sam Wiseman, Allyson Ettinger, Karen Livescu, Kevin Gimpel

要約
長文におけるコアフレンス解決は、現在のモデルが大きなメモリ容量および実行時間の要件を伴うため、依然として困難な課題である。近年、エンティティのグローバル表現のみを用いてインクリメンタルにコアフレンス解決を行う手法が提案され、実用的な利点が示されているが、その一方ですべてのエンティティをメモリ上に保持する必要があるため、長文に対しては現実的でない場合がある。本研究では、すべてのエンティティをメモリに保持する必要はないと主張し、一度に少数の限定された数のエンティティのみを追跡するメモリ拡張型ニューラルネットワークを提案する。これにより、文書長さに対して線形な実行時間の保証が可能となる。本研究では、(a) OntoNotesおよびLitBankのデータセットにおいて、高メモリ・高計算量を要するモデルと比較しても競争力のある性能を発揮すること、および (b) ルールベースの戦略を容易に上回る効率的なメモリ管理戦略を学習できることを示した。