要約
最近の共参照解決モデルは、単語のスパン間の共参照リンクを発見するために、スパン表現に大きく依存している。テキスト長さを$n$とすると、スパンの数は$O(n^2)$、潜在的なリンク数は$O(n^4)$に達するため、このアプローチを計算上実現可能にするためにさまざまな削減（pruning）技術が不可欠である。本研究では、代わりに単語同士の共参照リンクを直接考慮し、その後で単語スパンを再構成するアプローチを提案する。これにより、共参照モデルの計算複雑度は$O(n^2)$まで低減され、すべての潜在的な参照表現を削除せずに扱うことが可能となる。また、これらの変更により、共参照解決においてSpanBERTはRoBERTaに大きく劣ることを実証した。高い効率性を維持しつつ、本モデルはOntoNotesベンチマークにおいて最新の共参照解決システムと競争力のある性能を達成している。