要約
大規模な自己回帰生成モデルは、複数の自然言語処理タスクにおいて最高の性能を達成する基盤として台頭しています。しかし、優れた結果を得ようとする切迫した要望が、しばしば十分な実験を行わずに慎重に設計されたタスク固有のアプローチを早期に置き換える原因となっています。共参照解消（Coreference Resolution）タスクも例外ではなく、最近の最先端ソリューションはすべて、エンコーダーに基づく識別システムを上回る大規模な生成自己回帰モデルを採用しています。本研究では、この最近の傾向に挑戦し、「マーベリック」（Maverick）という慎重に設計されながらも単純なパイプラインを導入します。これにより、学術予算の制約内で最先端の共参照解消システムを実行でき、最大130億パラメータを持つモデルを5億パラメータで上回ることができます。マーベリックはCoNLL-2012ベンチマークで最先端の性能を達成し、最大0.006倍のメモリリソースで訓練を行い、以前の最先端システムと比較して推論速度が170倍速くなっています。我々は多様な実験を通じてマーベリックフレームワークの堅牢性を広範囲に検証し、データが少ない状況や長文ドキュメント、ドメイン外設定での以前のシステムに対する改善点を報告しています。研究目的のためにコードとモデルをhttps://github.com/SapienzaNLP/maverick-coref で公開します。