共参照解消システムは通常、ヒューリスティックな損失関数を使用して訓練され、これらの損失関数は慎重な調整を必要とします。本論文では、代わりに強化学習を用いて、共参照評価指標に対して直接的に最適化されたニューラル言及ランキングモデルの学習を行いました。我々は2つのアプローチを実験しました：REINFORCE方策勾配アルゴリズムと報酬再スケーリング最大マージン目的関数（reward-rescaled max-margin objective）。後者のアプローチがより効果的であることが確認され、CoNLL 2012共有タスクの英語および中国語部分において、現行の最先端技術を大幅に上回る結果を得ました。