近年のニューラルネットワークモデルは、共参照解決（coreference resolution）の分野において著しい進展を遂げている。しかし、現在のニューラル共参照モデルは、通常、局所的な決定のシーケンス上で計算されるヒューリスティックな損失関数によって訓練されている。本論文では、共参照評価指標を直接最適化するためのエンドツーエンド型強化学習ベースの共参照解決モデルを提案する。具体的には、Leeら（2018）の最先端の高次mentionランキング手法を、共参照リンク行動のシーケンスに関連する報酬を組み込むことで、強化学習に基づく方策勾配モデルに改変した。さらに、モデルが悪く局所最適解に早期に収束するのを防ぐため、適切な探索を促進するための最大エントロピー正則化を導入した。本研究で提案するモデルは、英語OntoNotes v5.0ベンチマークにおいて、新たな最先端の性能を達成した。