Koreferenzauflösungssysteme werden in der Regel mit heuristischen Verlustfunktionen trainiert, die eine sorgfältige Anpassung erfordern. In dieser Arbeit wenden wir stattdessen Reinforcement Learning an, um ein neuronales Erwähnungs-Rangiermodell direkt für Koreferenzevaluationsmetriken zu optimieren. Wir experimentieren mit zwei Ansätzen: dem REINFORCE-Policy-Gradienten-Algorithmus und einem belohnungsgewichteten Max-Margin-Ziel. Wir stellen fest, dass letzterer effektiver ist und erhebliche Verbesserungen gegenüber dem aktuellen Stand der Technik auf den englischen und chinesischen Teilen der CoNLL 2012 Shared Task erzielt.