Les systèmes de résolution de co-référence sont généralement entraînés à l'aide de fonctions de perte heuristiques nécessitant une calibration minutieuse. Dans cet article, nous appliquons au contraire l'apprentissage par renforcement pour optimiser directement un modèle neuronal de classement des mentions selon les métriques d'évaluation de la co-référence. Nous expérimentons deux approches : l'algorithme du gradient de politique REINFORCE et un objectif max-margin rééchelonné par récompense. Nous constatons que cette dernière est plus efficace, aboutissant à des améliorations significatives par rapport à l'état actuel de l'art sur les parties anglaise et chinoise de la tâche partagée CoNLL 2012.