La modélisation des relations entre plusieurs entités a récemment suscité un intérêt croissant, et un nouveau jeu de données, appelé DocRED, a été collecté afin d’accélérer la recherche sur l’extraction de relations au niveau du document. Les modèles de référence actuels pour cette tâche utilisent un BiLSTM pour encoder l’intégralité du document et sont entraînés depuis le début. Nous estimons que ces baselines simples ne sont pas suffisamment puissantes pour modéliser les interactions complexes entre entités. Dans cet article, nous proposons d’appliquer un modèle linguistique pré-entraîné (BERT) afin d’offrir une baseline plus robuste pour cette tâche. Nous constatons également qu’une approche par phases permet d’améliorer davantage les performances : la première étape consiste à prédire si deux entités sont liées ou non, tandis que la seconde étape vise à prédire la relation spécifique entre elles.