Apprendre à partir du Contexte ou des Noms ? Une Étude Empirique sur l'Extraction Neurale de Relations

Les modèles neuronaux ont obtenu des succès remarquables sur les benchmarks d’extraction de relations (RE). Toutefois, il n’existe pas de compréhension claire quant aux types d’informations qui influencent les modèles RE existants dans leurs décisions, ni comment améliorer davantage leur performance. A cet effet, nous étudions empiriquement l’impact de deux sources d’information principales présentes dans le texte : le contexte textuel et les mentions d’entités (noms). Nous constatons que (i) bien que le contexte constitue la principale source d’appui pour les prédictions, les modèles RE s’appuient également fortement sur les informations provenant des mentions d’entités, dont la majeure partie est de l’information de type, et (ii) les jeux de données existants pourraient révéler des heuristiques superficielles via les mentions d’entités, contribuant ainsi à la performance élevée observée sur les benchmarks RE. À partir de ces analyses, nous proposons un cadre de pré-entraînement contrastif masqué des entités pour la RE, permettant une compréhension plus approfondie à la fois du contexte textuel et de l’information de type, tout en évitant la mémorisation mécanique des entités ou l’utilisation de signaux superficiels dans les mentions. Nous menons des expériences étendues pour soutenir nos hypothèses, et démontrons que notre cadre améliore l’efficacité et la robustesse des modèles neuronaux dans divers scénarios d’extraction de relations. Tous les codes et jeux de données sont disponibles à l’adresse suivante : https://github.com/thunlp/RE-Context-or-Names.