Sonder la robustesse des modèles linguistiques pré-entraînés pour l’appariement d’entités

Le paradigme du fine-tuning des modèles linguistiques pré-entraînés (PLM) s’est avéré efficace pour la correspondance d’entités (Entity Matching, EM). Malgré leurs performances remarquables, les PLM présentent une tendance à apprendre des corrélations artificielles à partir des données d’entraînement. Dans ce travail, nous nous proposons d’étudier si les modèles de correspondance d’entités basés sur les PLM peuvent être considérés fiables dans des applications du monde réel, où la distribution des données diffère de celle utilisée à l’entraînement. À cette fin, nous concevons un benchmark d’évaluation visant à mesurer la robustesse des modèles EM, afin de faciliter leur déploiement dans des contextes réels. Nos évaluations révèlent que le déséquilibre des données dans les jeux d’entraînement constitue un problème clé pour la robustesse. Nous constatons également que l’augmentation de données seule ne suffit pas à rendre un modèle robuste. À titre de remède, nous proposons des modifications simples pouvant améliorer la robustesse des modèles EM basés sur les PLM. Nos expérimentations montrent que, tout en offrant de meilleurs résultats en généralisation sur domaine, le modèle proposé améliore significativement la robustesse par rapport aux modèles de pointe en EM.