Command Palette
Search for a command to run...
Une évaluation critique de l'état de l'art en matière d'alignement d'entités
Une évaluation critique de l'état de l'art en matière d'alignement d'entités
Max Berrendorf Ludwig Wacker Evgeniy Faerman
Résumé
Dans ce travail, nous menons une étude approfondie de deux méthodes de pointe (state-of-the-art, SotA) pour la tâche d’alignement d’entités dans les graphes de connaissances. Ainsi, nous examinons d’abord soigneusement le processus de benchmarking et identifions plusieurs lacunes, qui rendent les résultats rapportés dans les travaux originaux parfois non comparables. En outre, nous soupçonnons qu’il est courant dans la communauté de procéder à l’optimisation des hyperparamètres directement sur un ensemble de test, ce qui réduit la valeur informative des performances rapportées. Par conséquent, nous sélectionnons un échantillon représentatif de jeux de données de benchmark et décrivons leurs propriétés. Nous examinons également différentes initialisations des représentations d’entités, qui constituent un facteur déterminant pour la performance des modèles. En outre, nous utilisons une partition partagée d’entraînement/validation/test afin d’assurer un cadre d’évaluation équitable, dans lequel nous évaluons toutes les méthodes sur tous les jeux de données. Dans notre évaluation, nous obtenons plusieurs résultats intéressants. Bien que nous observions que les approches de pointe surpassent généralement les méthodes de base, elles rencontrent des difficultés lorsque les données contiennent du bruit, ce qui est fréquent dans les applications réelles. En outre, notre étude d’ablation révèle que certaines caractéristiques des méthodes de pointe sont souvent plus cruciales pour une bonne performance que ce qui était auparavant supposé. Le code est disponible à l’adresse suivante : https://github.com/mberr/ea-sota-comparison.