HyperAIHyperAI

Command Palette

Search for a command to run...

Une évaluation critique de l'état de l'art en matière d'alignement d'entités

Max Berrendorf Ludwig Wacker Evgeniy Faerman

Résumé

Dans ce travail, nous menons une étude approfondie de deux méthodes de pointe (state-of-the-art, SotA) pour la tâche d’alignement d’entités dans les graphes de connaissances. Ainsi, nous examinons d’abord soigneusement le processus de benchmarking et identifions plusieurs lacunes, qui rendent les résultats rapportés dans les travaux originaux parfois non comparables. En outre, nous soupçonnons qu’il est courant dans la communauté de procéder à l’optimisation des hyperparamètres directement sur un ensemble de test, ce qui réduit la valeur informative des performances rapportées. Par conséquent, nous sélectionnons un échantillon représentatif de jeux de données de benchmark et décrivons leurs propriétés. Nous examinons également différentes initialisations des représentations d’entités, qui constituent un facteur déterminant pour la performance des modèles. En outre, nous utilisons une partition partagée d’entraînement/validation/test afin d’assurer un cadre d’évaluation équitable, dans lequel nous évaluons toutes les méthodes sur tous les jeux de données. Dans notre évaluation, nous obtenons plusieurs résultats intéressants. Bien que nous observions que les approches de pointe surpassent généralement les méthodes de base, elles rencontrent des difficultés lorsque les données contiennent du bruit, ce qui est fréquent dans les applications réelles. En outre, notre étude d’ablation révèle que certaines caractéristiques des méthodes de pointe sont souvent plus cruciales pour une bonne performance que ce qui était auparavant supposé. Le code est disponible à l’adresse suivante : https://github.com/mberr/ea-sota-comparison.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp