HyperAIHyperAI

Command Palette

Search for a command to run...

il y a 4 mois

Sparkly : Un bloqueur TF/IDF simple mais étonnamment puissant pour l’appariement d’entités

{AnHai Doan Yash Govind Derek Paulsen}

Résumé

Le blocage constitue une tâche majeure dans le cadre du matching d’entités. De nombreuses solutions de blocage ont été développées, mais, à notre connaissance, le blocage basé sur la mesure bien connue tf/idf a reçu pratiquement aucune attention. Pourtant, lors de nos expérimentations avec le blocage tf/idf utilisant Lucene, nous avons constaté qu’il se comportait très bien. Aussi, dans cet article, nous examinons en profondeur le blocage tf/idf. Nous proposons Sparkly, un système qui utilise Lucene pour effectuer le blocage top-k tf/idf de manière distribuée, selon une architecture « share-nothing », sur un cluster Spark. Nous avons développé des techniques permettant d’identifier automatiquement les attributs et les tokenizers optimaux pour le blocage, rendant ainsi Sparkly entièrement automatique. Nous menons des expérimentations étendues démontrant que Sparkly surpasser les 8 bloqueurs d’état de l’art. Enfin, nous fournissons une analyse approfondie des performances de Sparkly, tant en termes de rappel et de taille de sortie que de temps d’exécution. Nos résultats suggèrent que (a) le blocage tf/idf mérite davantage d’attention, (b) Sparkly constitue une base solide contre laquelle les travaux futurs sur le blocage devraient être comparés, et (c) les recherches futures devraient sérieusement considérer le blocage top-k, qui améliore le rappel, ainsi qu’une architecture distribuée « share-nothing », qui améliore la scalabilité, la prévisibilité et l’extensibilité.

Benchmarks

BenchmarkMéthodologieMétriques
blocking-on-abt-buySparkly k=50
Candidate Set Size: 54500
Recall: 99.2
blocking-on-abt-buySparkly k=10
Candidate Set Size: 10900
Recall: 98.1
blocking-on-amazon-googleSparkly k=50
Candidate Set Size: 165900
Recall: 99.2
blocking-on-amazon-googleSparkly k=10
Candidate Set Size: 33300
Recall: 96.8

Construire l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec du co-codage IA gratuit, un environnement prêt à l'emploi et les meilleurs prix GPU.

Co-codage IA
GPU prêts à utiliser
Meilleurs prix
Commencer

Hyper Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp