HyperAIHyperAI

Command Palette

Search for a command to run...

il y a 4 mois

Entraînement parallèle de modèles d’embedding de graphes de connaissances : Une comparaison de techniques

{Rainer Gemulla Adrian Kochsiek}

Résumé

Les modèles d’embedding de graphe de connaissances (KGE) représentent les entités et les relations d’un graphe de connaissances (KG) à l’aide de représentations continues denses appelées embeddings. Ces méthodes KGE ont récemment gagné en popularité pour des tâches telles que la complétion de graphes de connaissances et le raisonnement, ainsi que pour fournir des représentations d’entités adaptées aux tâches d’apprentissage supervisé ultérieures. Alors que la majeure partie de la littérature disponible se concentre sur des KG de petite taille, plusieurs cadres ont récemment été proposés afin de former des modèles KGE à grande échelle en exploitant la parallélisation sur plusieurs GPU ou machines. Jusqu’à présent, les avantages et inconvénients des différentes techniques de parallélisation n’ont pas été étudiés de manière exhaustive. Dans ce papier, nous présentons une étude expérimentale dans laquelle nous avons reimplémenté, analysé et amélioré les techniques disponibles dans un cadre computationnel commun. Nous avons constaté que les méthodologies d’évaluation utilisées dans les travaux antérieurs sont souvent non comparables et peuvent induire en erreur, et que la plupart des méthodes de formation actuellement mises en œuvre ont tendance à nuire à la qualité des embeddings. Nous proposons une variation simple mais efficace de la technique de stratification utilisée par PyTorch BigGraph afin de pallier ce problème. De plus, un partitionnement aléatoire basique peut s’avérer une solution efficace, voire la meilleure, lorsqu’il est combiné à des techniques d’échantillonnage appropriées. En définitive, nous montrons qu’un entraînement parallèle efficace et performant de modèles KGE à grande échelle est bel et bien réalisable, à condition de choisir soigneusement les techniques adaptées.

Benchmarks

BenchmarkMéthodologieMétriques
link-prediction-on-wikidata5mComplEx
Hits@1: 0.255
Hits@10: 0.398
MRR: 0.308

Construire l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec du co-codage IA gratuit, un environnement prêt à l'emploi et les meilleurs prix GPU.

Co-codage IA
GPU prêts à utiliser
Meilleurs prix
Commencer

Hyper Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp