HyperAIHyperAI

Command Palette

Search for a command to run...

Parallele Ausbildung von Wissensgraphen-Embedding-Modellen: Ein Vergleich von Techniken

Rainer Gemulla Adrian Kochsiek

Zusammenfassung

Wissensgraph-Embedding-(KGE)-Modelle stellen die Entitäten und Relationen eines Wissensgraphs (KG) mittels dichter, kontinuierlicher Repräsentationen, sogenannter Embeddings, dar. KGE-Methoden haben in letzter Zeit an Bedeutung für Aufgaben wie die Vervollständigung von Wissensgraphen und die Schlussfolgerung gewonnen sowie zur Bereitstellung geeigneter Entitätsrepräsentationen für nachgeschaltete Lernaufgaben. Während ein Großteil der verfügbaren Literatur sich auf kleine KGs konzentriert, wurden kürzlich mehrere Frameworks vorgestellt, die die Trainierung von KGE-Modellen für großskalige KGs durch Parallelisierung über mehrere GPUs oder Maschinen ermöglichen. Bisher wurde der Vorteile und Nachteile der verschiedenen Parallelisierungstechniken jedoch noch nicht umfassend untersucht. In diesem Paper berichten wir über eine experimentelle Studie, in der wir die verfügbaren Techniken in einem gemeinsamen rechnerischen Framework neu implementiert, untersucht und verbessert haben. Wir stellten fest, dass die in vorherigen Arbeiten verwendeten Evaluationsmethoden oft nicht vergleichbar sind und irreführend wirken können, und dass die meisten der derzeit implementierten Trainingsmethoden tendenziell eine negative Wirkung auf die Embedding-Qualität haben. Wir schlagen eine einfache, aber effektive Variante der Stratifikationstechnik vor, die von PyTorch BigGraph verwendet wird, zur Minderung dieser Probleme. Darüber hinaus kann eine grundlegende zufällige Aufteilung, kombiniert mit geeigneten Sampling-Techniken, eine effektive oder sogar die bestperformende Wahl darstellen. Letztendlich konnten wir feststellen, dass eine effiziente und effektive parallele Trainierung großskaliger KGE-Modelle tatsächlich möglich ist, dies jedoch eine sorgfältige Auswahl der verwendeten Techniken erfordert.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
Parallele Ausbildung von Wissensgraphen-Embedding-Modellen: Ein Vergleich von Techniken | Paper | HyperAI