Parallele Ausbildung von Wissensgraphen-Embedding-Modellen: Ein Vergleich von Techniken

Wissensgraph-Embedding-(KGE)-Modelle stellen die Entitäten und Relationen eines Wissensgraphs (KG) mittels dichter, kontinuierlicher Repräsentationen, sogenannter Embeddings, dar. KGE-Methoden haben in letzter Zeit an Bedeutung für Aufgaben wie die Vervollständigung von Wissensgraphen und die Schlussfolgerung gewonnen sowie zur Bereitstellung geeigneter Entitätsrepräsentationen für nachgeschaltete Lernaufgaben. Während ein Großteil der verfügbaren Literatur sich auf kleine KGs konzentriert, wurden kürzlich mehrere Frameworks vorgestellt, die die Trainierung von KGE-Modellen für großskalige KGs durch Parallelisierung über mehrere GPUs oder Maschinen ermöglichen. Bisher wurde der Vorteile und Nachteile der verschiedenen Parallelisierungstechniken jedoch noch nicht umfassend untersucht. In diesem Paper berichten wir über eine experimentelle Studie, in der wir die verfügbaren Techniken in einem gemeinsamen rechnerischen Framework neu implementiert, untersucht und verbessert haben. Wir stellten fest, dass die in vorherigen Arbeiten verwendeten Evaluationsmethoden oft nicht vergleichbar sind und irreführend wirken können, und dass die meisten der derzeit implementierten Trainingsmethoden tendenziell eine negative Wirkung auf die Embedding-Qualität haben. Wir schlagen eine einfache, aber effektive Variante der Stratifikationstechnik vor, die von PyTorch BigGraph verwendet wird, zur Minderung dieser Probleme. Darüber hinaus kann eine grundlegende zufällige Aufteilung, kombiniert mit geeigneten Sampling-Techniken, eine effektive oder sogar die bestperformende Wahl darstellen. Letztendlich konnten wir feststellen, dass eine effiziente und effektive parallele Trainierung großskaliger KGE-Modelle tatsächlich möglich ist, dies jedoch eine sorgfältige Auswahl der verwendeten Techniken erfordert.