Start Small, Think Big: Zur Hyperparameter-Optimierung für großskalige Wissensgraph-Embeddings

Wissensgraph-Embedding-(KGE-)Modelle sind ein effektiver und verbreiteter Ansatz zur Darstellung und Schlussfolgerung bei mehrrelationalem Daten. Vorangegangene Studien haben gezeigt, dass KGE-Modelle empfindlich gegenüber Hyperparameter-Einstellungen sind und dass geeignete Auswahlkriterien datensatzabhängig sind. In diesem Artikel untersuchen wir die Hyperparameter-Optimierung (HPO) für sehr große Wissensgraphen, bei denen die Kosten zur Bewertung einzelner Hyperparameter-Konfigurationen unakzeptabel hoch sind. Frühere Arbeiten haben diese Kosten oft durch verschiedene Heuristiken umgangen, beispielsweise durch Training auf Teilgraphen oder durch Verwendung weniger Epochen. Wir diskutieren und evaluieren systematisch die Qualität und die Kosteneinsparungen solcher Heuristiken sowie weiterer kostengünstiger Näherungstechniken. Aufgrund unserer Erkenntnisse stellen wir GraSH vor – einen effizienten, mehrfidelitätsbasierten HPO-Algorithmus für großskalige KGE-Modelle, der sowohl Graph- als auch Epochenreduktion kombiniert und in mehreren Runden mit steigender Fidelity läuft. Eine experimentelle Studie ergab, dass GraSH auf großen Graphen Ergebnisse auf State-of-the-Art-Niveau erzielt, und zwar mit sehr geringen Kosten (insgesamt nur drei vollständige Trainingsläufe).