HyperAIHyperAI

Command Palette

Search for a command to run...

Start Small, Think Big: Zur Hyperparameter-Optimierung für großskalige Wissensgraph-Embeddings

Adrian Kochsiek Fritz Niesel Rainer Gemulla

Zusammenfassung

Wissensgraph-Embedding-(KGE-)Modelle sind ein effektiver und verbreiteter Ansatz zur Darstellung und Schlussfolgerung bei mehrrelationalem Daten. Vorangegangene Studien haben gezeigt, dass KGE-Modelle empfindlich gegenüber Hyperparameter-Einstellungen sind und dass geeignete Auswahlkriterien datensatzabhängig sind. In diesem Artikel untersuchen wir die Hyperparameter-Optimierung (HPO) für sehr große Wissensgraphen, bei denen die Kosten zur Bewertung einzelner Hyperparameter-Konfigurationen unakzeptabel hoch sind. Frühere Arbeiten haben diese Kosten oft durch verschiedene Heuristiken umgangen, beispielsweise durch Training auf Teilgraphen oder durch Verwendung weniger Epochen. Wir diskutieren und evaluieren systematisch die Qualität und die Kosteneinsparungen solcher Heuristiken sowie weiterer kostengünstiger Näherungstechniken. Aufgrund unserer Erkenntnisse stellen wir GraSH vor – einen effizienten, mehrfidelitätsbasierten HPO-Algorithmus für großskalige KGE-Modelle, der sowohl Graph- als auch Epochenreduktion kombiniert und in mehreren Runden mit steigender Fidelity läuft. Eine experimentelle Studie ergab, dass GraSH auf großen Graphen Ergebnisse auf State-of-the-Art-Niveau erzielt, und zwar mit sehr geringen Kosten (insgesamt nur drei vollständige Trainingsläufe).


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
Start Small, Think Big: Zur Hyperparameter-Optimierung für großskalige Wissensgraph-Embeddings | Paper | HyperAI