HyperAIHyperAI

Command Palette

Search for a command to run...

Zu Grundmodellen für die Schließung von Wissensgraphen

Mikhail Galkin Xinyu Yuan Hesham Mostafa Jian Tang Zhaocheng Zhu

Zusammenfassung

Grundlagenmodelle im Bereich Sprache und Vision verfügen dank übertragbarer Darstellungen – wie beispielsweise ein Vokabular an Tokens in der Sprache – über die Fähigkeit, Inferenz auf beliebigen textuellen und visuellen Eingaben durchzuführen. Wissensgraphen (KGs) verfügen hingegen über unterschiedliche Entity- und Relationenvokabulare, die sich im Allgemeinen nicht überschneiden. Die zentrale Herausforderung bei der Entwicklung von Grundlagenmodellen für Wissensgraphen besteht darin, solche übertragbaren Darstellungen zu lernen, die eine Inferenz auf beliebige Graphen mit beliebigen Entity- und Relationenvokabularen ermöglichen. In dieser Arbeit machen wir einen Schritt hin zu solchen Grundlagenmodellen und präsentieren ULTRA, einen Ansatz zur Lernung universeller und übertragbarer Graphendarstellungen. ULTRA konstruiert relationale Darstellungen als Funktion, die von deren Interaktionen abhängt. Diese Bedingungsstrategie ermöglicht es einem vortrainierten ULTRA-Modell, induktiv auf beliebige bisher unbekannte Wissensgraphen mit beliebigen Relationenvokabularen zu generalisieren, sowie auf beliebige Graphen zu fine-tunen. In Link-Prädiktionsexperimenten an 57 verschiedenen Wissensgraphen zeigen wir, dass die Zero-Shot-induktive Inferenzleistung eines einzelnen vortrainierten ULTRA-Modells auf bisher unbekannte Graphen unterschiedlicher Größe oft der von starken Baselines entspricht oder diese sogar übertrifft, die auf spezifische Graphen trainiert wurden. Das Fine-Tuning steigert die Leistung weiter.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp