Zu Grundmodellen für die Schließung von Wissensgraphen

Grundlagenmodelle im Bereich Sprache und Vision verfügen dank übertragbarer Darstellungen – wie beispielsweise ein Vokabular an Tokens in der Sprache – über die Fähigkeit, Inferenz auf beliebigen textuellen und visuellen Eingaben durchzuführen. Wissensgraphen (KGs) verfügen hingegen über unterschiedliche Entity- und Relationenvokabulare, die sich im Allgemeinen nicht überschneiden. Die zentrale Herausforderung bei der Entwicklung von Grundlagenmodellen für Wissensgraphen besteht darin, solche übertragbaren Darstellungen zu lernen, die eine Inferenz auf beliebige Graphen mit beliebigen Entity- und Relationenvokabularen ermöglichen. In dieser Arbeit machen wir einen Schritt hin zu solchen Grundlagenmodellen und präsentieren ULTRA, einen Ansatz zur Lernung universeller und übertragbarer Graphendarstellungen. ULTRA konstruiert relationale Darstellungen als Funktion, die von deren Interaktionen abhängt. Diese Bedingungsstrategie ermöglicht es einem vortrainierten ULTRA-Modell, induktiv auf beliebige bisher unbekannte Wissensgraphen mit beliebigen Relationenvokabularen zu generalisieren, sowie auf beliebige Graphen zu fine-tunen. In Link-Prädiktionsexperimenten an 57 verschiedenen Wissensgraphen zeigen wir, dass die Zero-Shot-induktive Inferenzleistung eines einzelnen vortrainierten ULTRA-Modells auf bisher unbekannte Graphen unterschiedlicher Größe oft der von starken Baselines entspricht oder diese sogar übertrifft, die auf spezifische Graphen trainiert wurden. Das Fine-Tuning steigert die Leistung weiter.