Wissensgraphen-Embedding mit atriöser Faltung und Residual-Learning

Wissensgraphen-Embedding ist eine wichtige Aufgabe und wird zahlreichen nachgeschalteten Anwendungen zugutekommen. Derzeit erreichen Methoden auf Basis tiefer neuronalen Netze den Stand der Technik. Allerdings sind die meisten dieser bestehenden Ansätze äußerst komplex und erfordern viel Zeit für das Training und die Inferenz. Um dieses Problem anzugehen, schlagen wir eine einfache, aber effektive Methode zur Wissensgraphen-Embedding basierend auf atraumatischer Faltung vor. Im Vergleich zu bestehenden state-of-the-art-Methoden weist unsere Methode folgende Hauptmerkmale auf: Erstens erhöht sie effektiv die Merkmalsinteraktionen durch den Einsatz atraumatischer Faltungen. Zweitens löst sie das Problem des Verlusts ursprünglicher Informationen sowie das Problem der verschwindenden/explodierenden Gradienten mittels des Residual-Lernens. Drittens verfügt sie über eine einfachere Struktur, ist jedoch deutlich parameter-effizienter. Wir evaluieren unsere Methode anhand sechs Benchmark-Datensätze mit verschiedenen Bewertungsmetriken. Umfangreiche Experimente zeigen, dass unser Modell äußerst effektiv ist. Auf diesen vielfältigen Datensätzen erzielt es auf den meisten Bewertungsmetriken bessere Ergebnisse als die verglichenen state-of-the-art-Methoden. Der Quellcode unseres Modells ist unter https://github.com/neukg/AcrE verfügbar.