Zero-Shot Learning mit gemeinsamem Sinn-Wissensgraphen

Zero-shot-Lernen beruht auf semantischen Klassenrepräsentationen wie handgezeichneten Attributen oder gelernten Embeddings, um Klassen vorherzusagen, ohne dass dafür gelabelte Beispiele erforderlich sind. Wir schlagen vor, Klassenrepräsentationen zu lernen, indem man Knoten aus Common-Sense-Wissensgraphen in einen Vektorraum einbettet. Common-Sense-Wissensgraphen sind eine bisher ungenutzte Quelle expliziten, hochwertigen Wissens, die sich mit geringem menschlichem Aufwand auf eine Vielzahl von Aufgaben übertragen lässt. Um das Wissen im Graphen zu erfassen, führen wir ZSL-KG ein – einen allgemein verwendbaren Rahmen mit einem neuartigen Transformer-Graph-Convolutional-Netzwerk (TrGCN) zur Generierung von Klassenrepräsentationen. Unsere vorgeschlagene TrGCN-Architektur berechnet nichtlineare Kombinationen von Knotennachbarschaften. Unsere Ergebnisse zeigen, dass ZSL-KG bestehende auf WordNet basierende Methoden auf fünf von sechs Zero-Shot-Benchmark-Datensätzen im Bereich Sprache und Vision übertrifft.