Symbolic Graph Reasoning trifft auf Faltungen

Abseits von lokalen Faltungsnetzwerken erforschen wir, wie verschiedene externe menschliche Kenntnisse genutzt werden können, um Netzwerken die Fähigkeit zur semantischen globalen Schlussfolgerung zu verleihen. Anstelle der Verwendung separater grafischer Modelle (z. B. CRF) oder Einschränkungen zur Modellierung weiterreichender Abhängigkeiten schlagen wir eine neue Schicht namens Symbolic Graph Reasoning (SGR) vor, die über einer Gruppe symbolischer Knoten Schlussfolgerungen zieht, deren Ausgaben explizit unterschiedliche Eigenschaften jedes Semantems in einer vorherigen Wissensgraphenrepräsentation darstellen. Um mit lokalen Faltungen zusammenzuarbeiten, besteht jede SGR-Schicht aus drei Modulen: a) einem primalen lokalen-zu-semantischen Abstimmungsmodul, bei dem die Merkmale aller symbolischen Knoten durch Abstimmung aus lokalen Darstellungen generiert werden; b) einem Graph-Schlussfolgerungsmodul, das Informationen über den Wissensgraphen propagiert, um globale semantische Kohärenz zu erreichen; und c) einem dualen semantischen-zu-lokalen Abbildungsmodul, das neue Assoziationen zwischen den entwickelten symbolischen Knoten und lokalen Darstellungen lernt und somit die lokalen Merkmale verbessert. Die SGR-Schicht kann zwischen beliebige Faltungsschichten integriert und mit unterschiedlichen vorherigen Graphen instanziiert werden. Ausführliche Experimente zeigen, dass die Integration von SGR die Leistung reiner ConvNets bei drei Aufgaben der semantischen Segmentierung und einer Aufgabe der Bildklassifikation erheblich verbessert. Weitere Analysen belegen, dass die SGR-Schicht gemeinsame symbolische Darstellungen für unterschiedliche Domänen/Datensätze lernt, wenn ein universeller Wissensgraph gegeben ist, was ihre überlegene Generalisierungsfähigkeit unterstreicht.