Mehrfach-Label-Klassifikation mit Überlagerung von Label-Graphen

Bilder oder Videos enthalten stets mehrere Objekte oder Aktionen. Die mehrfache Beschriftung (multi-label recognition) hat aufgrund der raschen Entwicklung tiefer Lernverfahren erhebliche Fortschritte erzielt. Kürzlich wurde der Graph-Convolution-Netzwerk (GCN) eingesetzt, um die Leistung der mehrfachen Beschriftung weiter zu steigern. Dennoch ist unklar, welcher Ansatz zur Modellierung der Beziehungen zwischen Beschriftungen am besten geeignet ist und wie die Merkmalslernung durch ein Bewusstsein für das Beschriftungssystem verbessert werden kann. In diesem Artikel stellen wir einen Rahmenwerk zur Überlagerung von Beschriftungsgraphen vor, um den herkömmlichen GCN+CNN-Ansatz für die mehrfache Beschriftung in zweifacher Hinsicht zu verbessern. Erstens modellieren wir die Beziehungen zwischen Beschriftungen, indem wir einen aus statistischen Ko-Occurrenzinformationen gewonnenen Beschriftungsgraphen auf den aus vorherigen Wissensvoraussetzungen der Beschriftungen konstruierten Graphen überlagern. Anschließend werden mehrschichtige Graph-Convolutionen auf den resultierenden überlagerten Graphen angewendet, um Beschriftungseinhüllungen abzubilden. Zweitens schlagen wir vor, die Einbettung des gesamten Beschriftungssystems zur Verbesserung der Repräsentationslernung zu nutzen. Detailliert werden laterale Verbindungen zwischen GCN und CNN auf mehreren Ebenen – in flachen, mittleren und tiefen Schichten – eingefügt, um Informationen des Beschriftungssystems in das Haupt-Convolutional Neural Network (CNN) einzuspeisen und so eine beschriftungsorientierte Merkmalslernung zu ermöglichen. Umfangreiche Experimente auf den Datensätzen MS-COCO und Charades zeigen, dass unsere vorgeschlagene Methode die Erkennungsleistung erheblich verbessert und neue SOTA (state-of-the-art)-Ergebnisse erzielt.