Aufmerksamkeitsgesteuertes dynamisches Graphenkonvolutionales Netzwerk für die Mehrfachetikettierung von Bildern

Neuere Studien nutzen häufig Graph Convolutional Networks (GCNs), um Etikett-Abhängigkeiten zu modellieren und die Erkennungsgenauigkeit bei der mehrfachen Bildetikettierung zu verbessern. Allerdings kann das Konstruieren eines Graphen durch das Zählen der Etikett-Koexistenzwahrscheinlichkeiten der Trainingsdaten die Generalisierbarkeit des Modells beeinträchtigen, insbesondere wenn es in Testbildern gelegentlich Koexistenzobjekte gibt. Unser Ziel ist es, diesen Bias zu eliminieren und die Robustheit der gelernten Merkmale zu erhöhen. Zu diesem Zweck schlagen wir ein aufmerksamkeitsgesteuertes dynamisches Graph Convolutional Network (ADD-GCN) vor, das für jedes Bild einen spezifischen Graphen dynamisch generiert. Das ADD-GCN verwendet ein dynamisches Graph Convolutional Network (D-GCN), um die Beziehungen zwischen inhaltsbezogenen Kategoriedarstellungen zu modellieren, die durch ein semantisches Aufmerksamkeitsmodul (Semantic Attention Module, SAM) erzeugt werden. Umfangreiche Experimente an öffentlichen Mehr-Etiketten-Benchmarks zeigen die Effektivität unserer Methode, die mAP-Werte von 85,2 %, 96,0 % und 95,5 % auf MS-COCO, VOC2007 und VOC2012 erreicht und damit deutlich über den aktuellen Stand der Technik liegt. Der gesamte Code ist unter https://github.com/Yejin0111/ADD-GCN verfügbar.