Progressiver Co-Attention-Netzwerk für feinkörnige visuelle Klassifikation

Feinabgestufte visuelle Klassifikation zielt darauf ab, Bilder mehrerer Unter-Kategorien innerhalb derselben Kategorie zu erkennen. Dies ist eine anspruchsvolle Aufgabe, da die Kategorien sich durch äußerst subtile Unterschiede auszeichnen, die leicht verwechselt werden können. Die meisten bestehenden Methoden nutzen lediglich ein einzelnes Bild als Eingabe, was die Fähigkeit der Modelle einschränkt, kontrastive Hinweise aus verschiedenen Bildern zu erkennen. In diesem Paper stellen wir eine effektive Methode namens progressive Co-Attention-Netzwerk (PCA-Net) vor, um dieses Problem anzugehen. Konkret berechnen wir die kanalweise Ähnlichkeit, indem wir die Interaktion zwischen den Merkmalskanälen innerhalb von Bildpaaren derselben Kategorie fördern, um gemeinsame, differenzierende Merkmale zu erfassen. Berücksichtigt wird zudem, dass ergänzende Informationen für die Erkennung ebenfalls entscheidend sind; daher löschen wir die markanten Bereiche, die durch die Kanalinteraktion verstärkt wurden, um das Netzwerk zu zwingen, sich auf andere differenzierende Regionen zu konzentrieren. Das vorgeschlagene Modell erzielt wettbewerbsfähige Ergebnisse auf drei etablierten Benchmark-Datensätzen für feinabgestufte visuelle Klassifikation: CUB-200-2011, Stanford Cars und FGVC Aircraft.