Semantikbewusste doppelte kontrastive Lernmethode für die Mehrlabels-Bildklassifikation

Die effektive Extraktion von Bildsemantik und die Zuweisung entsprechender Labels zu mehreren Objekten oder Attributen bei natürlichen Bildern ist aufgrund der komplexen Szeneninhalte und verwirrenden Label-Abhängigkeiten herausfordernd. In jüngsten Arbeiten wurde der Fokus auf die Modellierung von Label-Beziehungen mittels Graphen und die Analyse von Objektregionen mittels Class Activation Maps (CAM) gelegt. Diese Ansätze ignorieren jedoch die komplexen intra- und inter-kategorialen Beziehungen spezifischer semantischer Merkmale, und CAM ist anfällig für die Generierung von Rauschinformationen. Um diesem Problem entgegenzuwirken, schlagen wir einen neuartigen, semantikbewussten dualen Kontrastlernrahmen vor, der sowohl Sample-to-Sample-Kontrastlern (SSCL) als auch Prototype-to-Sample-Kontrastlern (PSCL) integriert. Konkret nutzen wir semantikbewusste Repräsentationslernung, um kategoriennahe lokale diskriminative Merkmale zu extrahieren und Kategorieprototypen zu erstellen. Anschließend aggregieren wir mittels SSCL visuelle Repräsentationen auf Label-Ebene derselben Kategorie und trennen Merkmale verschiedener Kategorien voneinander. Gleichzeitig führen wir ein neuartiges PSCL-Modul ein, das die Distanz zwischen positiven Proben und den zugehörigen Kategorieprototypen verkleinert und negative Proben von diesen Prototypen fernhält. Schließlich werden die diskriminativen, auf Label-Ebene basierenden Merkmale, die mit dem Bildinhalt verknüpft sind, präzise durch die gemeinsame Trainierung der drei Komponenten erfasst. Experimente an fünf anspruchsvollen, großskaligen öffentlichen Datensätzen zeigen, dass unsere Methode wirksam ist und die derzeit besten Ansätze übertrifft. Der Quellcode und zusätzliche Materialien sind unter https://github.com/yu-gi-oh-leilei/SADCL veröffentlicht.