HyperAIHyperAI

Command Palette

Search for a command to run...

Semantikbewusste doppelte kontrastive Lernmethode für die Mehrlabels-Bildklassifikation

Leilei Ma Dengdi Sun Lei Wang Haifeng Zhao Bin Luo

Zusammenfassung

Die effektive Extraktion von Bildsemantik und die Zuweisung entsprechender Labels zu mehreren Objekten oder Attributen bei natürlichen Bildern ist aufgrund der komplexen Szeneninhalte und verwirrenden Label-Abhängigkeiten herausfordernd. In jüngsten Arbeiten wurde der Fokus auf die Modellierung von Label-Beziehungen mittels Graphen und die Analyse von Objektregionen mittels Class Activation Maps (CAM) gelegt. Diese Ansätze ignorieren jedoch die komplexen intra- und inter-kategorialen Beziehungen spezifischer semantischer Merkmale, und CAM ist anfällig für die Generierung von Rauschinformationen. Um diesem Problem entgegenzuwirken, schlagen wir einen neuartigen, semantikbewussten dualen Kontrastlernrahmen vor, der sowohl Sample-to-Sample-Kontrastlern (SSCL) als auch Prototype-to-Sample-Kontrastlern (PSCL) integriert. Konkret nutzen wir semantikbewusste Repräsentationslernung, um kategoriennahe lokale diskriminative Merkmale zu extrahieren und Kategorieprototypen zu erstellen. Anschließend aggregieren wir mittels SSCL visuelle Repräsentationen auf Label-Ebene derselben Kategorie und trennen Merkmale verschiedener Kategorien voneinander. Gleichzeitig führen wir ein neuartiges PSCL-Modul ein, das die Distanz zwischen positiven Proben und den zugehörigen Kategorieprototypen verkleinert und negative Proben von diesen Prototypen fernhält. Schließlich werden die diskriminativen, auf Label-Ebene basierenden Merkmale, die mit dem Bildinhalt verknüpft sind, präzise durch die gemeinsame Trainierung der drei Komponenten erfasst. Experimente an fünf anspruchsvollen, großskaligen öffentlichen Datensätzen zeigen, dass unsere Methode wirksam ist und die derzeit besten Ansätze übertrifft. Der Quellcode und zusätzliche Materialien sind unter https://github.com/yu-gi-oh-leilei/SADCL veröffentlicht.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
Semantikbewusste doppelte kontrastive Lernmethode für die Mehrlabels-Bildklassifikation | Paper | HyperAI