HyperAIHyperAI

Command Palette

Search for a command to run...

Duales semantisch bewusstes Repräsentationsblending für die Mehrfach-Label-Bilderkennung mit teilweise beschrifteten Daten

Tao Pu Tianshui Chen Hefeng Wu Yukai Shi Zhijing Yang Liang Lin

Zusammenfassung

Trotz erstaunlicher Fortschritte hängen aktuelle Algorithmen für die mehrfache Bilderkennung (Multi-Label Image Recognition, MLR) stark von umfangreichen Datensätzen mit vollständigen Labels ab. Dies macht die Erstellung solcher großen Datensätze äußerst zeitaufwendig und arbeitsintensiv. Das Training von Modellen zur mehrfachen Bilderkennung mit teilweise bekannten Labels (MLR-PL) ist eine Alternative, bei der nur einige Labels pro Bild bekannt sind, während andere unbekannt bleiben. Aktuelle MLR-PL-Algorithmen basieren jedoch auf vorab trainierten Bildähnlichkeitsmodellen oder aktualisieren iterativ die Bildklassifikationsmodelle, um Pseudolabels für die unbekannten Labels zu generieren. Somit hängen sie von einer gewissen Anzahl von Annotationen ab und leiden unvermeidlich unter erheblichen Leistungsverlusten, insbesondere wenn der Anteil der bekannten Labels gering ist.Um dieses Dilemma zu lösen, schlagen wir ein duales semantikbewusstes Repräsentationsblending (Dual-Perspective Semantic-Aware Representation Blending, DSRB) vor. Dieses Verfahren kombiniert kategorie-spezifische semantische Repräsentationen unterschiedlicher Bilder in verschiedenen Granularitäten, sowohl aus instanzbezogener als auch aus prototypbasierter Perspektive, um Informationen der bekannten Labels zu übertragen und so die unbekannten Labels zu ergänzen. Insbesondere wurde ein Modul für instanzbezogenes Repräsentationsblending (Instance-Perspective Representation Blending, IPRB) entwickelt, das die Repräsentationen der bekannten Labels eines Bildes mit den Repräsentationen der entsprechenden unbekannten Labels eines anderen Bildes vermischt, um diese unbekannten Labels zu ergänzen. Gleichzeitig wurde ein Modul für prototypbasiertes Repräsentationsblending (Prototype-Perspective Representation Blending, PPRB) eingeführt, das stabileren Repräsentationsprototypen für jede Kategorie lernt und die Repräsentationen der unbekannten Labels mit den Prototypen der entsprechenden Labels in einem ortssensitiven Verfahren mischt, um diese unbekannten Labels zu ergänzen.Ausführliche Experimente auf den Datensätzen MS-COCO, Visual Genome und Pascal VOC 2007 zeigen, dass das vorgeschlagene DSRB in allen Szenarien mit unterschiedlichem Anteil bekannter Labels konsequent bessere Ergebnisse als aktuelle state-of-the-art-Algorithmen erzielt.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp