Duales semantisch bewusstes Repräsentationsblending für die Mehrfach-Label-Bilderkennung mit teilweise beschrifteten Daten

Trotz erstaunlicher Fortschritte hängen aktuelle Algorithmen für die mehrfache Bilderkennung (Multi-Label Image Recognition, MLR) stark von umfangreichen Datensätzen mit vollständigen Labels ab. Dies macht die Erstellung solcher großen Datensätze äußerst zeitaufwendig und arbeitsintensiv. Das Training von Modellen zur mehrfachen Bilderkennung mit teilweise bekannten Labels (MLR-PL) ist eine Alternative, bei der nur einige Labels pro Bild bekannt sind, während andere unbekannt bleiben. Aktuelle MLR-PL-Algorithmen basieren jedoch auf vorab trainierten Bildähnlichkeitsmodellen oder aktualisieren iterativ die Bildklassifikationsmodelle, um Pseudolabels für die unbekannten Labels zu generieren. Somit hängen sie von einer gewissen Anzahl von Annotationen ab und leiden unvermeidlich unter erheblichen Leistungsverlusten, insbesondere wenn der Anteil der bekannten Labels gering ist.Um dieses Dilemma zu lösen, schlagen wir ein duales semantikbewusstes Repräsentationsblending (Dual-Perspective Semantic-Aware Representation Blending, DSRB) vor. Dieses Verfahren kombiniert kategorie-spezifische semantische Repräsentationen unterschiedlicher Bilder in verschiedenen Granularitäten, sowohl aus instanzbezogener als auch aus prototypbasierter Perspektive, um Informationen der bekannten Labels zu übertragen und so die unbekannten Labels zu ergänzen. Insbesondere wurde ein Modul für instanzbezogenes Repräsentationsblending (Instance-Perspective Representation Blending, IPRB) entwickelt, das die Repräsentationen der bekannten Labels eines Bildes mit den Repräsentationen der entsprechenden unbekannten Labels eines anderen Bildes vermischt, um diese unbekannten Labels zu ergänzen. Gleichzeitig wurde ein Modul für prototypbasiertes Repräsentationsblending (Prototype-Perspective Representation Blending, PPRB) eingeführt, das stabileren Repräsentationsprototypen für jede Kategorie lernt und die Repräsentationen der unbekannten Labels mit den Prototypen der entsprechenden Labels in einem ortssensitiven Verfahren mischt, um diese unbekannten Labels zu ergänzen.Ausführliche Experimente auf den Datensätzen MS-COCO, Visual Genome und Pascal VOC 2007 zeigen, dass das vorgeschlagene DSRB in allen Szenarien mit unterschiedlichem Anteil bekannter Labels konsequent bessere Ergebnisse als aktuelle state-of-the-art-Algorithmen erzielt.