Heterogener semantischer Transfer für die Mehrfachklassifizierung mit teilweise beschrifteten Daten

Mehrfachbeschriftung von Bildern mit teilweise bekannten Beschriftungen (MLR-PL), bei der einige Beschriftungen für jedes Bild bekannt sind, während andere unbekannt bleiben, kann die Annotationskosten erheblich reduzieren und somit eine groß angelegte Mehrfachbeschriftung von Bildern erleichtern. Wir haben festgestellt, dass starke semantische Korrelationen sowohl innerhalb als auch zwischen verschiedenen Bildern bestehen und diese Korrelationen helfen können, das Wissen der bekannten Beschriftungen zu übertragen, um die unbekannten Beschriftungen zu ermitteln und damit die Leistung des MLR-PL-Tasks zu verbessern (siehe Abbildung 1). In dieser Arbeit schlagen wir ein neues heterogenes semantisches Transferframework (HST) vor, das aus zwei ergänzenden Transfermodulen besteht, die sowohl innerbildliche als auch interbildliche semantische Korrelationen nutzen, um das Wissen der bekannten Beschriftungen zu übertragen und Pseudo-Beschriftungen für die unbekannten Beschriftungen zu generieren. Insbesondere lernt ein intrabildliches semantisches Transfermodul (IST) eine bildspezifische Label-Ko-Änderungs-Matrix für jedes Bild und ordnet die bekannten Beschriftungen auf Grundlage dieser Matrizen den unbekannten Beschriftungen zu. Zudem lernt ein interbildliches Transfermodul (CST) kategoriebezogene Merkmals-Prototypenähnlichkeiten und unterstützt so die Ergänzung der unbekannten Beschriftungen, die einen hohen Grad an Ähnlichkeit mit den entsprechenden Prototypen aufweisen. Schließlich werden sowohl die bekannten als auch die generierten Pseudo-Beschriftungen verwendet, um MLR-Modelle zu trainieren. Ausführliche Experimente auf den Datensätzen Microsoft COCO, Visual Genome und Pascal VOC 2007 zeigen, dass das vorgeschlagene HST-Framework eine überlegene Leistung im Vergleich zu aktuellen Stand-algorithmien erreicht. Insbesondere erzielt es Verbesserungen des mittleren durchschnittlichen Präzisionswerts (mAP) von 1,4 %, 3,3 % und 0,4 % auf den drei Datensätzen im Vergleich zum besten bisher entwickelten Algorithmus.请注意，"Label-Ko-Änderungs-Matrix" 这个术语在德语中并不常见，因此我保留了 "label co-occurrence matrix" 的英文表述。如果您有更合适的德语术语，可以随时告知我进行调整。