Generatives Multi-Label Zero-Shot-Lernen

Das Ziel des Multi-Label Zero-Shot Lernens ist es, Bilder in mehrere bisher nicht gesehene Kategorien zu klassifizieren, für die während des Trainings keine Daten verfügbar sind. In der verallgemeinerten Variante können die Testbeispiele zudem bereits gesehene Kategorien enthalten. Bestehende Ansätze basieren auf dem Lernen von entweder gemeinsamen oder label-spezifischen Aufmerksamkeitsmechanismen aus den gesehenen Klassen. Dennoch stellt das Berechnen zuverlässiger Aufmerksamkeitskarten für unbekannte Klassen während der Inferenz in einem Multi-Label-Szenario weiterhin eine Herausforderung dar.Im Gegensatz dazu lernen state-of-the-art Ansätze, die auf einlabeligen Generativen Adversarischen Netzen (GANs) basieren, direkt die klassenspezifischen visuellen Merkmale aus den entsprechenden Klasseneigenschaftsembeddings zu synthetisieren. Die Synthese von Multi-Label-Merkmalsvektoren durch GANs wurde jedoch im Kontext des Zero-Shot-Lernens bisher noch nicht untersucht. In dieser Arbeit stellen wir verschiedene Fusionsansätze auf Attribut-, Merkmals- und Cross-Level (zwischen Attribut- und Merkmalsniveaus) vor, um Multi-Label-Merkmale aus ihren entsprechenden Multi-Label-Klasseneigenschaftsembeddings zu synthetisieren. Nach bestem Wissen ist unsere Arbeit die erste, die das Problem der Multi-Label-Merkmalsynthese im (verallgemeinerten) Zero-Shot-Szenario angeht.Umfassende Experimente wurden an drei Benchmarks für Zero-Shot-Bildklassifikation durchgeführt: NUS-WIDE, Open Images und MS COCO. Unser generativer Ansatz mit Cross-Level-Fusion übertrifft den Stand der Technik in allen drei Datensätzen. Darüber hinainaus zeigen wir die Generalisierungsfähigkeit unseres Fusionsansatzes bei der Zero-Shot-Detektionsaufgabe am MS COCO-Datensatz, wobei wir gegenüber existierenden Methoden gute Ergebnisse erzielen. Der Quellcode ist unter https://github.com/akshitac8/Generative_MLZSL verfügbar.