HyperAIHyperAI

Command Palette

Search for a command to run...

Generatives Multi-Label Zero-Shot-Lernen

Akshita Gupta Sanath Narayan Salman Khan Fahad Shahbaz Khan Ling Shao Joost van de Weijer

Zusammenfassung

Das Ziel des Multi-Label Zero-Shot Lernens ist es, Bilder in mehrere bisher nicht gesehene Kategorien zu klassifizieren, für die während des Trainings keine Daten verfügbar sind. In der verallgemeinerten Variante können die Testbeispiele zudem bereits gesehene Kategorien enthalten. Bestehende Ansätze basieren auf dem Lernen von entweder gemeinsamen oder label-spezifischen Aufmerksamkeitsmechanismen aus den gesehenen Klassen. Dennoch stellt das Berechnen zuverlässiger Aufmerksamkeitskarten für unbekannte Klassen während der Inferenz in einem Multi-Label-Szenario weiterhin eine Herausforderung dar.Im Gegensatz dazu lernen state-of-the-art Ansätze, die auf einlabeligen Generativen Adversarischen Netzen (GANs) basieren, direkt die klassenspezifischen visuellen Merkmale aus den entsprechenden Klasseneigenschaftsembeddings zu synthetisieren. Die Synthese von Multi-Label-Merkmalsvektoren durch GANs wurde jedoch im Kontext des Zero-Shot-Lernens bisher noch nicht untersucht. In dieser Arbeit stellen wir verschiedene Fusionsansätze auf Attribut-, Merkmals- und Cross-Level (zwischen Attribut- und Merkmalsniveaus) vor, um Multi-Label-Merkmale aus ihren entsprechenden Multi-Label-Klasseneigenschaftsembeddings zu synthetisieren. Nach bestem Wissen ist unsere Arbeit die erste, die das Problem der Multi-Label-Merkmalsynthese im (verallgemeinerten) Zero-Shot-Szenario angeht.Umfassende Experimente wurden an drei Benchmarks für Zero-Shot-Bildklassifikation durchgeführt: NUS-WIDE, Open Images und MS COCO. Unser generativer Ansatz mit Cross-Level-Fusion übertrifft den Stand der Technik in allen drei Datensätzen. Darüber hinainaus zeigen wir die Generalisierungsfähigkeit unseres Fusionsansatzes bei der Zero-Shot-Detektionsaufgabe am MS COCO-Datensatz, wobei wir gegenüber existierenden Methoden gute Ergebnisse erzielen. Der Quellcode ist unter https://github.com/akshitac8/Generative_MLZSL verfügbar.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
Generatives Multi-Label Zero-Shot-Lernen | Paper | HyperAI