Die Nutzung der invarianten Seite des generativen Zero-Shot-Lernens

Konventionelle Zero-Shot-Lernverfahren (ZSL) lernen in der Regel eine Einbettung, z.B. eine visuelle-semantische Abbildung, um unbekannte visuelle Beispiele indirekt zu verarbeiten. In dieser Arbeit nutzen wir die Vorteile von generativen adversären Netzen (GANs) und schlagen eine neuartige Methode vor, die als Leveraging Invariant Side GAN (LisGAN) bezeichnet wird. Diese Methode kann unbekannte Merkmale direkt aus zufälligen Rauschen generieren, wobei diese durch semantische Beschreibungen konditioniert sind. Insbesondere trainieren wir ein bedingtes Wasserstein-GAN, bei dem der Generator künstliche unbekannte Merkmale aus Rauschen synthetisiert und der Diskriminator durch ein Minimax-Spiel zwischen echten und gefälschten Merkmalen unterscheidet. Angesichts der Tatsache, dass eine semantische Beschreibung verschiedenen synthetisierten visuellen Beispielen entsprechen kann und die semantische Beschreibung im übertragenen Sinne die Seele der generierten Merkmale ist, führen wir in dieser Arbeit Seele-Beispiele als den invarianten Teil des generativen Zero-Shot-Lernens ein. Ein Seele-Beispiel ist die Metarepräsentation einer Klasse. Es visualisiert die semantisch bedeutendsten Aspekte jedes Beispiels in derselben Kategorie. Wir regulieren, dass jedes generierte Beispiel (der variable Teil des generativen ZSL) sich mindestens einem Seele-Beispiel (dem invarianten Teil), das dieselbe Klassenbezeichnung hat, annähern sollte. Im Zero-Shot-Erkennungsstadium schlagen wir vor, zwei Klassifizierer in einer Kaskadenstruktur einzusetzen, um ein Ergebnis von grob zu fein zu erzielen. Experimente an fünf gängigen Benchmarks zeigen, dass unser vorgeschlagener Ansatz signifikante Verbesserungen gegenüber den besten bisher bekannten Methoden aufweist.