f-VAEGAN-D2: Ein Merkmalsgenerierungsrahmen für Any-Shot-Lernen

Wenn beschriftete Trainingsdaten knapp sind, ist ein vielversprechender Ansatz zur Datenverstärkung die Generierung visueller Merkmale unbekannter Klassen mithilfe ihrer Attribute. Um die klassenbedingte Verteilung von CNN-Merkmalsvektoren zu lernen, stützen sich diese Modelle auf Paare von Bildmerkmalen und Klassenattributen. Daher können sie nicht von der Fülle unbeschrifteter Datensätze profitieren. In dieser Arbeit adressieren wir Any-Shot-Lernprobleme, d.h. Zero-Shot- und Few-Shot-Lernprobleme, in einem vereinheitlichten Merkmalsgenerierungsrahmen, der sowohl in induktiven als auch in transduktiven Lernszenarien funktioniert. Wir entwickeln ein bedingtes generatives Modell, das die Stärken von VAE (Variational Autoencoder) und GANs (Generative Adversarial Networks) kombiniert und zusätzlich durch einen unbedingten Diskriminator die marginale Merkmalsverteilung unbeschrifteter Bilder lernt. Wir zeigen empirisch, dass unser Modell hochdiskriminative CNN-Merkmalsvektoren für fünf Datensätze erlernt, nämlich CUB, SUN, AWA und ImageNet, und einen neuen Stand der Technik in Any-Shot-Lernen etabliert, d.h. in induktiven und transduktiven (verallgemeinerten) Zero-Shot- und Few-Shot-Lernszenarien. Zudem demonstrieren wir die Interpretierbarkeit unserer gelernten Merkmale: Wir visualisieren sie durch Rücktransformation ins Pixelraum und erklären sie durch Generierung textbasierter Argumente dafür, warum sie mit einer bestimmten Bezeichnung assoziiert werden.