Verallgemeinerte Null- und Few-Shot-Lernung mittels ausgerichteten variationalen Autoencoder

Viele Ansätze im generalisierten Zero-Shot-Lernen beruhen auf einer cross-modalen Abbildung zwischen dem Bildmerkmalsraum und dem Klassen-Embedding-Raum. Da beschriftete Bilder kostspielig sind, zielt eine Richtung darauf ab, die Datensätze durch die Generierung von entweder Bildern oder Bildmerkmalen zu erweitern. Der erste Ansatz verliert jedoch feinere Details, während der zweite eine Abbildung erfordert, die mit den Klassen-Embeddings verknüpft ist. In dieser Arbeit gehen wir einen Schritt weiter bei der Merkmalsgenerierung und schlagen ein Modell vor, bei dem ein gemeinsamer latenter Raum aus Bildmerkmalen und Klassen-Embeddings mittels modality-spezifischer, ausgerichteter Variationaler Autoencoder (VAEs) gelernt wird. Dadurch verbleibt in den latenten Merkmalen die erforderliche diskriminative Information über Bilder und Klassen, auf der wir einen Softmax-Klassifikator trainieren. Der Schlüssel unseres Ansatzes liegt darin, die Verteilungen, die aus Bildern und aus Zusatzinformationen gelernt werden, auszurichten, um latente Merkmale zu konstruieren, die die wesentlichen multimodalen Informationen zu unerkannten Klassen enthalten. Wir evaluieren unsere gelernten latenten Merkmale auf mehreren Benchmark-Datensätzen, nämlich CUB, SUN, AWA1 und AWA2, und erreichen dabei einen neuen State-of-the-Art sowohl im generalisierten Zero-Shot-Lernen als auch im Few-Shot-Lernen. Zudem zeigen unsere Ergebnisse auf ImageNet unter verschiedenen Zero-Shot-Splits, dass unsere latenten Merkmale auch in großskaligen Szenarien gut generalisieren.