Latente Embedding-Rückmeldung und diskriminative Merkmale für Zero-Shot-Klassifikation

Zero-shot-Lernen zielt darauf ab, unerkannte Kategorien zu klassifizieren, für die während des Trainings keine Daten verfügbar sind. Bei der verallgemeinerten Variante können die Testbeispiele zudem zu bekannten oder unbekannten Kategorien gehören. Die derzeit beste Herangehensweise basiert auf Generativen adversarialen Netzwerken (GANs), die Merkmale unbekannter Klassen durch Ausnutzung klassenspezifischer semantischer Embeddings synthetisieren. Während des Trainings generieren diese Netzwerke semantisch konsistente Merkmale, setzen jedoch diese Einschränkung während der Merkmalsynthese und Klassifikation außer Kraft. Wir schlagen vor, die semantische Konsistenz in allen Phasen des (verallgemeinerten) Zero-shot-Lernens – Training, Merkmalsynthese und Klassifikation – zu gewährleisten. Zunächst führen wir eine Rückkopplungsschleife ein, die von einem semantischen Embedding-Decodierer ausgeht und die generierten Merkmale sowohl im Trainings- als auch im Syntheseprozess iterativ verfeinert. Die synthetisierten Merkmale zusammen mit ihren entsprechenden latenten Embeddings aus dem Decodierer werden anschließend in diskriminative Merkmale transformiert und bei der Klassifikation eingesetzt, um Ambiguitäten zwischen den Kategorien zu reduzieren. Experimente im Bereich der (verallgemeinerten) Zero-shot-Objekt- und Aktionsklassifikation belegen den Nutzen der semantischen Konsistenz und der iterativen Rückkopplung und übertrumpfen bestehende Methoden auf sechs Zero-shot-Lern-Benchmarks. Quellcode unter https://github.com/akshitac8/tfvaegan.