Synthetische Stichprobenauswahl für verallgemeinertes Zero-Shot-Lernen

Das Generalized Zero-Shot Learning (GZSL) ist als ein zentrales Forschungsfeld in der Computer Vision hervorgetreten, dank seiner Fähigkeit, Objekte zu erkennen, die während des Trainings nicht gesehen wurden. Trotz der erheblichen Fortschritte, die generative Techniken bei der Umwandlung traditionellen GZSL in vollständig überwachtes Lernen erzielt haben, neigen diese dazu, eine große Anzahl synthetischer Merkmale zu generieren, die oft redundant sind und somit die Trainingszeit erhöhen und die Genauigkeit verringern. Um dieses Problem anzugehen, schlägt dieser Artikel einen neuen Ansatz für die Auswahl synthetischer Merkmale unter Verwendung von Reinforcement Learning vor. Insbesondere wird ein transformerbasierter Selektor vorgeschlagen, der durch Proximal Policy Optimization (PPO) trainiert wird, um synthetische Merkmale basierend auf der Validierungsklassifikationsgenauigkeit der gesehenen Klassen auszuwählen, welche als Belohnung dient. Die vorgestellte Methode ist modellagnostisch und datagnostisch, was sie sowohl für Bilder als auch für Videos anwendbar macht und sie für verschiedene Anwendungen vielseitig nutzbar sein lässt. Unsere experimentellen Ergebnisse zeigen die Überlegenheit unseres Ansatzes gegenüber bestehenden Merkmalgenerierungsverfahren und führen zu einer verbesserten Gesamtleistung auf mehreren Benchmarks.