Zero-Shot-Lernen durch konvexe Kombination semantischer Einbettungen

Mehrere kürzlich veröffentlichte Arbeiten haben Methoden vorgeschlagen, um Bilder in kontinuierliche semantische Einbettungsräume abzubilden. In einigen Fällen wird der Einbettungsraum gemeinsam mit der Bildtransformation trainiert. In anderen Fällen wird der semantische Einbettungsraum durch eine unabhängige natürlichsprachliche Verarbeitungsaufgabe etabliert, und danach wird die Bildtransformation in diesen Raum in einer zweiten Phase gelernt. Befürworter dieser Bild-Einbettungssysteme haben deren Vorteile gegenüber der traditionellen Klassifikation von Bildern betont, insbesondere im Hinblick auf das Potenzial für zero-shot-Lernen – die Fähigkeit, Bilder von zuvor unbekannten Objektkategorien korrekt zu annotieren. In diesem Paper schlagen wir eine einfache Methode vor, um ein Bild-Einbettungssystem aus jedem existierenden \n-way-Bildklassifizierer und einem semantischen Wort-Einbettungsmodell zu konstruieren, das die $\n$ Klassenbezeichnungen in seinem Wortschatz enthält. Unsere Methode bildet Bilder durch konvexe Kombination der Klassenbezeichnungseinhüllendenvektoren in den semantischen Einbettungsraum ab und erfordert keine zusätzliche Trainingsphase. Wir zeigen, dass diese einfache und direkte Methode viele der Vorteile bietet, die mit komplexeren Bild-Einbettungsschemata in Verbindung gebracht werden, und tatsächlich moderne Methoden bei der zero-shot-Lernaufgabe des ImageNet-Datensatzes übertrifft.