Label-Embedding für die attributbasierte Klassifikation

Attribute stellen eine Zwischendarstellung dar, die die gemeinsame Nutzung von Parametern zwischen Klassen ermöglicht – eine zwingende Voraussetzung, wenn Trainingsdaten knapp sind. Wir schlagen vor, die attributbasierte Bildklassifikation als ein Label-Embedding-Problem zu betrachten: Jede Klasse wird im Raum von Attributvektoren eingebettet. Wir führen eine Funktion ein, die die Kompatibilität zwischen einem Bild und einer Label-Embedding repräsentiert. Die Parameter dieser Funktion werden anhand eines Trainingssets mit beschrifteten Beispielen gelernt, um sicherzustellen, dass bei gegebenem Bild die korrekten Klassen eine höhere Rangordnung als die falschen erhalten. Ergebnisse auf den Datensätzen Animals With Attributes und Caltech-UCSD-Birds zeigen, dass der vorgeschlagene Rahmen die Standardmethode der direkten Attributvorhersage in einer Zero-Shot-Lern-Situation übertrifft. Das Label-Embedding-Paradigma bietet zudem weitere Vorteile, wie beispielsweise die Nutzung zusätzlicher Informationsquellen neben Attributen (z. B. Klassenhierarchien) oder eine nahtlose Übergang von Zero-Shot-Lernen zu Lernen mit großen Datenmengen.