Kompositionale feinkörnige Low-Shot-Lernung

Wir entwickeln ein neuartiges kompositionelles generatives Modell für Zero- und Few-Shot-Lernen, um feinabgestufte Klassen mit nur wenigen oder gar keinen Trainingsbeispielen zu erkennen. Unser zentrales Observieren ist, dass die Generierung globaler Merkmale für feinabgestufte Klassen nicht in der Lage ist, kleinste Attributunterschiede zwischen den Klassen zu erfassen. Daher schlagen wir einen Merkmalskompositionsansatz vor, der lernt, Attributmerkmale aus Trainingsbeispielen zu extrahieren und diese zu kombinieren, um feinabgestufte Merkmale für seltene und unbekannte Klassen zu konstruieren. Die Merkmalskomposition ermöglicht es uns nicht nur, Merkmale jeder Klasse selektiv aus nur relevanten Trainingsbeispielen zu komponieren, sondern auch, durch Variation der zur Komposition verwendeten Beispiele Vielfalt in den komponierten Merkmalen zu erzeugen. Zudem verwenden wir anstelle der Konstruktion globaler Merkmale für Klassen unsere Attributmerkmale, um dichte Darstellungen zu bilden, die in der Lage sind, feinabgestufte Attributdetails von Klassen zu erfassen. Wir schlagen ein Trainingsverfahren vor, das ein diskriminatives Modell nutzt, um Merkmale zu konstruieren, die anschließend zur Weitertrainierung des Modells selbst verwendet werden. Dadurch trainieren wir das diskriminative Modell direkt auf den komponierten Merkmalen, ohne ein separates generatives Modell lernen zu müssen. Wir führen Experimente auf vier etablierten Datensätzen – DeepFashion, AWA2, CUB und SUN – durch und zeigen die Wirksamkeit unseres Ansatzes.