Prototypen-Vervollständigung für Few-Shot-Lernen

Few-shot Learning zielt darauf ab, neue Klassen mit nur wenigen Beispielen zu erkennen. Methoden, die auf Vortrainings basieren, bearbeiten dieses Problem effektiv, indem zunächst ein Merkmalsextraktor vortrainiert und anschließend durch meta-learning basierend auf dem nächsten Zentroid verfeinert wird. Allerdings zeigen die Ergebnisse, dass die Verfeinerungsschritt nur geringfügige Verbesserungen liefert. In diesem Paper zeigen wir: 1) die Ursache hierfür – im vortrainierten Merkmalsraum bilden die Basis-Klassen bereits kompakte Cluster, während die neuen Klassen als Gruppen mit großer Varianz verteilt sind, was darauf hindeutet, dass die Verfeinerung des Merkmalsextraktores weniger sinnvoll ist; 2) anstatt den Merkmalsextraktor zu verfeinern, konzentrieren wir uns stattdessen auf die Schätzung repräsentativerer Prototypen. Daraus resultiert ein neuer, auf Prototypen-Vervollständigung basierender Meta-Learning-Framework. Dieses Framework führt zunächst primäres Wissen (d. h. klassenbezogene Teil- oder Attributannotierungen) ein und extrahiert repräsentative Merkmale für bekannte Attribute als Vorwissen (Priors). Zweitens wird ein Teil-/Attribut-Übertragungsnetzwerk entworfen, das lernt, repräsentative Merkmale für unbekannte Attribute als ergänzende Priors abzuleiten. Schließlich wird ein Prototypen-Vervollständigungsnetzwerk entwickelt, das lernt, die Prototypen mit diesen Priors zu vervollständigen. Um Fehler bei der Prototypen-Vervollständigung zu vermeiden, führen wir außerdem eine auf der Gauss-Verteilung basierende Prototypen-Fusionsstrategie ein, die Mittelwert-basierte und vervollständigte Prototypen mithilfe unlabeleder Beispiele fusioniert. Umfangreiche Experimente zeigen, dass unsere Methode: (i) genauere Prototypen erzielt; (ii) sowohl in induktiven als auch in transduktiven Few-Shot Learning-Szenarien überlegene Leistung erzielt.