FeatMatch: featurebasierte Augmentation für semigebundenes Lernen

Kürzlich etablierte state-of-the-art-Methoden des halbüberwachten Lernens (Semi-Supervised Learning, SSL) setzen eine Kombination aus bildbasierten Transformationen und Konsistenz-Regularisierung als zentrale Komponenten ein. Solche Ansätze sind jedoch auf einfache Transformationen beschränkt, wie beispielsweise traditionelle Datenaugmentation oder konvexe Kombinationen zweier Bilder. In diesem Artikel stellen wir eine neuartige, auf Merkmalen basierende Verfeinerungs- und Augmentationsmethode vor, die eine Vielzahl komplexer Transformationen erzeugt. Wichtig ist, dass diese Transformationen Informationen sowohl aus innerklassigen als auch aus zwischenklassigen prototypischen Repräsentationen nutzen, die wir durch Clustering extrahieren. Wir verwenden bereits während der Iterationen berechnete Merkmale, indem wir diese in einem Speicherbank-System (Memory Bank) speichern, wodurch ein erheblicher zusätzlicher Rechenaufwand entfällt. Diese Transformationen werden zusammen mit herkömmlichen, bildbasierten Augmentierungen als Bestandteil der konsistenzbasierten Regularisierungsverlustfunktion eingesetzt. Wir zeigen, dass unsere Methode für kleinere Datensätze (CIFAR-10 und SVHN) mit dem aktuellen Stand der Technik vergleichbar ist und gleichzeitig auf größere Datensätze wie CIFAR-100 und mini-ImageNet skaliert werden kann, wo wir signifikante Verbesserungen gegenüber dem Stand der Technik erzielen (z. B. absolute Verbesserung um 17,44 % auf mini-ImageNet). Zudem testen wir unsere Methode auf DomainNet und belegen eine höhere Robustheit gegenüber unlabeled Daten aus anderen Domänen. Abschließend führen wir umfassende Ablationsstudien und Analyse durch, um die Wirksamkeit der vorgeschlagenen Methode zu validieren.