OBoW: Online Bag-of-Visual-Words Generierung für selbstüberwachtes Lernen
Die Lernung von Bildrepräsentationen ohne menschliche Aufsicht ist ein bedeutendes und aktives Forschungsfeld. Mehrere kürzlich vorgestellte Ansätze haben erfolgreich die Idee genutzt, solche Repräsentationen invariant gegenüber verschiedenen Arten von Störungen zu gestalten, insbesondere durch kontrastive, auf Instanzdiskriminierung basierende Trainingsstrategien. Obwohl wir tatsächlich erwarten müssen, dass effektive visuelle Repräsentationen solche Invarianzen aufweisen, gibt es weitere wichtige Eigenschaften – beispielsweise die Fähigkeit, kontextuelle Schlussfolgerungen zu erfassen – für die alternative, auf Rekonstruktion basierende Ansätze möglicherweise besser geeignet sind.Ausgehend von diesem Gedanken schlagen wir ein Lehrer-Schüler-Schema vor, bei dem ein Faltungsnetzwerk trainiert wird, um eine Bag-of-Visual-Words (BoW)-Repräsentation eines Bildes zu rekonstruieren, wobei als Eingabe eine gestörte Version desselben Bildes dient. Unser Ansatz ermöglicht ein Online-Training sowohl des Lehrernetzwerks (das die BoW-Ziele erzeugt) als auch des Schülernetzwerks (das die Repräsentationen lernt), sowie eine kontinuierliche Aktualisierung des Visual-Words-Wortschatzes, der für die BoW-Ziele verwendet wird. Diese Idee ermöglicht effektiv eine vollständig online-gesteuerte, BoW-gesteuerte, unsupervisierte Lernstrategie. Umfangreiche Experimente belegen das Potenzial unserer BoW-basierten Methode, die in mehreren Anwendungen die bisherigen State-of-the-Art-Verfahren (einschließlich kontrastiver Ansätze) übertrifft. Beispielsweise erzielt unsere Methode in nachgeschalteten Aufgaben wie der Pascal-Objektdetektion, der Pascal-Klassifikation und der Places205-Klassifikation eine bessere Leistung als alle vorherigen unsupervisierten Ansätze und erreicht damit neue State-of-the-Art-Ergebnisse, die sogar signifikant besser sind als die von supervisierten Vortrainings. Die Implementierungscode steht unter https://github.com/valeoai/obow zur Verfügung.