Barlow Twins: Selbstüberwachtes Lernen durch Redundanzreduktion

Selbstüberwachtes Lernen (Self-supervised Learning, SSL) schließt die Lücke zu überwachten Methoden auf großen Benchmarks für Computer Vision zunehmend ein. Ein erfolgreicher Ansatz beim SSL besteht darin, Embeddings zu lernen, die invariant gegenüber Verzerrungen der Eingabeproben sind. Ein wiederkehrendes Problem dieses Ansatzes ist jedoch die Existenz trivialer konstanter Lösungen. Die meisten aktuellen Methoden vermeiden solche Lösungen durch sorgfältige Implementierungsdetails. Wir schlagen eine Zielfunktion vor, die das Zusammenbruchphänomen natürlicherweise vermeidet, indem sie die Kreuzkorrelationsmatrix zwischen den Ausgaben zweier identischer Netzwerke, die mit verzerrten Versionen einer Probe gespeist werden, misst und diese so nah wie möglich an die Identitätsmatrix heranführt. Dadurch werden die Embedding-Vektoren verzerrter Versionen einer Probe ähnlich, während die Redundanz zwischen den Komponenten dieser Vektoren minimiert wird. Der Ansatz wird Barlow Twins genannt, benannt nach dem Neurowissenschaftler H. Barlow und seinem Prinzip der Redundanzreduktion, das auf ein Paar identischer Netzwerke angewandt wird. Barlow Twins erfordert weder große Mini-Batches noch Asymmetrie zwischen den Netzwerkzwillingen, wie beispielsweise ein Vorhersage-Netzwerk, Gradientenstopp oder ein beweglicher Durchschnitt bei den Gewichtsaktualisierungen. Interessanterweise profitiert die Methode von sehr hochdimensionalen Ausgabevektoren. Barlow Twins übertrifft frühere Methoden bei der semi-supervisierten Klassifikation auf ImageNet im Low-Data-Regime und erreicht auf dem Gebiet der ImageNet-Klassifikation mit einem linearen Klassifikatorkopf sowie bei Transfer-Aufgaben zur Klassifikation und Objekterkennung das Niveau aktueller State-of-the-Art-Methoden.