Schutz der Barlow Twins vor Überanpassung durch gemischte Proben

Selbstüberwachendes Lernen (Self-Supervised Learning, SSL) zielt darauf ab, übertragbare Merkmalsrepräsentationen für nachgeschaltete Anwendungen zu erlernen, ohne auf gelabelte Daten angewiesen zu sein. Der Barlow Twins-Algorithmus, der aufgrund seiner breiten Verbreitung und der einfachen Implementierung im Vergleich zu anderen Ansätzen wie kontrastiven Lernmethoden bekannt ist, minimiert Merkmalsredundanz, während gleichzeitig Invarianz gegenüber gängigen Verzerrungen maximiert wird. Die Optimierung dieses Ziels zwingt das Netzwerk, nützliche Darstellungen zu lernen und gleichzeitig rauschhafte oder konstante Merkmale zu vermeiden, was zu einer verbesserten Leistung bei nachgeschalteten Aufgaben mit geringer Anpassung führt. Trotz der bewährten Wirksamkeit von Barlow Twins im Vortrainingsprozess kann die zugrundeliegende SSL-Zielfunktion aufgrund des fehlenden starken Wechselspiels zwischen den Samples – im Gegensatz zu kontrastiven Lernansätzen – unbeabsichtigterweise zu einer Überanpassung der Merkmale führen. Aus unseren Experimenten ergibt sich, dass die Optimierung der Barlow-Twins-Zielfunktion nicht zwangsläufig zu einer kontinuierlichen Verbesserung der Darstellungsqualität über einen bestimmten Vortrainingszeitpunkt hinaus führt und in einigen Fällen sogar die Leistung bei nachgeschalteten Aufgaben verschlechtern kann. Um dieser Herausforderung zu begegnen, stellen wir Mixed Barlow Twins vor, das darauf abzielt, die Interaktion zwischen den Samples während des Barlow-Twins-Trainings durch linear interpolierte Samples zu verbessern. Dies führt zu einem zusätzlichen Regularisierungsterm in der ursprünglichen Barlow-Twins-Zielfunktion, wobei die Annahme zugrunde liegt, dass eine lineare Interpolation im Eingaberaum auch eine lineare Interpolation in dem Merkmalsraum ergibt. Das Vortraining mit dieser Regularisierung wirkt der Überanpassung der Merkmale effektiv entgegen und verbessert zudem die Leistung bei nachgeschalteten Aufgaben erheblich auf den Datensätzen CIFAR-10, CIFAR-100, TinyImageNet, STL-10 und ImageNet. Der Quellcode und die Modellcheckpoint-Dateien sind unter folgender URL verfügbar: https://github.com/wgcban/mix-bt.git