Zu nachhaltigem selbstüberwachtem Lernen

Obwohl selbstüberwachtes Lernen (Self-Supervised Learning, SSL) zunehmend kostenintensiv ist, werden die meisten SSL-Modelle immer wieder von Grund auf neu trainiert, ohne dass sie vollständig ausgenutzt werden, da nur wenige State-of-the-Art (SOTA)-Modelle für nachgeschaltete Aufgaben eingesetzt werden. In dieser Arbeit untersuchen wir einen nachhaltigen SSL-Framework mit zwei zentralen Herausforderungen: i) die Entwicklung eines stärkeren neuen SSL-Modells auf Basis eines bereits vortrainierten SSL-Modells – auch als „Base“-Modell bezeichnet – auf kosteneffiziente Weise, und ii) die Gewährleistung der Kompatibilität des Trainings des neuen Modells mit verschiedenen Base-Modellen. Wir schlagen eine Target-Enhanced Conditional (TEC)-Strategie vor, die zwei Komponenten in das bestehende maskenbasierte Rekonstruktions-SSL integriert. Erstens führen wir patch-Relation-verbesserte Ziele ein, die die durch das Base-Modell bereitgestellten Ziele verstärken und das neue Modell dazu anregen, semantische Beziehungswissen aus dem Base-Modell zu lernen, selbst wenn die Eingaben unvollständig sind. Diese Verstärkung und Verbesserung der Ziele ermöglicht es dem neuen Modell, das Base-Modell zu übertreffen, da zusätzliche Modellierung von Patch-Beziehungen zur Bewältigung unvollständiger Eingaben erzwungen wird. Zweitens führen wir einen bedingten Adapter ein, der die Vorhersagen des neuen Modells adaptiv an die Ziele verschiedener Base-Modelle anpasst. Umfangreiche experimentelle Ergebnisse zeigen, dass unsere TEC-Strategie die Lerngeschwindigkeit beschleunigt und gleichzeitig bestehende SOTA-SSL-Base-Modelle wie MAE und iBOT verbessert. Damit leisten wir einen explorativen Beitrag hin zu einem nachhaltigeren SSL.