HyperAIHyperAI

Command Palette

Search for a command to run...

Zu nachhaltigem selbstüberwachtem Lernen

Shanghua Gao Pan Zhou Ming-Ming Cheng Shuicheng Yan

Zusammenfassung

Obwohl selbstüberwachtes Lernen (Self-Supervised Learning, SSL) zunehmend kostenintensiv ist, werden die meisten SSL-Modelle immer wieder von Grund auf neu trainiert, ohne dass sie vollständig ausgenutzt werden, da nur wenige State-of-the-Art (SOTA)-Modelle für nachgeschaltete Aufgaben eingesetzt werden. In dieser Arbeit untersuchen wir einen nachhaltigen SSL-Framework mit zwei zentralen Herausforderungen: i) die Entwicklung eines stärkeren neuen SSL-Modells auf Basis eines bereits vortrainierten SSL-Modells – auch als „Base“-Modell bezeichnet – auf kosteneffiziente Weise, und ii) die Gewährleistung der Kompatibilität des Trainings des neuen Modells mit verschiedenen Base-Modellen. Wir schlagen eine Target-Enhanced Conditional (TEC)-Strategie vor, die zwei Komponenten in das bestehende maskenbasierte Rekonstruktions-SSL integriert. Erstens führen wir patch-Relation-verbesserte Ziele ein, die die durch das Base-Modell bereitgestellten Ziele verstärken und das neue Modell dazu anregen, semantische Beziehungswissen aus dem Base-Modell zu lernen, selbst wenn die Eingaben unvollständig sind. Diese Verstärkung und Verbesserung der Ziele ermöglicht es dem neuen Modell, das Base-Modell zu übertreffen, da zusätzliche Modellierung von Patch-Beziehungen zur Bewältigung unvollständiger Eingaben erzwungen wird. Zweitens führen wir einen bedingten Adapter ein, der die Vorhersagen des neuen Modells adaptiv an die Ziele verschiedener Base-Modelle anpasst. Umfangreiche experimentelle Ergebnisse zeigen, dass unsere TEC-Strategie die Lerngeschwindigkeit beschleunigt und gleichzeitig bestehende SOTA-SSL-Base-Modelle wie MAE und iBOT verbessert. Damit leisten wir einen explorativen Beitrag hin zu einem nachhaltigeren SSL.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp