HyperAIHyperAI

Command Palette

Search for a command to run...

Untersuchung von Zielrepräsentationen für Masked Autoencoder

Xingbin Liu Jinghao Zhou Tao Kong Xianming Lin Rongrong Ji

Zusammenfassung

Maskierte Autoencoder sind zu populären Trainingsparadigmen für selbstüberwachtes visuelles Repräsentationslernen geworden. Diese Modelle maskieren zufällig einen Teil der Eingabe und rekonstruieren den maskierten Bereich basierend auf den Zielrepräsentationen. In dieser Arbeit zeigen wir zunächst, dass eine sorgfältige Auswahl der Zielrepräsentation für die Entwicklung guter Repräsentationen nicht erforderlich ist, da verschiedene Zielrepräsentationen tendenziell ähnliche Modelle erzeugen. Aufgrund dieser Beobachtung schlagen wir eine mehrstufige maskierte Distillationsschleife vor und verwenden ein zufällig initialisiertes Modell als Lehrer, wodurch wir hochkapazitive Modelle effektiv trainieren können, ohne aufwendig Zielrepräsentationen zu entwerfen. Interessanterweise untersuchen wir weiterhin den Einsatz von Lehrern mit größerer Kapazität und erreichen dadurch abgeleitete Schülermodelle mit bemerkenswerter Übertragungsfähigkeit. Auf verschiedenen Aufgaben wie Klassifikation, Transferlernen, Objekterkennung und semantische Segmentierung übertrifft die vorgeschlagene Methode zur maskierten Wissensdistillation mit bootstrap-Unterstützten Lehrern (dBOT) bisherige selbstüberwachte Ansätze signifikant. Wir hoffen, dass unsere Erkenntnisse sowie die vorgestellte Methode dazu beitragen, die Rolle der Zielrepräsentationen bei der Vortrainierung maskierter Autoencoder neu zu überdenken. Der Quellcode und vortrainierte Modelle sind öffentlich verfügbar unter https://github.com/liuxingbin/dbot.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
Untersuchung von Zielrepräsentationen für Masked Autoencoder | Paper | HyperAI