HyperAIHyperAI

Command Palette

Search for a command to run...

Audiovisuelle maskierte Autoencoder

Mariana-Iuliana Georgescu Eduardo Fonseca Radu Tudor Ionescu Mario Lucic Cordelia Schmid Anurag Arnab

Zusammenfassung

Können wir die bereits in Videos enthaltene audiovisuelle Information nutzen, um das selbstüberwachte Darstellungslernen zu verbessern? Um diese Frage zu beantworten, untersuchen wir verschiedene Vortrainingsarchitekturen und -ziele im Rahmen des Masked Autoencoding-Ansatzes, motiviert durch den Erfolg ähnlicher Methoden in der Sprach- und Bildverarbeitung. Wir zeigen, dass wir erhebliche Verbesserungen bei audiovisuellen Downstream-Klassifikationsaufgaben erzielen können, wobei wir die bisherigen State-of-the-Art-Ergebnisse auf VGGSound und AudioSet übertreffen. Zudem können wir unser audiovisuelles Vortrainingsverfahren für mehrere unimodale Downstream-Aufgaben nutzen, wobei lediglich ein einziger audiovisueller vortrainierter Modell verwendet wird. Darüber hinaus demonstrieren wir die Übertragbarkeit unserer Darstellungen und erreichen state-of-the-art-Ergebnisse im audiovisuellen Bereich auf Epic Kitchens, ohne dass speziell für dieses Datensatz vortrainiert wurde.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp