HyperAIHyperAI

Command Palette

Search for a command to run...

MDMMT-2: Multidomain Multimodal Transformer für die Videoretrieval-Aufgabe – Ein weiterer Schritt hin zur Generalisierung

Alexander Kunitsyn Maksim Kalashnikov Maksim Dzabraev Andrei Ivaniuta

Zusammenfassung

In dieser Arbeit präsentieren wir einen neuen State-of-the-Art für die Text-zu-Video-Retrieval-Aufgabe auf den Datensätzen MSR-VTT, LSMDC, MSVD, YouCook2 und TGIF, erreicht durch ein einzelnes Modell. Drei verschiedene Datenquellen werden kombiniert: schwach beschriftete Videos, von Laien annotierte Text-Bild-Paare sowie Text-Video-Paare. Eine sorgfältige Analyse verfügbarker vortrainierter Netzwerke ermöglicht die Auswahl der besten vorherigen Wissensbasen. Wir stellen ein dreistufiges Trainingsverfahren vor, das eine hohe Übertragungseffizienz des Wissens gewährleistet und die Nutzung von verrauschten Datensätzen während des Trainings erlaubt, ohne dass die Qualität des vorherigen Wissens abnimmt. Zudem wird eine doppelte Positions-Encodierung eingesetzt, um eine bessere Fusion verschiedener Modalitäten zu ermöglichen, und ein einfacher Ansatz zur Verarbeitung von nicht-quadratischen Eingaben wird vorgeschlagen.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp