HyperAIHyperAI

Command Palette

Search for a command to run...

VideoMoCo: Kontrastive Lernung von Video-Repräsentationen mit zeitlich adversarialen Beispielen

Tian Pan Yibing Song Tianyu Yang Wenhao Jiang Wei Liu

Zusammenfassung

MoCo ist effektiv für das unüberwachte Lernen von Bildrepräsentationen. In diesem Artikel stellen wir VideoMoCo für das unüberwachte Lernen von Videorepräsentationen vor. Gegeben eine Videosequenz als Eingabeprobe verbessern wir die zeitlichen Merkmalsrepräsentationen von MoCo aus zwei Perspektiven. Erstens führen wir einen Generator ein, der mehrere Frames dieser Probe zeitlich ausblenden lässt. Der Diskriminator wird dann darauf trainiert, unabhängig von den ausgelassenen Frames ähnliche Merkmalsrepräsentationen zu erzeugen. Durch adaptives Auslassen verschiedener Frames während der Trainingsiterationen des adversarialen Lernens erweitern wir die Eingabeprobe, um einen zeitlich robusten Encoder zu trainieren. Zweitens verwenden wir zeitliche Abklingfunktionen, um die Abnahme der Relevanz der Schlüssel im Speicher-Queue bei der Berechnung der kontrastiven Verlustfunktion zu modellieren. Da der Momentum-Encoder nach dem Enqueuen der Schlüssel aktualisiert wird, nimmt die Repräsentationsfähigkeit dieser Schlüssel ab, wenn wir die aktuelle Eingabeprobe zur kontrastiven Lernung nutzen. Diese Degradation wird durch zeitliche Abklingfunktionen berücksichtigt, um der Eingabeprobe eine stärkere Aufmerksamkeit auf jüngere Schlüssel in der Queue zu gewähren. Dadurch adaptieren wir MoCo, um Videorepräsentationen zu lernen, ohne vorab empirisch vorgegebene Vorabaufgaben (pretext tasks) entwerfen zu müssen. Durch die Stärkung der zeitlichen Robustheit des Encoders und die Modellierung der zeitlichen Abklingfunktion der Schlüssel verbessert unsere VideoMoCo MoCo auf der Basis kontrastiven Lernens zeitlich. Experimente auf Benchmark-Datensätzen wie UCF101 und HMDB51 zeigen, dass VideoMoCo eine state-of-the-art-Methode für das Lernen von Videorepräsentationen darstellt.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
VideoMoCo: Kontrastive Lernung von Video-Repräsentationen mit zeitlich adversarialen Beispielen | Paper | HyperAI