HyperAIHyperAI

Command Palette

Search for a command to run...

Rethinking Video ViTs: Sparse Video Tubes for Joint Image and Video Learning Überdenken von Video-ViTs: Dünnbesetzte Videoröhren für das gemeinsame Lernen von Bildern und Videos

AJ Piergiovanni Weicheng Kuo Anelia Angelova

Zusammenfassung

Wir präsentieren einen einfachen Ansatz, der es ermöglicht, einen ViT-Encoder in ein effizientes Video-Modell zu verwandeln, das nahtlos sowohl mit Bild- als auch mit Videoeingaben arbeiten kann. Durch dünn gesetztes Abtasten der Eingaben ist das Modell in der Lage, sowohl das Training als auch die Inferenz von beiden Eingabetypen durchzuführen. Das Modell ist leicht skalierbar und kann auf groß angelegte vortrainierte ViTs angepasst werden, ohne dass eine vollständige Feinabstimmung erforderlich ist. Das Modell erzielt Stand-of-the-Art-Ergebnisse und der Code wird Open Source veröffentlicht.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp