HyperAIHyperAI
vor 2 Monaten

Rethinking Video ViTs: Sparse Video Tubes for Joint Image and Video Learning Überdenken von Video-ViTs: Dünnbesetzte Videoröhren für das gemeinsame Lernen von Bildern und Videos

Piergiovanni, AJ ; Kuo, Weicheng ; Angelova, Anelia
Rethinking Video ViTs: Sparse Video Tubes for Joint Image and Video Learning
Überdenken von Video-ViTs: Dünnbesetzte Videoröhren für das gemeinsame Lernen von Bildern und Videos
Abstract

Wir präsentieren einen einfachen Ansatz, der es ermöglicht, einen ViT-Encoder in ein effizientes Video-Modell zu verwandeln, das nahtlos sowohl mit Bild- als auch mit Videoeingaben arbeiten kann. Durch dünn gesetztes Abtasten der Eingaben ist das Modell in der Lage, sowohl das Training als auch die Inferenz von beiden Eingabetypen durchzuführen. Das Modell ist leicht skalierbar und kann auf groß angelegte vortrainierte ViTs angepasst werden, ohne dass eine vollständige Feinabstimmung erforderlich ist. Das Modell erzielt Stand-of-the-Art-Ergebnisse und der Code wird Open Source veröffentlicht.