HyperAIHyperAI

Command Palette

Search for a command to run...

Test of Time: Die Verleihung eines Zeitgefühls an Video-Sprache-Modelle

Piyush Bagad Makarand Tapaswi Cees G. M. Snoek

Zusammenfassung

Die Modellierung und das Verständnis von Zeit bleiben eine Herausforderung in modernen Video-Verständnis-Modellen. Angesichts der zunehmenden Bedeutung von Sprache als Schlüsselfaktor für eine starke Generalisierung ist es unerlässlich, dass grundlegende Video-Sprache-Modelle über ein Zeitbewusstsein verfügen. In diesem Paper betrachten wir einen spezifischen Aspekt des zeitlichen Verständnisses: die Konsistenz der zeitlichen Reihenfolge, wie sie durch vor/nach-Beziehungen erfasst wird. Wir zeigen, dass sieben bestehende Video-Sprache-Modelle bereits solche einfachen zeitlichen Relationen nicht hinreichend verstehen. Daraufhin fragen wir, ob es möglich ist, diesen grundlegenden Modellen temporales Bewusstsein beizubringen, ohne sie von Grund auf neu zu trainieren. Dazu schlagen wir eine temporale Anpassungsstrategie für ein solches Modell, VideoCLIP, vor, die auf einer Nach-Prätrainingsphase mit einer geringen Menge an Video-Text-Daten basiert. Wir führen eine Zero-Shot-Evaluation der angepassten Modelle auf sechs Datensätzen für drei Anwendungsaufgaben durch, die unterschiedliche Grade an zeitlichem Bewusstsein erfordern. Wir beobachten ermutigende Leistungssteigerungen, insbesondere bei Aufgaben, die ein höheres Maß an zeitlichem Verständnis erfordern. Unser Ansatz stellt einen ersten Schritt dar, um das zeitliche Bewusstsein in bestehenden Video-Sprache-Modellen zu untersuchen und zu fördern, ohne umfangreiche, daten- und rechenintensive Neutrainings von Grund auf durchführen zu müssen.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp