HyperAIHyperAI

Command Palette

Search for a command to run...

Live-Videobeschreibung

Blanco-Fernández Eduardo ; Gutiérrez-Álvarez Carlos ; Nasri Nadia ; Maldonado-Bascón Saturnino ; López-Sastre Roberto J.

Zusammenfassung

Dichte Videobeschreibung beinhaltet die Erkennung und Beschreibung von Ereignissen innerhalb von Videosequenzen. Traditionelle Methoden arbeiten in einem Offline-Szenario, unter der Annahme, dass das gesamte Video für die Analyse verfügbar ist. Im Gegensatz dazu führen wir in dieser Arbeit ein bahnbrechendes Paradigma ein: Live-Videobeschreibung (LVC), bei der Beschriftungen für Videostreams in Echtzeit generiert werden müssen. Dieser Wandel bringt einzigartige Herausforderungen mit sich, darunter die Verarbeitung teilweiser Beobachtungen von Ereignissen und die Notwendigkeit einer zeitlichen Antizipation der Aktionen. Wir definieren das neuartige Problem der LVC formell und schlagen innovative Bewertungsmaßstäbe vor, die speziell für dieses Online-Szenario entwickelt wurden, wobei wir deren Vorteile gegenüber traditionellen Maßstäben aufzeigen. Um die neuen Komplexitäten der LVC zu bewältigen, präsentieren wir ein neues Modell, das deformierbare Transformer mit zeitlicher Filterung kombiniert, um effektive Beschriftungen über Videostreams zu ermöglichen. Ausführliche Experimente am ActivityNet Captions Datensatz bestätigen den vorgeschlagenen Ansatz und zeigen seine überlegene Leistung im LVC-Szenario im Vergleich zu den besten Offline-Methoden. Um weitere Forschung zu fördern, stellen wir die Ergebnisse unseres Modells sowie ein Evaluierungstoolkit mit den neuen Maßstäben integriert zur Verfügung unter: https://github.com/gramuah/lvc.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp