HyperAIHyperAI

Command Palette

Search for a command to run...

UniMD: Auf dem Weg zur Vereinigung von Moment-Retrieval und temporalen Aktionsdetektion

Yingsen Zeng Yujie Zhong* Chengjian Feng Lin Ma

Zusammenfassung

Die Temporale Aktionserkennung (TAD) konzentriert sich auf die Erkennung vordefinierter Aktionen, während das Moment-Retrieval (MR) darauf abzielt, Ereignisse, die durch offene natürliche Sprache beschrieben werden, in ungeschnittenen Videos zu identifizieren. Obwohl sie sich auf unterschiedliche Ereignisse fokussieren, beobachten wir eine signifikante Verbindung zwischen ihnen. Zum Beispiel enthalten die meisten Beschreibungen im MR mehrere Aktionen aus dem TAD. In dieser Arbeit untersuchen wir das potentielle Synergiepotential zwischen TAD und MR. Zunächst schlagen wir eine einheitliche Architektur vor, die als Unified Moment Detection (UniMD) bezeichnet wird, für sowohl TAD als auch MR. Diese transformiert die Eingaben der beiden Aufgaben – Aktionen für TAD oder Ereignisse für MR – in einen gemeinsamen Einbettungsraum und nutzt zwei neuartige, anfragedependente Decoder, um eine einheitliche Ausgabe von Klassifikationsscores und zeitlichen Segmenten zu generieren. Zweitens erforschen wir die Effektivität zweier Aufgabenfusions-Lernansätze, des Pre-Trainings und Co-Trainings, um den gegenseitigen Nutzen zwischen TAD und MR zu erhöhen. Umfangreiche Experimente zeigen, dass das vorgeschlagene Fusions-Lernschema es den beiden Aufgaben ermöglicht, sich gegenseitig zu unterstützen und bessere Ergebnisse als separat trainierte Ansätze zu erzielen. Beeindruckenderweise erreicht UniMD state-of-the-art-Ergebnisse auf drei gepaarten Datensätzen: Ego4D, Charades-STA und ActivityNet. Unser Code ist unter https://github.com/yingsen1/UniMD verfügbar.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp