HyperAIHyperAI

Command Palette

Search for a command to run...

Punkt-basierte zeitliche Aktionslokalisierung: Brückenbildung zwischen vollständig überwachten Vorschlägen und schwach überwachten Verlustfunktionen

Chen Ju Peisen Zhao Ya Zhang Yanfeng Wang Qi Tian

Zusammenfassung

Punkt-basierte zeitliche Aktionslokalisierung (PTAL) zielt darauf ab, Aktionen in ungeschnittenen Videos lokalisiert zu erhalten, wobei für jede Aktionseinheit lediglich eine einzige Zeitstempelannotation zur Verfügung steht. Bestehende Methoden verfolgen einen frame-basierten Vorhersageansatz, um aus den spärlichen Einzelbild-Labels zu lernen. Dieser Ansatz leidet jedoch zwangsläufig unter einem sehr großen Lösungsraum. In dieser Arbeit wird der Ansatz der proposal-basierten Vorhersage für punkt-basierte Annotationen untersucht, der den Vorteil eines engeren Lösungsraums und konsistenter Vorhersagen zwischen benachbarten Frames bietet. Zunächst dienen die punkt-basierten Annotationen als Keypoint-Supervision, um einen Keypoint-Detektor zu trainieren. Im Stadium der Ortsvorhersage wird anschließend ein einfacher, jedoch wirksamer Mapper-Modul eingeführt, der die Rückpropagation von Trainingsfehlern ermöglicht und somit eine Brücke zwischen dem vollständig überwachten Rahmen und der schwachen Supervision schlägt. So weit wir wissen, ist dies die erste Arbeit, die den vollständig überwachten Ansatz für die punkt-basierte Aufgabenstellung nutzt. Experimente an den Datensätzen THUMOS14, BEOID und GTEA bestätigen die Wirksamkeit des vorgeschlagenen Ansatzes sowohl quantitativ als auch qualitativ und zeigen, dass unsere Methode die bisher besten Ansätze übertrifft.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp