HyperAIHyperAI

Command Palette

Search for a command to run...

Langfristig-Kurzfristiger Transformer für die Online-Erkennung von Aktionen

Mingze Xu Yuanjun Xiong Hao Chen Xinyu Li Wei Xia Zhuowen Tu Stefano Soatto

Zusammenfassung

Wir stellen den Long Short-term Transformer (LSTR) vor, einen zeitlichen Modellierungsalgorithmus für die Online-Aktionserkennung, der ein Langzeit- und Kurzzeitgedächtnis-Mechanismus verwendet, um langfristige Sequenzdaten zu modellieren. Er besteht aus einem LSTR-Codierer, der grob skalierte historische Informationen aus einem erweiterten zeitlichen Fenster (z.B. 2048 Frames, die bis zu 8 Minuten abdecken) dynamisch nutzt, sowie einem LSTR-Decodierer, der sich auf ein kurzes Zeitfenster (z.B. 32 Frames, die 8 Sekunden abdecken) konzentriert, um die fein skalierten Merkmale der Daten zu modellieren. Im Vergleich zu früheren Arbeiten bietet LSTR eine effektive und effiziente Methode zur Modellierung langer Videos mit weniger Heuristik, was durch umfangreiche empirische Analysen bestätigt wird. LSTR erreicht den aktuellen Stand der Technik in drei standardisierten Benchmarks für Online-Aktionserkennung: THUMOS'14, TVSeries und HACS Segment. Der Quellcode ist unter folgender URL verfügbar: https://xumingze0308.github.io/projects/lstr


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
Langfristig-Kurzfristiger Transformer für die Online-Erkennung von Aktionen | Paper | HyperAI