HyperAIHyperAI

Command Palette

Search for a command to run...

Zeitliche Aktionsspektralisierung mit verbesserter instantaner Unterscheidbarkeit

Dingfeng Shi Qiong Cao Yujie Zhong Shan An Jian Cheng Haogang Zhu Dacheng Tao

Zusammenfassung

Die zeitliche Aktionsdetektion (Temporal Action Detection, TAD) zielt darauf ab, alle Aktionsgrenzen und deren zugehörige Kategorien in einem ungeschnittenen Video zu erkennen. Die oft unscharfen Grenzen von Aktionen in Videos führen häufig zu ungenauen Vorhersagen der Aktionsgrenzen durch bestehende Methoden. Um dieses Problem zu lösen, schlagen wir einen einstufigen Ansatz namens TriDet vor. Zunächst führen wir einen Trident-Head ein, der die Aktionsgrenze über eine geschätzte relative Wahrscheinlichkeitsverteilung in der Nähe der Grenze modelliert. Anschließend analysieren wir das Rank-Loss-Problem (d. h. die Verschlechterung der Moment-Diskriminierbarkeit) bei Transformer-basierten Methoden und stellen eine effiziente, skalierbare Granularitäts-Wahrnehmung (Scalable-Granularity Perception, SGP)-Schicht vor, um dieses Problem zu mildern. Um die Grenze der Moment-Diskriminierbarkeit im Video-Backbone weiter zu erweitern, nutzen wir die starke Repräsentationsfähigkeit vortrainierter großer Modelle und untersuchen deren Leistungsfähigkeit in der TAD. Schließlich berücksichtigen wir den ausreichenden räumlich-zeitlichen Kontext für die Klassifikation und entwerfen ein entkoppeltes Feature-Pyramid-Netzwerk mit getrennten Feature-Pyramiden, um reichhaltigen räumlichen Kontext aus dem großen Modell für die Lokalisierung zu integrieren. Experimentelle Ergebnisse belegen die Robustheit von TriDet sowie seine state-of-the-art-Leistung auf mehreren TAD-Datensätzen, einschließlich hierarchischer (multilabel) TAD-Datensätze.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp