HyperAIHyperAI

Command Palette

Search for a command to run...

Geführte Aufmerksamkeit für das nächste aktive Objekt @ EGO4D STA Challenge

Sanket Thakur Cigdem Beyan Pietro Morerio Vittorio Murino Alessio Del Bue

Zusammenfassung

In diesem technischen Bericht beschreiben wir die auf dem geleiteten Aufmerksamkeitsmechanismus (Guided-Attention) basierende Lösung für die Herausforderung der kurzfristigen Vorhersage (Short-Term Anticipation, STA) im Rahmen der EGO4D-Herausforderung. Diese Lösung kombiniert Objekterkennungen und die aus Videoausschnitten extrahierten räumlich-zeitlichen Merkmale, wobei sie Bewegungs- und Kontextinformationen verbessert und die objektzentrierten und bewegungszentrierten Informationen weiter dekodiert, um das Problem der STA in egozentrischen Videos zu lösen. Für die Herausforderung haben wir unser Modell auf StillFast aufgebaut und den geleiteten Aufmerksamkeitsmechanismus im schnellen Netzwerk angewendet. Unser Modell erzielt bessere Ergebnisse im Validierungssatz und erreicht auch den Stand der Technik (State-of-the-Art, SOTA) in den Testergebnissen der EGO4D Short-Term Object Interaction Anticipation Challenge.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp