Geführte Aufmerksamkeit für das nächste aktive Objekt @ EGO4D STA Challenge

In diesem technischen Bericht beschreiben wir die auf dem geleiteten Aufmerksamkeitsmechanismus (Guided-Attention) basierende Lösung für die Herausforderung der kurzfristigen Vorhersage (Short-Term Anticipation, STA) im Rahmen der EGO4D-Herausforderung. Diese Lösung kombiniert Objekterkennungen und die aus Videoausschnitten extrahierten räumlich-zeitlichen Merkmale, wobei sie Bewegungs- und Kontextinformationen verbessert und die objektzentrierten und bewegungszentrierten Informationen weiter dekodiert, um das Problem der STA in egozentrischen Videos zu lösen. Für die Herausforderung haben wir unser Modell auf StillFast aufgebaut und den geleiteten Aufmerksamkeitsmechanismus im schnellen Netzwerk angewendet. Unser Modell erzielt bessere Ergebnisse im Validierungssatz und erreicht auch den Stand der Technik (State-of-the-Art, SOTA) in den Testergebnissen der EGO4D Short-Term Object Interaction Anticipation Challenge.