EGO4D STA 챌린지에서 다음 활성 객체에 대한 유도 주의력

이 기술 보고서에서는 EGO4D 도전과제의 단기 예측(STA, Short-Term Anticipation) 문제를 해결하기 위한 가이드된 주의(Guided-Attention) 메커니즘 기반 솔루션을 설명합니다. 이 솔루션은 비디오 클립에서 추출한 객체 검출 결과와 시공간 특성을 결합하여, 운동 정보와 맥락 정보를 강화하고, 이를 통해 객체 중심 및 운동 중심 정보를 추가로 디코딩하여 제일인칭 시점(egocentric) 비디오에서 STA 문제를 해결합니다. 본 도전과제를 위해, 우리는 StillFast 모델에 가이드된 주의 메커니즘을 적용한 빠른 네트워크(fast network) 위에 모델을 구축하였습니다. 우리의 모델은 검증 세트에서 더 우수한 성능을 보였으며, EGO4D 단기 객체 상호작용 예측 도전과제의 테스트 세트에서도 최신 기술(SOTA, State-of-the-Art) 수준의 결과를 달성하였습니다.