LSTA: Egocentric Action Recognition을 위한 장단기 주의 메커니즘

제1인칭 활동 인식은 비디오 분석에서 가장 어려운 과제 중 하나입니다. 이는 작은 객체와 그 조작을 세밀하게 구분해야 하기 때문입니다. 일부 방법들은 강력한 감독 학습과 주의 메커니즘에 기반하고 있지만, 이들은 주로 주석 작업이 많이 필요하거나 시공간 패턴을 고려하지 않는다는 단점이 있습니다. 본 논문에서는 비디오 시퀀스에서 주의가 부드럽게 추적되는 동안 공간적으로 관련된 부분의 특징에 집중할 수 있는 LSTA(Locally Smooth Temporal Attention) 메커니즘을 제안합니다. 우리는 끝까지 학습 가능한 두 스트림 아키텍처를 사용하여 제1인칭 활동 인식에서 LSTA의 효과를 입증하였으며, 네 가지 표준 벤치마크에서 최고 수준의 성능을 달성하였습니다.