초록
개선된 밀도 높은 궤적(iDT)은 행동 인식에서 우수한 성능을 보여주었으며, 이를 두 스트림 접근법과 결합하여 최고 수준의 성능을 달성하였습니다. 그러나 카메라 진동이 있는 비디오에서 배경 궤적을 완전히 제거하는 것은 iDT에게 어려운 문제입니다. 차별성이 적은 영역의 궤적에는 적절한 가중치를 부여해야 하며, 이는 행동 인식을 위한 더 차별적인 지역 설명자를 생성하기 위함입니다. 또한, 외관과 운동 정보를 별도로 학습하는 두 스트림 접근법은 외관 네트워크의 공간 컨볼루션 계층에서 특징을 추출할 때 중요한 영역의 운동에 집중할 수 없으며, 반대의 경우도 마찬가지입니다. 이러한 문제들을 해결하기 위해, 우리는 iDT를 따라 두 개의 네트워크를 교차하여 얻은 새로운 컨볼루션 계층을 풀링하는 새로운 지역 설명자를 제안합니다. 이 새로운 설명자는 하나의 네트워크에서 학습된 차별화된 가중치를 다른 네트워크의 컨볼루션 계층에 적용하여 계산됩니다. 우리의 방법은 일반적인 행동 인식 데이터셋에서 최고 수준의 성능을 달성하였으며, UCF101에서는 92.3%, HMDB51에서는 66.2%의 정확도를 기록하였습니다.