계층적 도메인 적응 특성 학습을 이용한 비디오 주요성 예측

이 연구에서는 다양한 추상 수준에서 추출된 특성을 사용하여 생성된 중간 맵(주목도 맵이라고 지칭)에 계층적 감독을 적용하는 3D 완전 컨볼루션 아키텍처를 제안합니다. 우리는 이 기본적인 계층적 학습 메커니즘에 도메인 적응과 도메인 특화 학습을 위한 두 가지 기술을 제공합니다. 첫 번째로, 우리는 여러 스케일에서 그래디언트 역전을 통해 계층적 일반 특성을 비지도적으로 학습하도록 모델을 유도하여, 훈련 중 주석이 제공되지 않는 데이터셋에서도 일반화 능력을 향상시키고자 합니다. 두 번째로, 도메인 특화를 위해 개별 데이터셋에서 성능을 최대화하기 위해 도메인 특화 연산(즉, 사전 정보, 평활화 및 배치 정규화)을 사용합니다. 우리의 실험 결과는 제안된 모델이 지도 주목도 예측에서 최신의 정확도를 달성함을 보여줍니다. 기본적인 계층적 모델에 도메인 특화 모듈이 추가되면 성능이 향상되어 DHF1K 벤치마크의 다섯 가지 메트릭 중 세 가지에서 최신 모델을 능가하며, 나머지 두 가지에서는 두 번째로 우수한 결과를 얻습니다. 반면에 비지도 도메인 적응 설정에서 테스트할 때 계층적 그래디언트 역전 레이어를 활성화하면 지도 최신 상태와 비교 가능한 성능을 얻습니다.