비디오 감정 인식, 귀속 및 요약에서의 이질적 지식 전달

감정은 사용자 생성 동영상에서 중요한 요소입니다. 그러나 사용자 생성 콘텐츠의 복잡하고 비구조적인 특성과 감정을 표현하는 동영상 프레임의 희박성 때문에 이러한 동영상에서 전달되는 감정을 이해하기는 어렵습니다. 본 논문에서는 처음으로 이질적인 외부 자료, 즉 이미지와 텍스트 데이터로부터 지식을 전이하여 동영상 감정 이해에 관련된 세 가지 작업을 지원하는 문제를 연구합니다: 감정 인식, 감정 귀속 및 감정 중심 요약. 구체적으로, 제안된 프레임워크는 (1) 보조적인 감성 이미지 데이터셋으로부터 동영상 인코딩을 학습하여 지도형 동영상 감정 인식을 개선하고, (2) 보조적인 텍스트 코퍼스로부터 지식을 전이하여 훈련 중에 보지 못한 감정 클래스의 제로샷 인식을 수행합니다. 제안된 지식 전이 기술은 새로운 응용 분야인 감정 귀속과 감정 중심 요약을 가능하게 합니다. 여러 데이터셋에서 수행된 포괄적인 실험들은 본 프레임워크의 효과성을 입증합니다.