Cycle-SUM: Cycle-consistent Adversarial LSTM Networks for Unsupervised Video Summarization Cycle-SUM: 비지도 영상 요약을 위한 사이클 일관성 적대적 LSTM 네트워크

본 논문에서는 수동 주석이 필요하지 않은 새로운 비지도 학습 동영상 요약 모델을 제시합니다. 제안된 모델인 Cycle-SUM은 원본 동영상과 요약 동영상 간의 정보 보존성과 압축성을 효과적으로 최대화할 수 있는 새로운 사이클 일관적 적대 LSTM 아키텍처를 채택합니다. 이 모델은 프레임 선택기와 사이클 일관적 학습 기반 평가기로 구성됩니다. 선택기는 양방향 LSTM 네트워크로, 동영상 프레임 간의 장거리 관계를 포함하는 동영상 표현을 학습합니다. 평가기는 원본 동영상과 요약 동영상 간의 학습 가능한 정보 보존성 지표를 정의하고, 선택기를 가장 정보가 많은 프레임을 식별하여 요약 동영상을 형성하도록 '감독'합니다. 특히, 평가기는 두 개의 생성적 적대 네트워크(GAN)로 구성되며, 순방향 GAN은 요약 동영상을 통해 원본 동영상을 재구성하도록 학습되고, 역방향 GAN은 처리 과정을 역으로 변환하도록 학습됩니다. 이러한 사이클 학습 절차의 출력 간 일관성이 동영상 요약에 대한 정보 보존성 지표로 채택됩니다. 우리는 상호 정보 최대화와 이러한 사이클 학습 절차 간의 밀접한 관련성을 시연합니다. 두 개의 동영상 요약 벤치마크 데이터셋에서 수행된 실험은 Cycle-SUM 모델이 기존 기준모델들보다 우수한 성능을 보임을 검증하였습니다.