12일 전

비감독 영상 요약에서 적대적 훈련을 개선하기 위한 단계적, 레이블 기반 접근법

{Ioannis Patras, Vasileios Mezaris, Eleni Adamantidou, Alexandros I. Metsai, Evlampios Apostolidis}
초록

본 논문에서는 비지도 영상 요약을 위한 적대적 학습의 효율성을 향상시키기 위한 연구를 제시한다. 우리의 연구는 SUM-GAN 모델을 기반으로 하며, 이 모델은 요약이 원본 영상과 구분할 수 없도록 영상을 재구성할 수 있어야 한다는 직관에 기초한다. 우리는 이 모델의 공개된 구현체를 기반으로 하되, 학습 파라미터 수를 줄이기 위해 선형 압축 계층을 도입하고, 아키텍처의 각 구성 요소에 대해 점진적 접근 방식을 적용한다. 이러한 변경 사항이 모델 성능에 미치는 영향을 평가한 후, 모델의 적대적 부분 학습 효율성을 향상시키기 위해 단계적이고 레이블 기반의 학습 프로세스를 제안한다. 모델의 효율성을 평가하기 전에, 사용된 평가 프로토콜에 대해 철저한 연구를 수행하고, SumMe 및 TVSum과 같은 두 가지 벤치마크 데이터셋에서의 성능 가능성을 분석한다. 최신 기술과의 실험적 평가 및 비교를 통해 제안된 방법의 경쟁력을 입증한다. 아블레이션 연구를 통해 각 적용된 변경 사항이 모델 성능에 미치는 이점을 확인하고, 적대적 부분의 학습 효율성 향상에 기여하는 단계적이고 레이블 기반의 학습 전략의 유용성을 강조한다.

비감독 영상 요약에서 적대적 훈련을 개선하기 위한 단계적, 레이블 기반 접근법 | 최신 연구 논문 | HyperAI초신경