연합 자기지도 학습을 통한 비디오 이해

카메라 기능을 갖춘 모바일 장치의 보편화로 엣지에서 레이블이 없는 영상 데이터가 대량으로 생성되고 있다. 다양한 자기지도 학습(self-supervised learning, SSL) 기법이 제안되어 이러한 데이터로부터 잠재적인 시공간 표현을 추출하여 특정 작업용 학습에 활용하고 있으나, 실질적인 문제인 개인정보 보호 우려와 통신 비용 등으로 인해 SSL 기법은 대규모로 적용되기 어려운 실정이다. 이러한 문제를 완화하기 위해, 영상 SSL 작업에 연합 학습(Federated Learning, FL)을 도입하는 방안을 제안한다. 본 연구에서는 현재 최고 수준(state-of-the-art, SOTA)의 영상 SSL 기법들을 평가하고, Kinetics-400 데이터셋을 기반으로 시뮬레이션한 대규모 FL 환경에서 이러한 기법들이 겪는 한계를 규명한다. 이를 바탕으로, 다양한 집계 전략과 부분 가중치 업데이트를 통합하는 새로운 연합 영상 SSL 프레임워크인 FedVSSL을 제안한다. 광범위한 실험을 통해 FedVSSL이 중앙 집중형 SOTA 기법 대비 하류 검색 작업에서 UCF-101에서 6.66%, HMDB-51에서 5.13% 우수한 성능을 보임을 입증하며, 그 효과성과 중요성을 확인하였다.