面向视频理解的联邦自监督学习

摄像头功能的移动设备广泛普及，导致在边缘端产生了大量未标注的视频数据。尽管已有多种自监督学习（Self-Supervised Learning, SSL）方法被提出，用于挖掘这些数据中潜在的时空表征以支持特定任务的训练，但实际应用中仍面临隐私顾虑和通信开销等挑战，限制了SSL在大规模场景下的部署。为缓解上述问题，本文提出将联邦学习（Federated Learning, FL）引入视频自监督学习任务。在本研究中，我们评估了当前最先进（State-of-the-Art, SOTA）视频SSL技术在基于Kinetics-400数据集模拟的大规模联邦学习场景下的性能表现，并识别出其在该设置中的若干局限性。随后，我们提出一种面向视频的新型联邦自监督学习框架——FedVSSL，该框架融合了多种聚合策略与部分权重更新机制。大量实验结果表明，FedVSSL具有显著的有效性：在下游检索任务中，其性能分别优于集中式SOTA方法6.66%（UCF-101数据集）和5.13%（HMDB-51数据集）。