15 天前
USB：面向分类任务的统一半监督学习基准
Yidong Wang, Hao Chen, Yue Fan, Wang Sun, Ran Tao, Wenxin Hou, Renjie Wang, Linyi Yang, Zhi Zhou, Lan-Zhe Guo, Heli Qi, Zhen Wu, Yu-Feng Li, Satoshi Nakamura, Wei Ye, Marios Savvides, Bhiksha Raj, Takahiro Shinozaki, Bernt Schiele, Jindong Wang, Xing Xie, Yue Zhang
摘要
半监督学习（Semi-Supervised Learning, SSL）通过利用大量未标注数据来增强有限的标注样本，从而提升模型的泛化能力。然而，当前主流的SSL评估协议大多局限于计算机视觉（CV）任务。此外，以往的研究通常从零开始训练深度神经网络，这一过程耗时且对环境不友好。为解决上述问题，我们构建了一个统一的半监督学习基准（Unified SSL Benchmark, USB），涵盖来自计算机视觉（CV）、自然语言处理（NLP）和音频处理（Audio）三大领域的15个多样化、具有挑战性且全面的任务，系统性地评估主流的SSL方法。同时，我们开源了一个模块化、可扩展的代码库，以实现对各类SSL方法的公平评估。此外，我们还提供了当前最先进的CV模型的预训练版本，显著降低后续微调的成本。USB使得单一SSL算法能够在多个领域、更多任务上进行高效评估，且所需资源大幅减少。具体而言，在单块NVIDIA V100 GPU上，仅需39个GPU天即可完成FixMatch在USB全部15个任务上的评估；而使用TorchSSL在5个CV任务上完成相同评估则需335个GPU天（其中279个GPU天用于4个CV数据集，不包括ImageNet），效率提升显著。