11 天前

基于少样本伪监督对比学习的无监督元学习

Huiwon Jang, Hankook Lee, Jinwoo Shin
基于少样本伪监督对比学习的无监督元学习
摘要

无监督元学习旨在从无标签数据构建的任务分布中学习具有泛化能力的知识。在此背景下,主要挑战在于如何在缺乏标签信息的情况下构造多样化的任务;近期研究提出通过预训练表示进行伪标签生成,或利用生成模型创建合成样本等策略来构建任务。然而,这类任务构造方法存在根本性局限:其在元学习过程中高度依赖于不可更改的伪标签,且性能受限于表示质量或生成样本的质量。为克服上述限制,我们提出一种简单而有效的无监督元学习框架——伪监督对比学习(Pseudo-supervised Contrast, PsCo),用于少样本分类任务。该方法受近期自监督学习研究的启发,引入动量网络与历史批次队列机制,以逐步优化伪标签生成,并实现任务的渐进式多样化构建。大量实验结果表明,PsCo在多种域内与跨域少样本分类基准上均显著优于现有的无监督元学习方法。此外,我们进一步验证了PsCo具备良好的可扩展性,能够轻松适配大规模基准测试,而近期的先进元学习方案则难以实现此类扩展。

基于少样本伪监督对比学习的无监督元学习 | 最新论文 | HyperAI超神经