17 天前

基于自适应降维与变分推断的直推式少样本分类

Yuqing Hu, Stéphane Pateux, Vincent Gripon
基于自适应降维与变分推断的直推式少样本分类
摘要

近年来,随着数据标注成本的上升以及在小样本学习领域中未标注样本所能带来的准确率提升,归纳式少样本学习(Transductive Few-Shot Learning)受到了越来越多的关注。特别是在少样本分类(Few-Shot Classification, FSC)任务中,近期研究致力于探索特征分布,旨在通过对未知参数最大化似然或后验概率来提升性能。沿袭这一研究思路,并考虑到FSC与聚类任务之间的内在相似性,本文关注于更有效地建模因数据稀缺而导致的估计不确定性,同时优化与各类别相关联的聚类所具有的统计特性。为此,本文提出一种基于变分贝叶斯推断(Variational Bayesian Inference)的新颖聚类方法,并进一步结合基于概率线性判别分析(Probabilistic Linear Discriminant Analysis)的自适应降维技术进行改进。在多个少样本基准测试中,将该方法应用于先前研究中所采用的特征表示时,显著提升了在现实场景中普遍存在的非平衡归纳式设置下的分类准确率,最高准确率提升达6%。此外,在平衡设置下,该方法同样取得了极具竞争力的性能表现,且无需依赖存在争议的类别平衡伪像(class-balance artefact),因而更适用于实际应用场景。进一步地,我们在一个高性能的预训练主干网络(pretrained backbone)上验证了所提方法的性能,实验结果超越了当前最先进的技术水平,充分表明了该方法具有良好的通用性与可迁移性。