摘要
归纳推理（transductive inference）在少样本学习（few-shot learning）中被广泛采用，因其能够利用少样本任务中未标记查询集（query set）的统计特性，通常可显著优于其归纳式（inductive）对应方法。然而，当前的少样本基准测试在推理阶段均采用完全类别平衡的任务设置。我们认为，这种人为的规则性并不符合现实情况，因为它假设测试样本的边际标签概率已知且固定为均匀分布。事实上，在真实场景中，未标记查询集的类别边际分布往往是任意且未知的。为此，本文引入并研究了在少样本任务推理阶段查询集中任意类别分布的影响，从而消除了类别平衡这一人为假设带来的偏差。具体而言，我们将各类别的边际概率建模为服从狄利克雷分布（Dirichlet-distributed）的随机变量，从而在单纯形空间内实现一种有理论依据且更贴近现实的采样方式。该方法可直接扩展现有少样本基准，构建具有任意类别分布的测试任务。我们在三个广泛使用的数据集上对当前最先进的归纳推理方法进行了实验评估，结果令人意外地发现：在引入非平衡类别分布后，性能出现显著下降，甚至在某些情况下低于归纳式方法。针对这一问题，我们提出了一种基于α-散度（α-divergences）的互信息损失函数的推广形式，能够有效应对类别分布的变化。实验结果表明，所提出的归纳式α-散度优化方法在多个数据集、模型和少样本设置下均优于现有最先进方法。相关代码已公开，地址为：https://github.com/oveilleux/Realistic_Transductive_Few_Shot。