基于直推式信息最大化的少样本学习

我们提出了一种用于少样本学习的归纳信息最大化方法（Transductive Information Maximization, TIM）。该方法在给定少样本任务下，通过最大化查询特征与其标签预测之间的互信息，同时结合基于支持集的监督损失，实现性能优化。此外，我们设计了一种新型的交替方向求解器来处理互信息损失，相较于基于梯度的优化方法，显著加速了归纳推理过程的收敛速度，同时保持相近的分类准确率。TIM的推理过程具有模块化特性，可无缝集成于任意预训练的特征提取器之上。在标准的归纳式少样本学习设置下，大量实验表明，TIM在多种数据集和网络架构上均显著优于当前最先进的方法。值得注意的是，该方法仅基于在基础类别上通过简单交叉熵损失训练的固定特征提取器，无需依赖复杂的元学习机制。无论是在经典的少样本学习基准测试中，还是在更具挑战性的场景（如领域偏移、类别数量更大）下，TIM均能稳定实现相对于最优基线方法2%至5%的准确率提升。