摘要
现有的少样本学习（Few-Shot Learning, FSL）方法依赖于大规模标注数据集的训练，这限制了它们利用大量未标注数据的能力。从信息论的角度出发，我们提出了一种有效的无监督FSL方法，通过自监督学习来获取表示。遵循InfoMax原则，我们的方法通过捕捉数据的内在结构来学习全面的表示。具体而言，我们使用低偏差互信息（Mutual Information, MI）估计器最大化实例与其表示之间的互信息，以进行自监督预训练。与专注于已见类别可区分特征的有监督预训练不同，我们的自监督模型对已见类别的偏倚较小，从而在未见类别上表现出更好的泛化能力。我们解释说，有监督预训练和自监督预训练实际上是在最大化不同的MI目标。为进一步分析它们在各种训练设置下的FSL性能，我们进行了大量的实验。令人惊讶的是，实验结果表明，在适当的条件下，自监督预训练可以优于有监督预训练。与当前最先进的FSL方法相比，我们的方法在广泛使用的FSL基准测试中取得了相当的性能，而无需任何基础类别的标签。