少样本分类旨在仅使用每个类别极少量样本的情况下，学习识别新类别。当前大多数少样本方法利用一个标注样本丰富的基础数据集来训练编码器，该编码器用于获取新类别支持集实例的特征表示。然而，由于测试样本的分布与基础数据集的分布不同，其特征表示质量较差，从而导致性能下降。本文提出在元测试阶段，利用与每个支持实例在特征空间中最为接近的基础数据集的高质量预训练表示，以优化支持实例的表示。为此，我们提出了BaseTransformers方法，该方法通过关注基础数据集特征空间中最相关区域，提升支持实例的特征表示能力。在三个基准数据集上的实验表明，该方法适用于多种主干网络，在归纳式单样本设置下取得了当前最优的性能表现。代码已开源，地址为：github.com/mayug/BaseTransformers。