17 天前
HyperShot:通过核超网络实现少样本学习
Marcin Sendera, Marcin Przewięźlikowski, Konrad Karanowski, Maciej Zięba, Jacek Tabor, Przemysław Spurek

摘要
少样本模型旨在利用给定任务中极少量的标注样本进行预测。该领域的主要挑战在于“零样本”(one-shot)设置,即每个类别仅由一个样本代表。为此,我们提出HyperShot——一种融合核方法(kernel-based)与超网络(hypernetwork)范式的新型模型。与以往依赖梯度调整参数的参考方法不同,我们的模型通过任务嵌入(task embedding)动态切换分类模块的参数配置。在实际实现中,我们采用超网络结构,其输入为支持集数据的聚合信息,并输出针对特定任务量身定制的分类器参数。此外,我们引入基于核方法的支持样本表示,作为超网络的输入,以生成分类模块的参数。由此,模型不再依赖主干网络直接提供的特征值,而是基于支持样本嵌入之间的关系进行建模。得益于这一设计,我们的模型能够有效适应差异显著的各类任务。