2 个月前
TAFE-Net:面向任务的特征嵌入用于低样本学习
Xin Wang; Fisher Yu; Ruth Wang; Trevor Darrell; Joseph E. Gonzalez

摘要
学习图像的良好特征嵌入通常需要大量的训练数据。因此,在训练数据有限的情况下(例如,少样本学习和零样本学习),我们通常被迫在各种任务中使用通用的特征嵌入。理想情况下,我们希望构建针对特定任务调整的特征嵌入。在这项工作中,我们提出了任务感知特征嵌入网络(Task-Aware Feature Embedding Networks, TAFE-Nets),以元学习的方式学习如何将图像表示适应于新任务。我们的网络由一个元学习器和一个预测网络组成。根据给定的任务输入,元学习器生成预测网络中特征层的参数,从而使特征嵌入能够准确地为该任务进行调整。我们展示了TAFE-Net在泛化到新任务或新概念方面具有很高的有效性,并在零样本学习和少样本学习的一系列基准测试中评估了TAFE-Net。我们的模型在所有任务上均达到或超过了现有最佳水平。特别是在具有挑战性的视觉属性-对象组合任务中,我们的方法将未见过的属性-对象对的预测准确性提高了4到15个百分点。