向多语义少样本学习迈出的小步

从一个或少数几个视觉示例中学习是人类自幼年期起就具备的关键能力之一，但对现代人工智能系统而言仍然是一个重大挑战。尽管在基于少数图像示例的少样本学习方面已经取得了显著进展，但对于婴儿在接触新物体时通常提供的口头描述却关注较少。本文着重探讨了额外语义信息在促进少样本视觉学习中的重要作用。基于最近在结合额外语义信息进行少样本学习方面的进展，我们证明了通过结合多种且更丰富的语义信息（类别标签、属性和自然语言描述），可以进一步提高性能。利用这些思路，我们在流行的 miniImageNet 和 CUB 少样本基准测试上提供了新的结果，与仅基于视觉信息和基于视觉加语义信息的先前最先进方法相比表现优异。我们还进行了消融研究，探讨了我们的方法中的各个组件和设计选择。