2 个月前

从广义零样本学习到长尾分类描述符

Dvir Samuel; Yuval Atzmon; Gal Chechik
从广义零样本学习到长尾分类描述符
摘要

现实世界中的数据大多不平衡且呈长尾分布,但深度模型在存在频繁类别的情况下难以识别稀有类别。通常,类别可以伴随诸如文本描述的辅助信息,但如何利用这些信息进行不平衡长尾数据的学习尚不完全明确。此类描述主要被用于(广义)零样本学习(ZSL),这表明带有类别描述的ZSL也可能对长尾分布有益。我们介绍了一种名为DRAGON的后期融合架构,用于带有类别描述的长尾学习。该架构能够(1)逐样本纠正偏向头部类别的偏差;以及(2)融合类别描述中的信息以提高尾部类别的准确性。我们还引入了新的基准数据集CUB-LT、SUN-LT和AWA-LT,这些数据集基于现有的属性学习数据集,并包含带有类别描述的Imagenet-LT版本。DRAGON在新基准上超越了现有最先进模型的表现,同时也在现有的GFSL带类别描述(GFSL-d)和标准(仅视觉)长尾学习基准ImageNet-LT、CIFAR-10、CIFAR-100和Places365上取得了新的最佳性能。