HyperAIHyperAI

Command Palette

Search for a command to run...

通过路由多样化分布感知专家实现长尾识别

Xudong Wang Long Lian Zhongqi Miao Ziwei Liu Stella X. Yu

摘要

自然数据在语义类别上通常呈现长尾分布。现有的识别方法通过类别重平衡/加权或对不同数据组进行集成等方式,加强对尾部样本的关注,从而提升尾部类别的识别准确率,但往往以牺牲头部类别的准确率为代价。本文从动态视角审视训练数据,针对训练数据波动情况,提供了模型偏差与方差的理论分析:现有长尾分类器在训练过程中不可避免地导致模型方差增大,且头部与尾部之间的模型偏差差距依然显著,其根源在于尾部样本与难负样本之间存在更多且更严重的混淆。为此,我们提出一种新型长尾分类器——RoutIng Diverse Experts(RIDE)。RIDE通过引入多个专家网络降低模型方差,借助感知数据分布的多样性损失函数减少模型偏差,并利用动态专家路由模块有效降低计算开销。在CIFAR100-LT、ImageNet-LT和iNaturalist 2018等基准测试中,RIDE相较当前最先进方法实现了5%至7%的性能提升。此外,RIDE具备良好的通用性,可适配多种主干网络、长尾学习算法及训练机制,均能带来一致的性能增益。项目代码已开源,地址为:https://github.com/frank-xwang/RIDE-LongTailRecognition


用 AI 构建 AI

从创意到上线——通过免费 AI 协同编码、开箱即用的环境和最优惠的 GPU 价格,加速您的 AI 开发。

AI 协同编码
开箱即用的 GPU
最优定价

HyperAI Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供