HyperAIHyperAI

Command Palette

Search for a command to run...

DEIM:具有改进匹配以实现快速收敛的DETR

Shihua Huang Zhichao Lu Xiaodong Cun Yongjun Yu Xiao Zhou Xi Shen

摘要

我们介绍了一种创新且高效的训练框架——DEIM,旨在加速基于Transformer架构(DETR)的实时目标检测模型的收敛速度。为了缓解DETR模型中一对一(O2O)匹配固有的稀疏监督问题,DEIM采用了密集O2O匹配策略。该方法通过引入额外的目标并使用标准的数据增强技术,增加了每张图像中的正样本数量。尽管密集O2O匹配可以加快收敛速度,但它也引入了大量低质量的匹配,可能影响性能。为了解决这一问题,我们提出了一种新的损失函数——Matchability-Aware Loss(MAL),该损失函数在不同质量水平上优化匹配,从而增强了密集O2O的有效性。在COCO数据集上的广泛实验验证了DEIM的有效性。当与RT-DETR和D-FINE结合时,DEIM不仅显著提升了性能,还使训练时间减少了50%。特别值得一提的是,与RT-DETRv2搭配使用时,DEIM仅需在NVIDIA 4090 GPU上训练一天即可达到53.2%的AP值。此外,经过DEIM训练的实时模型在性能上超过了领先的实时目标检测器,其中DEIM-D-FINE-L和DEIM-D-FINE-X分别在NVIDIA T4 GPU上以124 FPS和78 FPS的速度达到了54.7%和56.5%的AP值,而无需额外数据。我们认为DEIM为实时目标检测领域的进步设定了新的基准。我们的代码和预训练模型可在https://github.com/ShihuaHuang95/DEIM获取


用 AI 构建 AI

从创意到上线——通过免费 AI 协同编码、开箱即用的环境和最优惠的 GPU 价格,加速您的 AI 开发。

AI 协同编码
开箱即用的 GPU
最优定价

HyperAI Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供