HyperAIHyperAI

Command Palette

Search for a command to run...

通过合作基础模型增强新物体检测

Rohit Bharadwaj Muzammal Naseer Salman Khan Fahad Shahbaz Khan

摘要

在本研究中,我们致力于解决新兴且具有挑战性的新对象检测(NOD)问题,重点是在推理过程中准确检测已知和新对象类别。传统的对象检测算法本质上是封闭集的,这限制了它们处理NOD的能力。我们提出了一种新的方法,将现有的封闭集检测器转化为开放集检测器。这一转化通过利用预训练基础模型(特别是CLIP和SAM)的互补优势,并通过我们的合作机制实现。此外,通过将该机制与最先进的开放集检测器如GDINO集成,我们在对象检测性能方面建立了新的基准。我们的方法在具有挑战性的LVIS数据集上实现了17.42 mAP的新对象检测和42.08 mAP的已知对象检测。将我们的方法应用于COCO OVD分割时,对于新类别的AP50\text{AP}_{50}AP50指标超过了当前最先进水平7.2个百分点。我们的代码可在https://rohit901.github.io/coop-foundation-models/ 获取。


用 AI 构建 AI

从创意到上线——通过免费 AI 协同编码、开箱即用的环境和最优惠的 GPU 价格,加速您的 AI 开发。

AI 协同编码
开箱即用的 GPU
最优定价

HyperAI Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供