要約
本研究では、新規物体検出（Novel Object Detection: NOD）という挑戦的かつ新興の問題に取り組み、推論時に既知および新規の物体カテゴリを正確に検出することに焦点を当てています。従来の物体検出アルゴリズムは閉集合的な特性を持ち、NODへの対応能力が制限されています。私たちは、既存の閉集合検出器を開放集合検出器に変換する新しい手法を提案します。この変換は、CLIPとSAMなどの事前学習済み基盤モデルの補完的な強みを協調メカニズムを通じて活用することで達成されます。さらに、このメカニズムを最新の開放集合検出器であるGDINOなどと統合することで、物体検出性能において新たなベンチマークを樹立しています。私たちの手法は、困難なLVISデータセットで新規物体検出において17.42 mAP、既知の物体に対して42.08 mAPを達成しました。COCO OVDスプリットへのアダプテーションでは、新規クラスに対する現在の最先端技術を7.2 $ \text{AP}_{50} $上回っています。コードはhttps://rohit901.github.io/coop-foundation-models/ で公開されています。