Verbesserung der Erkennung neuer Objekte durch kooperative Grundmodelle

In dieser Arbeit adressieren wir das herausfordernde und sich neu ergebende Problem der Erkennung neuer Objekte (NOD), wobei der Fokus auf der genauen Erkennung sowohl bekannter als auch neuer Objektkategorien während der Inferenz liegt. Traditionelle Objekterkennungsalgorithmen sind grundsätzlich geschlossen, was ihre Fähigkeit einschränkt, NOD zu bewältigen. Wir präsentieren einen neuen Ansatz, um bestehende geschlossene Detektoren in offene Detektoren zu transformieren. Diese Transformation wird durch die Nutzung der komplementären Stärken vortrainierter Grundlagenmodelle, speziell CLIP und SAM, mittels unseres kooperativen Mechanismus erreicht. Darüber hinainaus etablieren wir neue Benchmarks in der Objekterkennungsleistung, indem wir diesen Mechanismus mit den momentan besten offenen Detektoren wie GDINO integrieren. Unsere Methode erreicht 17,42 mAP bei der Erkennung neuer Objekte und 42,08 mAP für bekannte Objekte im anspruchsvollen LVIS-Datensatz. Bei Anwendung unserer Methode auf die COCO OVD-Split übertreffen wir den aktuellen Stand der Technik um 7,2 $ \text{AP}_{50} $ für neue Klassen. Unser Code ist unter https://rohit901.github.io/coop-foundation-models/ verfügbar.