Omni-DETR: Omni-supervised Objektdetektion mit Transformers

Wir betrachten das Problem der omni-supervisierten Objektdetektion, die unlabeled, vollständig gelabelte sowie schwach gelabelte Annotationen – wie beispielsweise Bildtags, Zählungen, Punkte usw. – nutzen kann. Dies wird durch eine einheitliche Architektur namens Omni-DETR ermöglicht, die auf den jüngsten Fortschritten im Bereich des Student-Teacher-Frameworks und end-to-end Transformer-basierter Objektdetektion aufbaut. Unter dieser einheitlichen Architektur können verschiedene Arten schwacher Labels genutzt werden, um genaue Pseudolabels durch einen bipartiten Zuordnungs-basierten Filtermechanismus zu generieren, anhand derer das Modell lernen kann. In den Experimenten erreicht Omni-DETR state-of-the-art-Ergebnisse auf mehreren Datensätzen und Szenarien. Zudem haben wir festgestellt, dass schwache Annotationen zur Verbesserung der Detektionsleistung beitragen und eine Mischung aus ihnen ein besseres Gleichgewicht zwischen Annotationskosten und Genauigkeit als die herkömmliche vollständige Annotation ermöglicht. Diese Erkenntnisse könnten die Erstellung größerer Objektdetektionsdatensätze mit gemischten Annotationen fördern. Der Quellcode ist unter https://github.com/amazon-research/omni-detr verfügbar.