DETReg: Unsupervised Pretraining mit Regionen-Priori für die Objekterkennung

Neuere selbstüberwachte Vortrainingsmethoden für Objektdetektion konzentrieren sich weitgehend auf das Vortrainieren des Backbone-Moduls des Objektdetektors und vernachlässigen dabei zentrale Komponenten der Detektionsarchitektur. Stattdessen stellen wir DETReg vor, eine neue selbstüberwachte Methode, die das gesamte Objektdetektionsnetzwerk – einschließlich der Objektlokalisierung und der Embedding-Komponenten – vortrainiert. Während des Vortrainings prognostiziert DETReg Objektlokalisierungen, um diese mit den Lokalisierungen eines unsupervisierten Region-Proposal-Generators zu matchen, und gleichzeitig werden die entsprechenden Feature-Embeddings mit Embeddings aus einem selbstüberwachten Bild-Encoder ausgerichtet. Wir implementieren DETReg basierend auf der DETR-Familie von Detektoren und zeigen, dass sie bei der Feinabstimmung auf den Benchmarks COCO, PASCAL VOC und Airbus Ship gegenüber konkurrierenden Baselines verbesserte Ergebnisse erzielt. Insbesondere in Szenarien mit geringen Datenmengen, beispielsweise bei der Verwendung lediglich 1 % der Labels oder im Few-Shot-Lernsetting, erreicht DETReg signifikant bessere Leistung.