Masked Retraining Teacher-Student Framework für domain-adaptive Objektdetektion

Domain-adaptives Objektdetektion (DAOD) nutzt einen annotierten Datensatz (Quelldomain), um einen Objektdetektor zu trainieren, der auf eine neue, nicht annotierte Domäne (Zieldomain) generalisieren kann. In jüngster Zeit wurden Lehrer-Schüler-Frameworks verwendet, bei denen ein Schülermodell durch Pseudolabels eines Lehrermodells supervidiert wird. Obwohl diese Ansätze große Erfolge erzielt haben, leiden sie unter der begrenzten Anzahl an Pseudoboxen mit fehlerhaften Vorhersagen, die durch den Domänenversatz verursacht werden und das Schülermodell zu suboptimalen Ergebnissen führen können. Um dieses Problem zu mindern, schlagen wir den Masked Retraining Teacher-Student-Framework (MRT) vor, das einen maskierten Autoencoder und eine selektive Neustrukturierungsmethode in einem Detektions-Transformer integriert. Konkret präsentieren wir eine maßgeschneiderte Architektur des maskierten Autoencoders, bei der mehrskalige Merkmalskarten der Zieldaten maskiert werden und die Merkmale durch den Encoder des Schülermodells sowie einen zusätzlichen Decoder rekonstruiert werden. Dadurch kann das Schülermodell die Eigenschaften der Zieldomäne besser erfassen und effizienter aus der begrenzten Anzahl an Pseudoboxen lernen. Zudem implementieren wir eine selektive Neustrukturierungsmechanik, bei der bestimmte Teile der Schülerparameter periodisch mit gewichteten Werten aus dem durch den maskierten Autoencoder verfeinerten Modell neu initialisiert werden, um dem Modell zu ermöglichen, aus lokalen Optima zu entkommen, die durch fehlerhafte Pseudolabels beeinflusst sind. Experimentelle Ergebnisse auf drei DAOD-Benchmarks belegen die Wirksamkeit unseres Ansatzes. Der Quellcode ist unter https://github.com/JeremyZhao1998/MRT-release verfügbar.