H2FA R-CNN: Holistische und hierarchische Merkmalsausrichtung für cross-domain weakly supervised Object Detection

Cross-domain weakly supervised object detection (CDWSOD) zielt darauf ab, das Detektionsmodell an einen neuen Zielbereich mit leicht zugänglichen Bildniveau-Anmerkungen anzupassen. Die Ausrichtung zwischen Quell- und Zielbereich ist entscheidend für die Genauigkeit von CDWSOD. Bisherige Ansätze konzentrieren sich meist auf einzelne Detektionskomponenten zur Bereichsausrichtung. Im Gegensatz dazu betrachten wir in diesem Artikel alle Detektionskomponenten als wichtig und stellen einen Holistischen und Hierarchischen Merkmalsausrichtungsansatz (H²FA R-CNN) vor. H²FA R-CNN setzt zwei Bildniveau-Ausrichtungen für die Backbone-Features sowie zwei Instanzniveau-Ausrichtungen für den RPN und die Detektionshead um. Diese grob-zu-fein ausgerichtete Hierarchie entspricht der Detektionspipeline, d. h., sie verarbeitet die Bildniveau- und Instanzniveau-Features von unten nach oben. Wichtig ist, dass wir eine neuartige hybride Supervisionsmethode zur Lernung der beiden Instanzniveau-Ausrichtungen entwickelt haben. Diese ermöglicht es dem RPN und der Detektionshead, gleichzeitig schwache/vollständige Supervision aus dem Ziel- bzw. Quellbereich zu erhalten. Durch die Kombination aller dieser Merkmalsausrichtungen verringert H²FA R-CNN effektiv die Diskrepanz zwischen Quell- und Zielbereich. Experimentelle Ergebnisse zeigen, dass H²FA R-CNN die Genauigkeit der cross-domain Objektdetektion erheblich verbessert und neue State-of-the-Art-Ergebnisse auf gängigen Benchmarks erzielt. Der Quellcode und vortrainierte Modelle sind unter https://github.com/XuYunqiu/H2FA_R-CNN verfügbar.