Harmonisation de la transférabilité et de la discriminabilité pour l'adaptation des détecteurs d'objets

Les avancées récentes dans la détection d’objets adaptative ont obtenu des résultats prometteurs grâce à l’adaptation de caractéristiques adverses, permettant de réduire les décalages de distribution le long du pipeline de détection. Bien que l’adaptation adversaire améliore considérablement la transférabilité des représentations de caractéristiques, la discriminabilité de ces caractéristiques dans les détecteurs d’objets reste peu explorée. En outre, la transférabilité et la discriminabilité peuvent s’avérer contradictoires dans le cadre de l’adaptation adversaire, en raison des combinaisons complexes d’objets et des dispositions scéniques différenciées entre domaines. Dans cet article, nous proposons un réseau hiérarchique de calibration de transférabilité (HTCN), qui calibre de manière hiérarchique (région locale/image/instance) la transférabilité des représentations de caractéristiques afin d’harmoniser transférabilité et discriminabilité. Le modèle proposé se compose de trois composants : (1) un entraînement adversaire pondéré par importance avec interpolation d’entrée (IWAT-I), qui renforce la discriminabilité globale en ré-pondérant les caractéristiques interpolées au niveau image ; (2) un module d’alignement au niveau instance sensible au contexte (CILA), qui améliore la discriminabilité locale en capturant l’effet complémentaire sous-jacent entre les caractéristiques au niveau instance et l’information contextuelle globale, afin d’assurer un alignement efficace au niveau instance ; (3) des masques de caractéristiques locales qui calibrent la transférabilité locale pour fournir une guidance sémantique à l’alignement des motifs discriminatifs suivants. Les résultats expérimentaux montrent que HTCN surpasse significativement les méthodes de pointe sur des jeux de données standard.