MILA : Adaptation de niveau instance basée sur la mémoire pour la détection d'objets trans-domaines

La détection d’objets à travers des domaines est un défi, et elle consiste à aligner les domaines source étiquetés et cible non étiquetés. Les approches précédentes ont utilisé l’apprentissage adversaire pour aligner les caractéristiques à la fois au niveau image et au niveau instance. Au niveau instance, il est crucial de trouver une instance source adaptée qui s’aligne avec une instance cible. Une instance source est considérée comme adaptée si elle ne diffère de l’instance cible que par son domaine, sans divergences dans des caractéristiques non pertinentes telles que l’orientation ou la couleur, qui pourraient entraver la capacité du modèle à se concentrer sur l’alignement des différences de domaine. Toutefois, les méthodes existantes d’alignement des caractéristiques au niveau instance peinent à identifier de telles instances sources, car leur champ de recherche est limité aux mini-batches. Les mini-batches étant souvent trop petits, ils ne contiennent pas toujours d’instances sources adaptées. Cette diversité insuffisante devient particulièrement problématique lorsque les instances cibles présentent une forte variance intra-classe. Pour résoudre ce problème, nous proposons un cadre d’adaptation de domaine au niveau instance basé sur une mémoire. Notre méthode aligne chaque instance cible avec l’instance source la plus similaire de même catégorie, extraite d’un stockage mémoire. Plus précisément, nous introduisons un module mémoire qui stocke dynamiquement les caractéristiques agrégées de toutes les instances source étiquetées, classées par leurs étiquettes. Par ailleurs, nous proposons un module de récupération mémoire simple mais efficace, capable de retrouver un ensemble de slots mémoire correspondants pour les instances cibles. Nos expériences menées sur divers scénarios de décalage de domaine démontrent que notre approche surpasser significativement les méthodes existantes non basées sur la mémoire.