Command Palette
Search for a command to run...
MILA : Adaptation de niveau instance basée sur la mémoire pour la détection d'objets trans-domaines
MILA : Adaptation de niveau instance basée sur la mémoire pour la détection d'objets trans-domaines
Onkar Krishna Hiroki Ohashi Saptarshi Sinha
Résumé
La détection d'objets à travers des domaines différents est un défi, car elle nécessite l'alignement entre un domaine source étiqueté et un domaine cible non étiqueté. Les approches précédentes ont utilisé l'apprentissage adversaire pour aligner les caractéristiques à la fois au niveau de l'image et au niveau de l'instance. Au niveau de l'instance, il est essentiel de trouver un échantillon source adapté à un échantillon cible. Un échantillon source est considéré comme adapté s’il ne diffère de l’échantillon cible que par son domaine, sans divergences sur des caractéristiques secondaires telles que l'orientation ou la couleur, qui pourraient entraver la capacité du modèle à se concentrer sur l’alignement des différences liées au domaine. Toutefois, les méthodes existantes d’alignement des caractéristiques au niveau de l’instance peinent à identifier de tels échantillons sources, car leur espace de recherche est limité aux mini-batches. Ces derniers étant souvent de taille réduite, ils ne contiennent pas toujours des échantillons sources adaptés. Cette faible diversité au sein des mini-batches devient particulièrement problématique lorsque les instances cibles présentent une forte variance intra-classe. Pour remédier à ce problème, nous proposons un cadre d’adaptation de domaine au niveau de l’instance basé sur une mémoire. Notre méthode aligne une instance cible avec l’échantillon source le plus similaire de même catégorie, extrait à partir d’un stockage mémoire. Plus précisément, nous introduisons un module mémoire qui stocke dynamiquement les caractéristiques agrégées de toutes les instances source étiquetées, classées par leurs étiquettes. En outre, nous proposons un module de récupération mémoire simple mais efficace, capable de retrouver un ensemble de cases mémoire correspondantes pour chaque instance cible. Nos expériences menées dans divers scénarios de décalage de domaine démontrent que notre approche surpasse significativement les méthodes existantes non basées sur la mémoire.