Apprentissage à partir de supervision extrinsèque et intrinsèque pour la généralisation de domaine

La capacité de généralisation des réseaux de neurones à travers différents domaines est essentielle pour les applications du monde réel. Nous soutenons qu’un système de reconnaissance d’objets généralisé doit non seulement bien comprendre les relations entre différentes images, mais aussi saisir pleinement le contenu de chaque image simultanément. À cette fin, nous proposons un nouveau cadre de généralisation de domaine qui apprend à généraliser de manière simultanée à partir d’une supervision externe basée sur les relations entre images et d’une auto-supervision intrinsèque, tirée de données provenant de plusieurs sources. Plus précisément, notre cadre repose sur une intégration de plongements de caractéristiques au sein d’un paradigme d’apprentissage multitâche. En plus de réaliser la tâche classique de reconnaissance supervisée, nous intégrons de manière fluide une tâche d’apprentissage métrique à momentum et une tâche auxiliaire auto-supervisée, afin d’exploiter conjointement la supervision externe et la supervision intrinsèque. Par ailleurs, nous avons conçu une stratégie efficace d’apprentissage métrique à momentum basée sur l’extraction de négatifs K-durs afin d’améliorer la capacité du réseau à capturer les relations entre images pour la généralisation de domaine. Nous démontrons l’efficacité de notre approche sur deux benchmarks standard de reconnaissance d’objets, VLCS et PACS, et montrons que notre méthode atteint des performances de pointe.